STUDY

3-2-1. [금융 AI] LSTM을 활용한 주가예측 ●데이터 살펴보기 2010.01.04 ~ 2020.08.10 까지 나스닥에서 거래된 애플의 주가가 기록. 총 6개의 피쳐/ open, high, low, close, adj close, volume 모든 0 ~ 1 사이로 노멀라이즈 윈도우 크기는 14로 세팅. 단, 거래량은 예측에 필요없을 것 같아 open, high, low, close, adj close 5개의 값만 활용. 결과적으로 총 6개의 피쳐를 입력받아 5개의 피쳐의 미래값을 예측하는 문제. ●어떤 인공지능 사용? 층수 종류 크기 활성화 함수 1층 LSTM 128, return_sequences = True - 2층 FNN 64 ReLu 3층 FNN 5 - L..

3-2-1. [기상 AI] LSTM을 활용한 일기예보 회귀와 외삽을 이용한 미래예측 시도. LSTM까지 사용하여 미래 예측을 시도 ●데이터 살펴보기 2009년 01.01. 00:10부터 10분간격으로 수집된 날씨 데이터. 총 420,532개의 데이터가 준비. 2016.12.31 자정까지의 데이터가 수록. 각각의 데이터는 총 14개의 피쳐로 구성. 데이터를 0 ~ 1 사이의 숫자로 노멀라이즈 대신 음수값도 포함 되어 있어 각각의 피쳐에서 최솟값을 빼주고, 그 다음 최댓값으로 나누어 주었음. 이 과정에서 노멀라이즈된 피쳐의 최솟값은 0, 최댓값은 1로 골고루 펼쳐지게 된다. (2) 윈도잉(windowing) 시계열 데이터를 학습해 미래를 예측할 때에는 일반적으로 윈도잉이라는 기법..

3-1-3. LSTM AI는 얼마나 성능이 뛰어날까? FNN을 활용한 NLP 처리를 해보았다. 그런데 NLP에 LSTM을 적용하면 성능이 엄청나게 좋아진다고 알려짐. 실제로 1에포크 만에 학습이 가능. ●데이터 살펴보기 3-1-1과 같음. ●어떤 인공지능 사용? 층수 종류 크기 활성화 함수 1층 Embedding 8983, 128 - 2층 LSTM 32 - 3층 FNN 32 ReLu - Dropout rate = 0.1 - 4층 FNN 1 sigmoid 임베딩 레이어 뒤에 LSTM이 추가. LSTM의 크기는 32로 설정 별다른 함수를 지정하지 않음. ●딥러닝 코딩 - 인공신경망 컴파일 옵티마이저(optimizer) - Adam 메트릭(metrics) - accuracy 로스(loss) - BinaryCr..

3-1-2. 장기 기억과 단기 기억, LSTM ●RNN의 정의 FNN은 정보가 한 방향으로만 전달. 그리고 매번 방금 학습한 데이터를 기준으로 가중치가 업데이트되기 때문에 최근에 입력한 정보만 기억, 오래전에 입력한 정보에 대해서 는 기억하지 못함. 이런 문제를 해결하고자 제안된 모델이 RNN(Recurrent Neural Network) - 한국어로 순환 신경망이라 번역 FNN은 데이터를 입력받아 결괏값을 출력하고 작업을 종료. 과거를 기억하지 못하는 기억상실증에 걸린 인공지능. 반면 RNN은 결괏값만 출력하고 끝나는 것이 아니라, 가중치 정보를 다음 단계로 전달함. 현재의 학습 정보를 미래로 전달하는 것. 덕분에 RNN은 매번 과거의 학습 기록을 참고하며 학습을 진행. 과거의 기억을 현재 또는 미래 ..

3-1-1. AI는 스팸 문자를 걸러낼 수 있을까 ●데이터 살펴보기 (1) 데이터 파일 열기 으로 태깅하여 스탬 문자와 정상 문자를 구분 (2) 자연어를 숫자로 변환하기 지금까지 인공신경망에 0 ~ 1 사이의 숫자를 입력. 이번 절에서 사용할 문자메시지 데이터 역시 0 ~ 1 사이 숫자로 변환하여 사용. 우선 0 ~ 1 사이 숫자로 바꾸기 전에 영어단어를 숫자로 바꾸는 것이 우선. (3) 원 핫 벡터 임베딩 단순 숫자의 모음이 아니라 벡터의 모음으로 변환하는 방법을 알아보자. 원 핫 벡터라는 표기 방법을 활용하면 여러 종류의 카테고리를 벡터로 바꿀 수 있음. 원 핫 벡터를 만드는 방법은 간단 - 모든 내용물이 0으로 채워진 벡터를 하나 만듦. - 벡터의 n번째 숫자만..

3 - 1. 자연어 학습 인공지능(1) 3 - 1. 자연어 학습 인공지능(1) 3-1-1. AI는 스팸 문자를 걸러낼 수 있을까 ●데이터 살펴보기 (1) 데이터 파일 열기 으로 태깅하여 스탬 문자와 정상 문자를 구분 (2) 자연어를 h-study.tistory.com 3 - 1. 자연어 학습 인공지능(2) 3 - 1. 자연어 학습 인공지능(2) 3-1-2. 장기 기억과 단기 기억, LSTM ●RNN의 정의 FNN은 정보가 한 방향으로만 전달. 그리고 매번 방금 학습한 데이터를 기준으로 가중치가 업데이트되기 때문에 최근에 입력한 정보만 기억, 오래전 h-study.tistory.com 3 - 1. 자연어 학습 인공지능(3) 3 - 1. 자연어 학습 인공지능(3) 3-1..

2-3-3. [의료 AI] 흉부 CT영상 분석을 통한 폐암 진단 시맨틱 세그멘테이션이 가장 많이 연구되는 분야는 의료영상 분야. 시맨틱 세그멘테이션 기술을 응용해 흉부 CT영상을 분석하여 폐암을 진단 ●데이터 살펴보기 images와 annotations을 활용 ●어떤 인공지능 사용? U-Net을 사용 ●딥러닝 코딩 - 인공신경망 컴파일 옵티마이저(optimizer) - Adam 메트릭(metrics) - accuracy 로스(loss) - BinaryCrossentropy ●인공지능 학습 - 인공신경망 학습 - 학습 결과 출력 그래프로 출력 ●인공지능 학습 결과 확인 - 인공지능 성능 확인하기 저자의 경우 인공지능의 최종 성능은 99.89%. - 학습 기록 ..

2-3-2. [의료 AI] 현미경 영상 분석을 통한 세포 종류 진단 ●데이터 살펴보기 8 종류의 조직 분류 각각 625장씩 데이터의 모든 수치는 0 ~ 1 사이의 숫자로 노멀라이즈하여 사용. ●어떤 인공지능 사용? 층수 종류 크기 활성화 함수 1층 CNN 16, (3, 3) ReLu - MaxPool (2, 2) - 2층 CNN 32, (3, 3) ReLu - MaxPool (2, 2) - 3층 CNN 64, (3, 3) ReLu - MaxPool (2, 2) - 4층 CNN 64, (3, 3) ReLu - MaxPool (2, 2) - 5층 CNN 64, (3, 3) ReLu - MaxPool (2, 2) - 6층 Flatten - - 7층 FNN 512 ReLu 8층 FNN 8 SoftMax 2-3-..

2-3-1. [의료 AI] 현미경 영상 분석을 통한 암 진단 ●데이터 살펴보기 정상 세포의 현미경 영상과 암세포의 현미경 영상 정상 조직 사진 : 3,750장 암 조직 사진 : 625장 데이터의 모든 수치는 0 ~ 1 사이의 숫자로 노멀라이즈하여 사용. ●어떤 인공지능 사용? 층수 종류 크기 활성화 함수 1층 CNN 16, (3, 3) ReLu - MaxPool (2, 2) - 2층 CNN 32, (3, 3) ReLu - MaxPool (2, 2) - 3층 CNN 64, (3, 3) ReLu - MaxPool (2, 2) - 4층 CNN 64, (3, 3) ReLu - MaxPool (2, 2) - 5층 CNN 64, (3, 3) ReLu - MaxPool (2, 2) - 6층 Flatten - - 7층..

2-2-2. AI는 사진을 완벽하게 이해할 수 있을까? - Semantic Segmentation ●Semantic Segmentation Semantic Segmentation은 앞서 배운 것의 한발 더 나아간 것. 이미지 속의 모든 픽셀을 완벽히 분석하여, 각각의 픽셀이 어디에 속하는지 분류하는 과제. 결과적으로 모양이 불규칙적이거나 작은 물체도 경계선을 따라 분리해 낼 수 있으며, 한 장의 사진 속에 포함된 여러 가지 물체를 동시에 분류. ●데이터 살펴보기 사진 데이터는 0 ~ 1 사이의 값을 가진 (128, 128, 3) 사이즈 데이터로 변환. annotation의 경우 배경은 0, 하얀 영역은 1로 노멀라이즈된 (128, 128, 1)사이즈 데이터로 변환하여 사용. ●어떤 인공지능 사용? U-N..