STUDY

visual attention Show, attend and tell Transformer (Self-attention) Sound representation Speech processing - Modules and applications Metric learning : positive pair(연관성이 있는)는 거리를 가깝게 negatve pair는 멀어지게 유도하는 학습 방법. 을 사용하여 joint embedding space를 디자인 기존 이미지 캡셔님의 문제점 - Attention의 등장(요즘 유행하는 Transformer에 나오는 그 Attention 맞음) - 상대적인 관계나 공간 위치가 고려되지 않음. - Global average pooling 같은 과정에서 작은 사물들이 무시되는 경향이..

Multi-Model Learning Text embedding Image tagging Recurrent neural networks Image captioning Multi-Model Learning 다양한 형태로 이루어진 데이터 특징을 효과적으로 학습하기 위한 방법 Multi-Model Learning 의 어려움 - 소리는 웨이브 형태의 데이터, 영상은 2차원의 칼라값을 넣은 array 형태, Text는 벡터로 존재. 각각의 데이터 표현 방식과 자료 구조가 다름. - 서로다른 데이터 타입 간 가지고 있는 정보의 비대칭 관계 하나의 문장이 여러 Image로 표현이 가능함. Text embedding - 문자열 표현은 인공지능 모델들이 사용하기에 어려움. - Dense vector로 치환하여 사용(Co..

CNN vs FNN(Fully-Connected NN) FNN : 데이터가 주어지면 하나의 피처를 뽑기위해서(하나의 히든 노드를 정의하기위해서) 모든 연결을 다 사용함. - 우리가 배워야하는 파라미터가 기하급수적으로 커짐. 조금만 변경되어도 파라미터 값이 많이 달라짐. LNN(Locally-Connected NN) : CNN 전단계, 국소적인 부분만 뉴럴 네트워크를 정의. 해당부분으로만 연결이 되어서 하나의 히든 노드를 도출. - 배워야하는 파라미터의 수가 줄어듦. 이렇게 하는 이유는 영상의 경우 전체를 보지 않고 부분적인 부분만 봐도 무엇인지 파악할 수 있기 때문. # 해당 영역의 파라미터를 다른 영역에서도 사용가능. 즉, 파라미터를 공유(이는 LNN에서 CNN으로 변환되는 과정) - 적은 파라미터로 ..

기계학습의 구성요소 - 경험 사례 - 모델 - 평가 기준 기계 학습이란? 계산/추론(computation/inference) : 함수를 주고, Output이 나오도록 계산 (F = ma, V = IR) 최적화(Optimization) : 한 세트의 (input,output)을 주고, 관계를 가장 잘 설명하는 f(함수)를 찾는 것. 이 2가지는 input과 output 두가지와 에러만 없으면 되지만, 우리가 모든 데이터를 사용할 수 없다. 즉, 우리가 모르는 데이터를 입력 하였을 때 제대로된 출력이 나오게 만들어야한다. 이는 일반화(Generalization)을 통해 수행되어진다. 일반화(Generalization) : 최적화를 통해 학습된 함수를 통해 학습된 적 없는 입력을 가지고 정확한 출력을 나오도록..

3-2-1. [금융 AI] LSTM을 활용한 주가예측 ●데이터 살펴보기 2010.01.04 ~ 2020.08.10 까지 나스닥에서 거래된 애플의 주가가 기록. 총 6개의 피쳐/ open, high, low, close, adj close, volume 모든 0 ~ 1 사이로 노멀라이즈 윈도우 크기는 14로 세팅. 단, 거래량은 예측에 필요없을 것 같아 open, high, low, close, adj close 5개의 값만 활용. 결과적으로 총 6개의 피쳐를 입력받아 5개의 피쳐의 미래값을 예측하는 문제. ●어떤 인공지능 사용? 층수 종류 크기 활성화 함수 1층 LSTM 128, return_sequences = True - 2층 FNN 64 ReLu 3층 FNN 5 - L..

3-2-1. [기상 AI] LSTM을 활용한 일기예보 회귀와 외삽을 이용한 미래예측 시도. LSTM까지 사용하여 미래 예측을 시도 ●데이터 살펴보기 2009년 01.01. 00:10부터 10분간격으로 수집된 날씨 데이터. 총 420,532개의 데이터가 준비. 2016.12.31 자정까지의 데이터가 수록. 각각의 데이터는 총 14개의 피쳐로 구성. 데이터를 0 ~ 1 사이의 숫자로 노멀라이즈 대신 음수값도 포함 되어 있어 각각의 피쳐에서 최솟값을 빼주고, 그 다음 최댓값으로 나누어 주었음. 이 과정에서 노멀라이즈된 피쳐의 최솟값은 0, 최댓값은 1로 골고루 펼쳐지게 된다. (2) 윈도잉(windowing) 시계열 데이터를 학습해 미래를 예측할 때에는 일반적으로 윈도잉이라는 기법..

3-1-3. LSTM AI는 얼마나 성능이 뛰어날까? FNN을 활용한 NLP 처리를 해보았다. 그런데 NLP에 LSTM을 적용하면 성능이 엄청나게 좋아진다고 알려짐. 실제로 1에포크 만에 학습이 가능. ●데이터 살펴보기 3-1-1과 같음. ●어떤 인공지능 사용? 층수 종류 크기 활성화 함수 1층 Embedding 8983, 128 - 2층 LSTM 32 - 3층 FNN 32 ReLu - Dropout rate = 0.1 - 4층 FNN 1 sigmoid 임베딩 레이어 뒤에 LSTM이 추가. LSTM의 크기는 32로 설정 별다른 함수를 지정하지 않음. ●딥러닝 코딩 - 인공신경망 컴파일 옵티마이저(optimizer) - Adam 메트릭(metrics) - accuracy 로스(loss) - BinaryCr..

3-1-2. 장기 기억과 단기 기억, LSTM ●RNN의 정의 FNN은 정보가 한 방향으로만 전달. 그리고 매번 방금 학습한 데이터를 기준으로 가중치가 업데이트되기 때문에 최근에 입력한 정보만 기억, 오래전에 입력한 정보에 대해서 는 기억하지 못함. 이런 문제를 해결하고자 제안된 모델이 RNN(Recurrent Neural Network) - 한국어로 순환 신경망이라 번역 FNN은 데이터를 입력받아 결괏값을 출력하고 작업을 종료. 과거를 기억하지 못하는 기억상실증에 걸린 인공지능. 반면 RNN은 결괏값만 출력하고 끝나는 것이 아니라, 가중치 정보를 다음 단계로 전달함. 현재의 학습 정보를 미래로 전달하는 것. 덕분에 RNN은 매번 과거의 학습 기록을 참고하며 학습을 진행. 과거의 기억을 현재 또는 미래 ..

3-1-1. AI는 스팸 문자를 걸러낼 수 있을까 ●데이터 살펴보기 (1) 데이터 파일 열기 으로 태깅하여 스탬 문자와 정상 문자를 구분 (2) 자연어를 숫자로 변환하기 지금까지 인공신경망에 0 ~ 1 사이의 숫자를 입력. 이번 절에서 사용할 문자메시지 데이터 역시 0 ~ 1 사이 숫자로 변환하여 사용. 우선 0 ~ 1 사이 숫자로 바꾸기 전에 영어단어를 숫자로 바꾸는 것이 우선. (3) 원 핫 벡터 임베딩 단순 숫자의 모음이 아니라 벡터의 모음으로 변환하는 방법을 알아보자. 원 핫 벡터라는 표기 방법을 활용하면 여러 종류의 카테고리를 벡터로 바꿀 수 있음. 원 핫 벡터를 만드는 방법은 간단 - 모든 내용물이 0으로 채워진 벡터를 하나 만듦. - 벡터의 n번째 숫자만..

3 - 1. 자연어 학습 인공지능(1) 3 - 1. 자연어 학습 인공지능(1) 3-1-1. AI는 스팸 문자를 걸러낼 수 있을까 ●데이터 살펴보기 (1) 데이터 파일 열기 으로 태깅하여 스탬 문자와 정상 문자를 구분 (2) 자연어를 h-study.tistory.com 3 - 1. 자연어 학습 인공지능(2) 3 - 1. 자연어 학습 인공지능(2) 3-1-2. 장기 기억과 단기 기억, LSTM ●RNN의 정의 FNN은 정보가 한 방향으로만 전달. 그리고 매번 방금 학습한 데이터를 기준으로 가중치가 업데이트되기 때문에 최근에 입력한 정보만 기억, 오래전 h-study.tistory.com 3 - 1. 자연어 학습 인공지능(3) 3 - 1. 자연어 학습 인공지능(3) 3-1..