2021.05.20 - [Study/NLP] - [NLP/자연어처리] 순환신경망 (Recurrent Neural Network, RNN) [NLP/자연어처리] 순환신경망 (Recurrent Neural Network, RNN) 해당 포스팅은 김기현의 자연어처리 딥러닝 캠프의 내용과 파이토치로 시작하는 딥러닝 입문 의 내용을 정리한 것입니다. 우리는 시공간의 차원에 살고 있다. 그렇기 때문에 시공간에 정의된 everywhere-data.tistory.com 이전 글에서 이야기한 순환신경망 RNN은 가장 단순한 형태의 RNN이라고 하여 바닐라 RNN이라고도 한다. 이번 글에서는 바닐라 RNN의 한계에 대해서 설명하고 이를 극복하기 위한 LSTM과 GRU에 대해서 설명해보고자 한다. 1. RNN의 한계 RNN..

해당 포스팅은 김기현의 자연어처리 딥러닝 캠프의 내용과 파이토치로 시작하는 딥러닝 입문 의 내용을 정리한 것입니다. 우리는 시공간의 차원에 살고 있다. 그렇기 때문에 시공간에 정의된 수많은 문제를 해결하는 과정에서 시간의 개념을 넣어야하는 문제들도 많이 발생하고 있다. 텍스트 뿐 아니라 주식시장의 주가 예측이나 일기예보 등 많은 시간 관련 정보에 대한 문제들이 나오고 있다. 그 중 하나인 텍스트 분야의 경우, 단어들이 모여 문장이 되고, 문장이 모여 문서가 된다. 문장의 단어들은 앞뒤 위치에 따라 서로 영향을 주고받기 때문에 문서 내 문장들도 순서없이 입력을 넣으면 출력이 나오는 함수의 형태가 아니라 순차적으로 입력하면 그에 따라 hidden layer와 출력 결과가 순차적으로 반환되는 함수가 필요하다...