Study/NLP

[NLP/자연어처리] Seq2Seq(3) - 트랜스포머(Transformer)_Encoder

2021.05.24 - [Study/NLP] - [NLP/자연어처리] Seq2Seq(1) - RNN을 이용한 시퀀스 투 시퀀스 [NLP/자연어처리] Seq2Seq(1) - RNN을 이용한 시퀀스 투 시퀀스 이전 RNN, LSTM, GRU에 대한 글을 보려면 아래 참조 2021.05.20 - [Study/NLP] - [NLP/자연어처리] 순환신경망 (Recurrent Neural Network, RNN) [NLP/자연어처리] 순환신경망 (Recurrent Neural Network, RNN) 해.. everywhere-data.tistory.com 2021.05.24 - [Study/NLP] - [NLP/자연어처리] Seq2Seq(2) - 어텐션 매커니즘(Attention Mechanism) [NLP/자연..

[NLP/자연어처리] Seq2Seq(2) - 어텐션 매커니즘(Attention Mechanism)

2021.05.24 - [Study/NLP] - [NLP/자연어처리] Seq2Seq(1) - RNN을 이용한 시퀀스 투 시퀀스 [NLP/자연어처리] Seq2Seq(1) - RNN을 이용한 시퀀스 투 시퀀스 이전 RNN, LSTM, GRU에 대한 글을 보려면 아래 참조 2021.05.20 - [Study/NLP] - [NLP/자연어처리] 순환신경망 (Recurrent Neural Network, RNN) [NLP/자연어처리] 순환신경망 (Recurrent Neural Network, RNN) 해.. everywhere-data.tistory.com 해당 글은 딥러닝을 이용한 자연어 처리 입문 의 내용을 바탕으로 정리한 내용이며, 시각적인 자료로 Jay Alammar의 블로그를 첨부했습니다. 0. 기본 Se..

[NLP/자연어처리] Seq2Seq(1) - RNN을 이용한 시퀀스 투 시퀀스

이전 RNN, LSTM, GRU에 대한 글을 보려면 아래 참조 2021.05.20 - [Study/NLP] - [NLP/자연어처리] 순환신경망 (Recurrent Neural Network, RNN) [NLP/자연어처리] 순환신경망 (Recurrent Neural Network, RNN) 해당 포스팅은 김기현의 자연어처리 딥러닝 캠프의 내용과 파이토치로 시작하는 딥러닝 입문 의 내용을 정리한 것입니다. 우리는 시공간의 차원에 살고 있다. 그렇기 때문에 시공간에 정의된 everywhere-data.tistory.com 2021.05.21 - [Study/NLP] - [NLP/자연어처리] LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit) [NLP/자연어처리]..

[NLP/자연어처리] LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit)

2021.05.20 - [Study/NLP] - [NLP/자연어처리] 순환신경망 (Recurrent Neural Network, RNN) [NLP/자연어처리] 순환신경망 (Recurrent Neural Network, RNN) 해당 포스팅은 김기현의 자연어처리 딥러닝 캠프의 내용과 파이토치로 시작하는 딥러닝 입문 의 내용을 정리한 것입니다. 우리는 시공간의 차원에 살고 있다. 그렇기 때문에 시공간에 정의된 everywhere-data.tistory.com 이전 글에서 이야기한 순환신경망 RNN은 가장 단순한 형태의 RNN이라고 하여 바닐라 RNN이라고도 한다. 이번 글에서는 바닐라 RNN의 한계에 대해서 설명하고 이를 극복하기 위한 LSTM과 GRU에 대해서 설명해보고자 한다. 1. RNN의 한계 RNN..

[NLP/자연어처리] 순환신경망 (Recurrent Neural Network, RNN)

해당 포스팅은 김기현의 자연어처리 딥러닝 캠프의 내용과 파이토치로 시작하는 딥러닝 입문 의 내용을 정리한 것입니다. 우리는 시공간의 차원에 살고 있다. 그렇기 때문에 시공간에 정의된 수많은 문제를 해결하는 과정에서 시간의 개념을 넣어야하는 문제들도 많이 발생하고 있다. 텍스트 뿐 아니라 주식시장의 주가 예측이나 일기예보 등 많은 시간 관련 정보에 대한 문제들이 나오고 있다. 그 중 하나인 텍스트 분야의 경우, 단어들이 모여 문장이 되고, 문장이 모여 문서가 된다. 문장의 단어들은 앞뒤 위치에 따라 서로 영향을 주고받기 때문에 문서 내 문장들도 순서없이 입력을 넣으면 출력이 나오는 함수의 형태가 아니라 순차적으로 입력하면 그에 따라 hidden layer와 출력 결과가 순차적으로 반환되는 함수가 필요하다...

[NLP/자연어처리] 단어의 표현(2) - 카운트 기반의 단어 표현

해당 포스팅은 김기현의 자연어처리 딥러닝캠프 파이토치편 과 딥러닝을 이용한 자연어 처리 입문 과정을 참고하여 정리한 것입니다. 필요한 부분은 추가로 찾아보았습니다. 지난 시간에는 단어의 표현 중 OnehotEncoding과 Word2Vec에 대해서 정리했었다. 이번에는 카운트 기반의 단어표현에 대해서 정리해보고자 한다. 카운트 기반이 먼저 나오고, 딥러닝 기반인 Word2Vec이 나와야 하는데 정리하다보니 카운트 기반을 잊은 것 같아 적는다. 0. 단어의 표현 방법 단어의 표현 방법은 크게 국소 표현(Local Representation)과 분산 표현( Distributed Representation)으로 나뉜다. 국소 표현은 해당 단어 그 자체만 보고 특정 값을 매핑하여 단어를 표현하는 방법이고, 분산..

[NLP/자연어처리] 단어의 표현(1) - 원핫인코딩과 워드투벡터(Word2Vec)

해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편 및 Pytorch로 시작하는 딥러닝 입문읽으며 발췌 및 정리하였으며, 필요에 따라 추가로 검색하여 내용을 보충했습니다. 이전 글 참고 2021.05.12 - [Study/NLP] - [NLP/자연어처리] 자연어 처리 전처리(3) - 단어집합(Vocabulary), 패딩 [NLP/자연어처리] 자연어 처리 전처리(3) - 단어집합(Vocabulary), 패딩 ※ 해당 내용은 Pytorch로 시작하는 딥러닝 입문을 참고했습니다. 이전 토크나이징에 대한 내용은 아래 참조 2021.05.11 - [Study/NLP] - [NLP/자연어처리 ]자연어 처리 전처리(2) - 분절(토큰화) 라이브러 everywhere-data.tistory.com 자연어 처리 분..

[NLP/자연어처리] 자연어처리 전처리(4) - 토치텍스트(TorchText)

해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편 및 Pytorch로 시작하는 딥러닝 입문읽으며 발췌 및 정리한 내용입니다. 2021.05.11 - [Study/NLP] - [NLP/자연어처리 ]자연어 처리 전처리(2) - 분절(토큰화) 라이브러리 소개 [NLP/자연어처리 ]자연어 처리 전처리(2) - 분절(토큰화) 라이브러리 소개 해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편을 읽으며 발췌 및 정리한 내용입니다. 2021.05.10 - [Study/NLP] - [NLP/자연어처리] 자연어 처리 전처리(1) - 코퍼스와 텍스트 정제 [NLP/자연 everywhere-data.tistory.com 2021.05.12 - [Study/NLP] - [NLP/자연어처리] 자연어 처리 전처리(3..