[NLP/자연어처리] 자연어처리 관련 자료 모음

[NLP - 자연어처리] 0. Opening

 

 

 

회사에서 근무하며 모두를 위한 딥러닝 시즌 2통해 딥러닝에 대한 기초와 파이토치 기본기를 다졌다.

자연어처리와 BERT, 추천시스템에 대해서 조금 더 깊게 연구하고 싶은 마음이 있어서, 자연어처리 기반 입문할만한 책들을 찾아보고 공부하려 한다.

내가 자료를 찾는 기준은 이러했다.

 

1. 단순 코드로 실습만 하는 것이 아니라 이론적인 설명(수식 등)이 함께 잘 구비되어 있는가
2. 실습할 수 있는 코드의 패키지가 Pytorch로 되어있는가
3. 자연어의 기초부터 끝까지(BERT) 폭넓게 적혀 있는가
4. 한국어로 되어있는가(영어를 정말 못하는데, 이론이라도 한국어로 쉽게...)

 

위 기준을 충족하는 자료들을 찾아본 결과, 아래와 같은 자료들이 있었다.

도서(사이트)

1. 파이토치로 시작하는 딥러닝 입문 https://wikidocs.net/book/2788
   • 이 사이트는 위키독스로 구성되어있는데, 파이토치의 기초부터 차근차근 설명되어있어서 입문하기에 매우 좋은 책이라고 한다. 앞부분이 모모딥2와 비슷한 부분이 많아서 한번 슥 훑고 넘어가면 되겠다 싶었는데, 챕터 8부터는 자연어의 전처리부터 차근차근 설명되어있어 좋다.
   • 범위는 워드임베딩, 임베딩 시각화, RNN, seq2seq 이 있다.
2. 밑바닥부터 시작하는 딥러닝 http://www.yes24.com/Product/Goods/72173703
   • 밑바닥 시리즈의 자연어처리 버전, 한국어로 번역된 책 중에서 수준급이라고 하는데, 밑바닥 시리즈는 믿고보는 경향이 많은 듯 하다.
   • 이미 책 소개에서부터 자세하게 설명하는게 마음에 들었는데(ㅋㅋㅋ) 가능한 외부 라이브러리를 사용하지 않고 파이썬 코드로 직접 구현하면서 신경망을 익히는 방식이라 신경망에 대한 선수지식이 있으면 이해하기 쉽다는 주변 견해가 많다.
   • 범위는 word2vec, RNN, 어텐션 까지 있는데 실습하는 코드가 로우레벨부터 직접 구현하는 부분이다보니 pytorch를 활용하기보다 이론을 익히는 부분에 중점을 둬야 할 것 같다.
3. 한국어 임베딩 http://www.yes24.com/Product/Goods/78569687
   • 많은 사람들이 극찬하는 책. 현대 자연어 처리에 대한 모든 지식을 다 가지고 있는 책이라고 한다. 입문으로도, 보충으로도 좋은 책이라고 한다.
   • 그러나 실습으로,는 텐서플로우로 되어있다.(향후에 pytorch버전이 나오지 않을까?)
4. 김기현의 자연어처리 딥러닝 캠프 파이토치 편 http://www.yes24.com/Product/Goods/74802622
   • 이 책은 조금 난이도가 있는 책. 김기현이라는 사람이 패스트 캠퍼스에서 강의한 내용을 바탕으로 엮은 책이다. 기초의 내용도 담고 있지만, 심화된 내용으로 갈수록 처음 접하는 사람들에게는 많이 어려울 수 있어서 선수 지식을 가지고 있는 사람들에게 추천하는 책이다.
   • 수식도 디테일하고 제대로 공부하고싶은 사람들에게는 좋은 책(강화학습도 일부 포함되어있어 읽으면 재밌을 것 같다)
   • 내가 향후에 정리하며 리뷰할 책이기도 하다.

 

Blog

1. ratsgo https://ratsgo.github.io/blog/categories/
   • "한국어 임베딩" 책의 저자가 운영하는 블로그. 자연어 처리 말고도 상당히 다양한 내용들을 많이 담고 있는 블로그라서 매우 유익한 블로그 같다.
2. huffon https://huffon.github.io/
   • 이분의 깃허브를 통해서 자연어처리에 대한 자료들이 어떤것들이 있는지 접했다. 상당히 디테일한 내용들도 많이 품고 있는 블로그이다.
   • 현재까지도 포스팅을 많이 하고 계시는 분이라 트렌디한 알고리즘도 많이 알 수 있을 것 같다.

 

Lecture

1. 딥러닝 자연어 처리 베이스 https://www.youtube.com/playlist?list=PLVNY1HnUlO26qqZznHVWAqjS1fWw0zqnT
   • 딥러닝의 여러가지 용어들을 이해하기에 좋은 강의같다.
   • 강의가 전부 10분 안쪽(5분 내외)로 되어있어 이동 중에 보기에도 좋은 강의
2. 조경현 교수의 딥러닝을 이용한 자연어 처리 https://www.edwith.org/deepnlp/joinLectures/17363
   • GRU로 유명한 분이신 조경현 교수님이 D2캠퍼스에서 강의하신 자연어처리 강의.
   • 딥러닝에 대한 선수 지식이 필요하지만, 개괄적으로 잘 설명해주시는 강의라 보기 좋다.
3. [토크ON세미나] https://www.youtube.com/playlist?list=PL9mhQYIlKEhcIxjmLgm9X5BUtW5jMLbZD
   • T아카데미에서 강의한 내용을 유튜브에 올린 내용.
   • 기억으로는 40분 강의 3개로 구성되어있어, RNN부터 BERT의 탄생 배경까지 상세히 알려주시는 내용이다.
   • 단, 강의가 좀 길어 보기 전 맘먹고 봐야 한다는 함정.

 

이렇게 강의, 도서, 블로그로 세가지로 나눠봤는데, 내가 중점적으로 볼 책은 "김기현의 자연어처리 딥러닝 캠프" , 강의는 "조경현 교수님의 딥러닝을 위한 자연어처리" 와 "딥러닝 자연어 처리 베이스"일 것 같다.

 

영어로도 정말 좋은 자료들이 많이 있는데, 현재 입문용으로는 영어가 좀 딸리는지라... 공부하며 검색했을 때 나오는 내용들을 바탕으로 원문들에 대한 지식을 쌓을 예정이다.

 

아래 관련된 자료를 참고한 사이트의 링크를 걸어놓을 테니, 관심있으신 분은 아래 링크에서 찾아보기를...

https://github.com/Huffon/NLP101

Huffon/NLP101

https://hotorch.tistory.com/12

자연어 관련 도서 및 블로그 소개(2020)