[NLP/자연어처리] 자연어처리 관련 자료 모음

2021. 5. 7. 16:32·AI Study/NLP
반응형

[NLP - 자연어처리] 0. Opening

 

 

 

회사에서 근무하며 모두를 위한 딥러닝 시즌 2통해 딥러닝에 대한 기초와 파이토치 기본기를 다졌다.

자연어처리와 BERT, 추천시스템에 대해서 조금 더 깊게 연구하고 싶은 마음이 있어서, 자연어처리 기반 입문할만한 책들을 찾아보고 공부하려 한다.

내가 자료를 찾는 기준은 이러했다.

 

  1. 단순 코드로 실습만 하는 것이 아니라 이론적인 설명(수식 등)이 함께 잘 구비되어 있는가
  2. 실습할 수 있는 코드의 패키지가 Pytorch로 되어있는가
  3. 자연어의 기초부터 끝까지(BERT) 폭넓게 적혀 있는가
  4. 한국어로 되어있는가(영어를 정말 못하는데, 이론이라도 한국어로 쉽게...)

 

위 기준을 충족하는 자료들을 찾아본 결과, 아래와 같은 자료들이 있었다.

도서(사이트)

  1. 파이토치로 시작하는 딥러닝 입문 https://wikidocs.net/book/2788
    • 이 사이트는 위키독스로 구성되어있는데, 파이토치의 기초부터 차근차근 설명되어있어서 입문하기에 매우 좋은 책이라고 한다. 앞부분이 모모딥2와 비슷한 부분이 많아서 한번 슥 훑고 넘어가면 되겠다 싶었는데, 챕터 8부터는 자연어의 전처리부터 차근차근 설명되어있어 좋다.
    • 범위는 워드임베딩, 임베딩 시각화, RNN, seq2seq 이 있다.
  2. 밑바닥부터 시작하는 딥러닝 http://www.yes24.com/Product/Goods/72173703
    • 밑바닥 시리즈의 자연어처리 버전, 한국어로 번역된 책 중에서 수준급이라고 하는데, 밑바닥 시리즈는 믿고보는 경향이 많은 듯 하다.
    • 이미 책 소개에서부터 자세하게 설명하는게 마음에 들었는데(ㅋㅋㅋ) 가능한 외부 라이브러리를 사용하지 않고 파이썬 코드로 직접 구현하면서 신경망을 익히는 방식이라 신경망에 대한 선수지식이 있으면 이해하기 쉽다는 주변 견해가 많다.
    • 범위는 word2vec, RNN, 어텐션 까지 있는데 실습하는 코드가 로우레벨부터 직접 구현하는 부분이다보니 pytorch를 활용하기보다 이론을 익히는 부분에 중점을 둬야 할 것 같다.
  3. 한국어 임베딩 http://www.yes24.com/Product/Goods/78569687
    • 많은 사람들이 극찬하는 책. 현대 자연어 처리에 대한 모든 지식을 다 가지고 있는 책이라고 한다. 입문으로도, 보충으로도 좋은 책이라고 한다.
    • 그러나 실습으로,는 텐서플로우로 되어있다.(향후에 pytorch버전이 나오지 않을까?)
  4. 김기현의 자연어처리 딥러닝 캠프 파이토치 편 http://www.yes24.com/Product/Goods/74802622
    • 이 책은 조금 난이도가 있는 책. 김기현이라는 사람이 패스트 캠퍼스에서 강의한 내용을 바탕으로 엮은 책이다. 기초의 내용도 담고 있지만, 심화된 내용으로 갈수록 처음 접하는 사람들에게는 많이 어려울 수 있어서 선수 지식을 가지고 있는 사람들에게 추천하는 책이다.
    • 수식도 디테일하고 제대로 공부하고싶은 사람들에게는 좋은 책(강화학습도 일부 포함되어있어 읽으면 재밌을 것 같다)
    • 내가 향후에 정리하며 리뷰할 책이기도 하다.

 

Blog

  1. ratsgo https://ratsgo.github.io/blog/categories/
    • "한국어 임베딩" 책의 저자가 운영하는 블로그. 자연어 처리 말고도 상당히 다양한 내용들을 많이 담고 있는 블로그라서 매우 유익한 블로그 같다.
  2. huffon https://huffon.github.io/
    • 이분의 깃허브를 통해서 자연어처리에 대한 자료들이 어떤것들이 있는지 접했다. 상당히 디테일한 내용들도 많이 품고 있는 블로그이다.
    • 현재까지도 포스팅을 많이 하고 계시는 분이라 트렌디한 알고리즘도 많이 알 수 있을 것 같다.

 

Lecture

  1. 딥러닝 자연어 처리 베이스 https://www.youtube.com/playlist?list=PLVNY1HnUlO26qqZznHVWAqjS1fWw0zqnT
    • 딥러닝의 여러가지 용어들을 이해하기에 좋은 강의같다.
    • 강의가 전부 10분 안쪽(5분 내외)로 되어있어 이동 중에 보기에도 좋은 강의
  2. 조경현 교수의 딥러닝을 이용한 자연어 처리 https://www.edwith.org/deepnlp/joinLectures/17363
    • GRU로 유명한 분이신 조경현 교수님이 D2캠퍼스에서 강의하신 자연어처리 강의.
    • 딥러닝에 대한 선수 지식이 필요하지만, 개괄적으로 잘 설명해주시는 강의라 보기 좋다.
  3. [토크ON세미나] https://www.youtube.com/playlist?list=PL9mhQYIlKEhcIxjmLgm9X5BUtW5jMLbZD
    • T아카데미에서 강의한 내용을 유튜브에 올린 내용.
    • 기억으로는 40분 강의 3개로 구성되어있어, RNN부터 BERT의 탄생 배경까지 상세히 알려주시는 내용이다.
    • 단, 강의가 좀 길어 보기 전 맘먹고 봐야 한다는 함정.

 

이렇게 강의, 도서, 블로그로 세가지로 나눠봤는데, 내가 중점적으로 볼 책은 "김기현의 자연어처리 딥러닝 캠프" , 강의는 "조경현 교수님의 딥러닝을 위한 자연어처리" 와 "딥러닝 자연어 처리 베이스"일 것 같다.

 

영어로도 정말 좋은 자료들이 많이 있는데, 현재 입문용으로는 영어가 좀 딸리는지라... 공부하며 검색했을 때 나오는 내용들을 바탕으로 원문들에 대한 지식을 쌓을 예정이다.

 

아래 관련된 자료를 참고한 사이트의 링크를 걸어놓을 테니, 관심있으신 분은 아래 링크에서 찾아보기를...

https://github.com/Huffon/NLP101

 

Huffon/NLP101

NLP 101: a resource repository for Deep Learning and Natural Language Processing - Huffon/NLP101

github.com

https://hotorch.tistory.com/12

 

자연어 관련 도서 및 블로그 소개(2020)

Text MIning, NLP를 공부하면서 도움이 되었던 책들과 블로그를 소개하며 몇줄 남겨보도록 하겠습니다.(블로그는 많은 내용을 다루는 곳을 기준으로만 기술 했습니다.) 서적은 자연어 관련 서적

hotorch.tistory.com

 

반응형

'AI Study > NLP' 카테고리의 다른 글

[NLP/자연어처리] 자연어처리 전처리(4) - 토치텍스트(TorchText)  (0) 2021.05.13
[NLP/자연어처리] 자연어 처리 전처리(3) - 단어집합(Vocabulary), 패딩  (4) 2021.05.12
[NLP/자연어처리 ]자연어 처리 전처리(2) - 분절(토큰화) 라이브러리 소개  (0) 2021.05.11
[NLP/자연어처리] 자연어 처리 전처리(1) - 코퍼스와 텍스트 정제  (0) 2021.05.10
[NLP/자연어처리] 자연어처리와 딥러닝의 역사, 발전과정  (0) 2021.05.10
'AI Study/NLP' 카테고리의 다른 글
  • [NLP/자연어처리] 자연어 처리 전처리(3) - 단어집합(Vocabulary), 패딩
  • [NLP/자연어처리 ]자연어 처리 전처리(2) - 분절(토큰화) 라이브러리 소개
  • [NLP/자연어처리] 자연어 처리 전처리(1) - 코퍼스와 텍스트 정제
  • [NLP/자연어처리] 자연어처리와 딥러닝의 역사, 발전과정
자동화먹
자동화먹
많은 사람들에게 도움이 되는 생산적인 기록하기
    반응형
  • 자동화먹
    자동화먹의 생산적인 기록
    자동화먹
  • 전체
    오늘
    어제
    • 분류 전체보기 (144)
      • 생산성 & 자동화 툴 (30)
        • Notion (24)
        • Obsidian (0)
        • Make.com (1)
        • tips (5)
      • Programming (37)
        • Python (18)
        • Oracle (6)
        • Git (13)
      • AI Study (65)
        • DL_Basic (14)
        • ML_Basic (14)
        • NLP (21)
        • Marketing&Recommend (4)
        • chatGPT (0)
        • etc (12)
      • 주인장의 생각서랍 (10)
        • 생각정리 (4)
        • 독서기록 (6)
  • 블로그 메뉴

    • 홈
    • 태그
    • 방명록
  • 링크

  • 공지사항

  • 인기 글

  • 태그

    gcp
    LSTM
    딥러닝
    데이터베이스
    python기초
    dl
    데이터분석
    빅데이터
    GPT
    Python
    노션첫걸음
    Google Cloud Platform
    nlp
    자연어처리
    Transformer
    노션
    seq2seq
    기초
    파이토치로 시작하는 딥러닝 기초
    git commit
    파이토치
    빅데이터분석
    git
    Github
    notion
    ML
    cnn
    pytorch
    머신러닝
    Jupyter notebook
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.3
자동화먹
[NLP/자연어처리] 자연어처리 관련 자료 모음
상단으로

티스토리툴바