해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편 및 Pytorch로 시작하는 딥러닝 입문읽으며 발췌 및 정리한 내용입니다. 2021.05.11 - [Study/NLP] - [NLP/자연어처리 ]자연어 처리 전처리(2) - 분절(토큰화) 라이브러리 소개 [NLP/자연어처리 ]자연어 처리 전처리(2) - 분절(토큰화) 라이브러리 소개 해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편을 읽으며 발췌 및 정리한 내용입니다. 2021.05.10 - [Study/NLP] - [NLP/자연어처리] 자연어 처리 전처리(1) - 코퍼스와 텍스트 정제 [NLP/자연 everywhere-data.tistory.com 2021.05.12 - [Study/NLP] - [NLP/자연어처리] 자연어 처리 전처리(3..

※ 해당 내용은 Pytorch로 시작하는 딥러닝 입문을 참고했습니다. 이전 토크나이징에 대한 내용은 아래 참조 2021.05.11 - [Study/NLP] - [NLP/자연어처리 ]자연어 처리 전처리(2) - 분절(토큰화) 라이브러리 소개 자연어 처리 분석을 하기 위해서는 단어 집합, 즉 단어 사전이 필요하다. 오늘은 하나의 데이터로 단어의 집합을 만들고, 고유정수를 부여(indexing) 하고 문장의 길이만큼 패딩(padding)하는 방법에 대해 적어보려 한다. 1. 단어집합(vocabulary) 단어 집합(vocabulary)이란 중복을 제거한 텍스트의 총 단어의 집합(set)을 의미한다. 여러개의 코퍼스를 분절하고, unique한 단어들만 모아서 집합의 형태로 만드는 것이다. 아래 예제를 통해 실습..

해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편을 읽으며 발췌 및 정리한 내용입니다. 2021.05.10 - [Study/NLP] - [NLP/자연어처리] 자연어 처리 전처리(1) - 코퍼스와 텍스트 정제 [NLP/자연어처리] 자연어 처리 전처리(1) - 코퍼스와 텍스트 정제 해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편을 읽으며 발췌 및 정리한 내용입니다. 이전 개요에 대해서는 아래 링크 참조 2021.05.10 - [Study/NLP] - [NLP/자연어처리] 자연어처리와 딥 everywhere-data.tistory.com 자연어 처리를 하려면 기본적으로 문장에 대한 분절이 이루어져야 한다. 책에서는 분절 이라고 하는데 우리가 많이 들어온 "토큰화(Tokenization)"라고도..

해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편을 읽으며 발췌 및 정리한 내용입니다. 이전 개요에 대해서는 아래 링크 참조 2021.05.10 - [Study/NLP] - [NLP/자연어처리] 자연어처리와 딥러닝의 역사, 발전과정 [NLP/자연어처리] 자연어처리와 딥러닝의 역사, 발전과정 [NLP/자연어처리] 해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편을 읽으며 발췌 및 정리한 내용입니다. 1. 개요 1.1 자연어처리와 딥러닝의 역사 자연어처리(natural language processing, NLP) everywhere-data.tistory.com 오늘은 자연어 처리의 전처리 과정에 대해서 용어랑 개요를 정리할 예정이다. 0. 코퍼스(copus)란? 코퍼스(copus)는 여러 ..

[NLP/자연어처리] 해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편을 읽으며 발췌 및 정리한 내용입니다. 1. 개요 1.1 자연어처리와 딥러닝의 역사 자연어처리(natural language processing, NLP)는 인공지능의 한 분야로, 사람의 언어를 컴퓨터가 알아듣도록 처리하는 인터페이스의 역할을 한다. 자연어 처리 기술을 사용하는 대표적인 응용분야는 아래와 같다. 감성분석과 같은 대량의 텍스트를 이해하고 정형화 하는 작업(clustering, classification 등) 애플의 시리(Siri) 와 같이, 사용자의 의도를 파악하고 대화를 하거나 도움을 주는 작업(질의응답) 요약(summarization), 기계번역(machine translation)과 같은 작업 사용자로부터 입..

[NLP - 자연어처리] 0. Opening 회사에서 근무하며 모두를 위한 딥러닝 시즌 2통해 딥러닝에 대한 기초와 파이토치 기본기를 다졌다. 자연어처리와 BERT, 추천시스템에 대해서 조금 더 깊게 연구하고 싶은 마음이 있어서, 자연어처리 기반 입문할만한 책들을 찾아보고 공부하려 한다. 내가 자료를 찾는 기준은 이러했다. 단순 코드로 실습만 하는 것이 아니라 이론적인 설명(수식 등)이 함께 잘 구비되어 있는가 실습할 수 있는 코드의 패키지가 Pytorch로 되어있는가 자연어의 기초부터 끝까지(BERT) 폭넓게 적혀 있는가 한국어로 되어있는가(영어를 정말 못하는데, 이론이라도 한국어로 쉽게...) 위 기준을 충족하는 자료들을 찾아본 결과, 아래와 같은 자료들이 있었다. 도서(사이트) 파이토치로 시작하는 ..

모델을 학습시킨 후 저장하고, 다시 불러오는 중에 아래와 같은 문제가 발생했다. torch.save(model.state_dict, '~~.pt')와 같은 방식으로 저장했고, model.load_state_dict(torch.load('~~.pt'))으로 불러왔을 뿐인데 에러는 다음과 같았다. 자세히 보면, model의 state_dict의 키가 맞지 않다는 것을 알 수 있다. 저장한 모델은 'module.' 키가 앞에 붙어있는 반면, 불러올 모델은 키가 붙지 않아 매핑이 안되는 문제였다. 이러한 문제가 생긴 이유는, 다중 GPU를 사용할 때 발생하는 것으로 파악됐다. 다중 GPU를 사용하면서 torch.nn.DataParallel을 사용하면 모델의 state_dict는 model.module의 형태로 ..

인공신경망을 배우다 보면 딥러닝 아키텍쳐에서 activation function(활성화함수)이 들어있는 것을 볼 수 있다. 처음에는 sigmoid function이 있고, 그 뒤에는 relu 등으로 다양한 activation function이 있는 것을 보게 되는데, 정작 이 활성화함수가 뭐고, 왜 필요한지에 대해서는 모르는 경우가 있다. 나 또한 그냥 넘어갈 뻔 했으나, 복잡한 아키텍쳐로 접어들면서 레이어마다 activation function이 왜 필요한지에 대해 궁금해졌고, 그 때문에 아래와 같은 포스팅을 하게 되었다. 1. Activation Function이 무엇인가? 간단히 말하면, 활성화함수는 데이터 내에에서 네트워크가 복잡한 패턴을 학습할 수 있도록 인공신경망에 추가되는 함수다. 단일 퍼셉..