[NLP/자연어처리] 해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편을 읽으며 발췌 및 정리한 내용입니다. 1. 개요 1.1 자연어처리와 딥러닝의 역사 자연어처리(natural language processing, NLP)는 인공지능의 한 분야로, 사람의 언어를 컴퓨터가 알아듣도록 처리하는 인터페이스의 역할을 한다. 자연어 처리 기술을 사용하는 대표적인 응용분야는 아래와 같다. 감성분석과 같은 대량의 텍스트를 이해하고 정형화 하는 작업(clustering, classification 등) 애플의 시리(Siri) 와 같이, 사용자의 의도를 파악하고 대화를 하거나 도움을 주는 작업(질의응답) 요약(summarization), 기계번역(machine translation)과 같은 작업 사용자로부터 입..

[NLP - 자연어처리] 0. Opening 회사에서 근무하며 모두를 위한 딥러닝 시즌 2통해 딥러닝에 대한 기초와 파이토치 기본기를 다졌다. 자연어처리와 BERT, 추천시스템에 대해서 조금 더 깊게 연구하고 싶은 마음이 있어서, 자연어처리 기반 입문할만한 책들을 찾아보고 공부하려 한다. 내가 자료를 찾는 기준은 이러했다. 단순 코드로 실습만 하는 것이 아니라 이론적인 설명(수식 등)이 함께 잘 구비되어 있는가 실습할 수 있는 코드의 패키지가 Pytorch로 되어있는가 자연어의 기초부터 끝까지(BERT) 폭넓게 적혀 있는가 한국어로 되어있는가(영어를 정말 못하는데, 이론이라도 한국어로 쉽게...) 위 기준을 충족하는 자료들을 찾아본 결과, 아래와 같은 자료들이 있었다. 도서(사이트) 파이토치로 시작하는 ..

인공신경망을 배우다 보면 딥러닝 아키텍쳐에서 activation function(활성화함수)이 들어있는 것을 볼 수 있다. 처음에는 sigmoid function이 있고, 그 뒤에는 relu 등으로 다양한 activation function이 있는 것을 보게 되는데, 정작 이 활성화함수가 뭐고, 왜 필요한지에 대해서는 모르는 경우가 있다. 나 또한 그냥 넘어갈 뻔 했으나, 복잡한 아키텍쳐로 접어들면서 레이어마다 activation function이 왜 필요한지에 대해 궁금해졌고, 그 때문에 아래와 같은 포스팅을 하게 되었다. 1. Activation Function이 무엇인가? 간단히 말하면, 활성화함수는 데이터 내에에서 네트워크가 복잡한 패턴을 학습할 수 있도록 인공신경망에 추가되는 함수다. 단일 퍼셉..

Colab을 실행시키는 것 자체는 아래 포스팅을 참고 2020/12/28 - [Code/Python] - [Python] Colab이란? Colab 구글 드라이브에서 사용하기 [Python] Colab이란? Colab 구글 드라이브에서 사용하기 colab.research.google.com/notebooks/intro.ipynb# Google Colaboratory colab.research.google.com 데이터 분석을 하다보면(특히나 딥러닝을 사용할 때) GPU를 사용하거나 큰 메모리를 사용해야 하는 경우가 종.. everywhere-data.tistory.com 오늘 포스팅은 드라이브 마운팅을 성공한 상태에서 시작한다. 처음에 데이터를 불러오는 부분이 막막해서 헤맸었는데 의외로 간단하다. 1. ..

해당 포스팅은 Wide & Deep Learning For Reccommender Systems 를 번역하고 주관적인 생각을 약간 섞어 리뷰한 것이다. 개요 비선형 변수 변환을 사용하는 일반화 선형모델은 대규모 회귀분석과 sparse(희소)한 input을 가진 분류문제에 대해 다양하게 사용된다. Wide Memorize에 효과적이다. (cross-product columns) 변수 간 상호작용을 파악하는 것에 효과적이며, 해석가능하다. But, 일반화(Generalization)하는데에는 더 많은 feature engineering이 필요하다. Deep 적은 feature engineering을 사용한다. sparse한 input 변수들을 저차원 embedding 시킴으로 변수간의 보이지 않는 조합을 일..

이전 포스팅에서는 [파이토치로 시작하는 딥러닝 기초] 강의에서 다룬 advanced CNN - VGG에 관하여 포스팅했다. 그런데 그 강의에서는 이론적인 내용이 부족하다고 생각되어 조금 더 찾아본 후 , 포스팅을 남긴다. 실습에 관한 포스팅을 보고 싶을 경우, 아래의 포스팅을 참고하면 될 듯 하다. 2021/01/07 - [Study/DL_Basic] - [파이토치로 시작하는 딥러닝 기초]10.4_Advance CNN(VGG) [파이토치로 시작하는 딥러닝 기초]10.4_Advance CNN(VGG) 이번 강의에 VGG의 이론적인 설명은 많이 들어있지 않았다.(모두의 딥러닝 시즌 1에 있는 내용이라 했지만, 사실 충분치 않은 내용이었다) 별도로 공부해서 위해 구글링을 한 후 포스팅 해서 아래 everywh..

이번 강의에 VGG의 이론적인 설명은 많이 들어있지 않았다.(모두의 딥러닝 시즌 1에 있는 내용이라 했지만, 사실 충분치 않은 내용이었다) 별도로 공부해서 위해 구글링을 한 후 포스팅 해서 아래에 업로드 할 예정이다. 10.5 Advance CNN VGG- net이란? 전부 3x3 convolution, stride = 1, padding 1으로만 구성되어 있음 torchvision.models.vgg vgg11 ~ vgg19까지 만들 수 있도록 되어있음 3x224x224입력을 기준으로 만들도록 되어있음 input size가 다른 경우 VGG를 적용하려면 어떻게 해야할까? VGG net 실습 - documentation 그대로 따라써보기 import torch.nn as nn import torch.ut..

ImageFolder 나만의 데이터 셋 준비하기 ImageFolder란? 로컬에 저장된 이미지 데이터를 불러올 때 사용하는 pytorch 라이브러리 데이터를 준비할 때에는 명확하게 구분되는 사진을 사용해야 한다. 위와 같이 구분하는 label의 class 개수에 따라 folder를 생성하고 그 안에 해당 라벨에 맞는 이미지를 삽입한다. 데이터 불러오기 실습 import torchvision from torchvision import transforms from torch.utils.data import DataLoader from matplotlib.pyplot import imshow %matplotlib inline train_data = torchvision.datasets.ImageFolder(r..