dl

[NLP/자연어처리] 자연어처리와 딥러닝의 역사, 발전과정

[NLP/자연어처리] 해당 내용은 김기현의 자연어 처리 딥러닝 캠프 파이토치편을 읽으며 발췌 및 정리한 내용입니다. 1. 개요 1.1 자연어처리와 딥러닝의 역사 자연어처리(natural language processing, NLP)는 인공지능의 한 분야로, 사람의 언어를 컴퓨터가 알아듣도록 처리하는 인터페이스의 역할을 한다. 자연어 처리 기술을 사용하는 대표적인 응용분야는 아래와 같다. 감성분석과 같은 대량의 텍스트를 이해하고 정형화 하는 작업(clustering, classification 등) 애플의 시리(Siri) 와 같이, 사용자의 의도를 파악하고 대화를 하거나 도움을 주는 작업(질의응답) 요약(summarization), 기계번역(machine translation)과 같은 작업 사용자로부터 입..

[파이토치로 시작하는 딥러닝 기초]06_Softmax Classification

Softmax Classification softmax Cross Entropy Low-level Implementation High-level Implementation Traing Example Discrete Probability Distribution(이산확률분포) Discrete Probability Distribution이란, 이산적인 확률 분포를 이른다. ex) 주사위를 돌려서 나오는 숫자의 값에 대한 확률 분포 이산 값에 대한 확률이 정확하게 나오며, 연속형 확률분포와 달리 x 값이 정수값으로 떨어져 있다. Softmax Convert numbers to probabilitis with softmax $${P(class = i) = \frac{e^i}{\sum e^i}}$$ pytorch ..

[파이토치로 시작하는 딥러닝 기초]05_ Logistic Regression

Logistic Regression Computing Hypothesis Computing Cost Function Evaluation Higher Implementation Logistic Regression Hypothesis $${H(X) = \frac{1}{1 + e^{-W^TX}}}$$ Cost $${cost(W) = -\frac{1}{m}\sum ylog(H(x)) + (1-y)(log(1-H(x)))}$$ if ${y \simeq H(x)}$, cost is near 0 if ${y \ne H(x)}$, cost is high ${P(x = 1) = 1- P(X = 0)}$ X : ${m\times d}$ 차원, W : ${d\times 1}$ 차원 sigmoid 함수를 이용하여 0과 1에 ..

[파이토치로 시작하는 딥러닝 기초]04.02_Loading Data

Loading Data Minibatch Gradient Descent 이론 Pytorch Dataset and Data Loader 사용법 Data in the Real World 복잡한 머신러닝 모델을 학습하려면 엄청난 양의 데이터가 필요하다 대부분 데이터셋은 적어도 수십만개의 데이터를 제공한다. 엄청난 양의 데이터를 한번에 학습시킬 수 없다. 이유는? 너무 느리고 하드웨어적으로 불가능하기 때문 그렇다면 일부분의 데이터로만 학습하면 어떨까? Minibatch Gradient Descent 전체 데이터를 작은 Minibatch라는 작은 양으로 균일하게 나누어서 minibatch 하나씩 학습하는 방법 그러면 컴퓨터가 dataset의 모든 데이터의 cost를 다 계산한 후 gradient descent를 ..

[파이토치로 시작하는 딥러닝 기초]04.01_Multivariable_Linear_regression

4. Multivariable Linear regression(다항회귀분석) Simple Linear REgression 복습 Multivariate Linear Regression 이론 Naive Data Representation Matrix Data Representation Multivariate Linear Regression nn.Module 소개 F.mse_loss 소개 Simple Linear Regrssion? 하나의 정보로부터 하나의 결론을 짓는 모델 ${H(x) = Wx + b}$ 그러나 우리가 더 다양한 정보를 가지고 다양한 예측을 하기위해서는 단항선형회귀분석으로는 어렵다! Multivariate Linear Regression 복수의 정보가 존재할 떄 하나의 추측값을 계산하는 것 ..

[파이토치로 시작하는 딥러닝 기초]02_Linear Regression

Linear Regression Data definition (학습할 데이터 알아보기) Hypothesis (가설검정 함수 구현하기) Compute loss (컴퓨팅 loss구하기) Gradient descent Data Definition 공부한 시간과 점수의 상관관계가 얼마나 있는가? 내가 4시간 공부하면 성적을 얼마나 받을까? train set : 학습할 때 사용되는 데이터 set test set : 학습이 끝난 후 이 model이 얼마나 잘 작동하는지 판별하기 위한 data set 실습 data는 torch.tensor! 입력 : x_train 출력 : y_train 입철력은 x, y로 구분 import torch x_train = torch.FloatTensor([[1], [2], [3]]) y..

[파이토치로 시작하는 딥러닝 기초]01_Tensor Manipulation(텐서 조작)

Tensor Manipulation(텐서 조작)¶ Pytorch Basic Tensor Manipulation¶ Vector, Matrix and Tensor Numpy Review Pytorch Tensor Allocation Matrix Multiplication Other Basic Ops Vector, Matrix and Tensor¶ 스칼라(Scaler) : 차원이 없는 값(0차원) 벡터(Vector) : 1차원으로 이루어져있는 값 행렬(Matrix) : 2차원으로 이루어져 있는 값 텐서(Tensor) : 3차원 이상으로 이루어져 있는 값 Pytorch Tensor Shape Convention¶ 텐서의 크기 표현하는 방법 2D Tensor (Typical Simple Setting) |t| =..

머신러닝과 데이터 분석 A-Z 올인원 패키지 - 데이터 분석을 위한 Python(Pandas) – (3)

* 위 강의노트는 패스트캠퍼스에서 주관하는 강의를 수강하고 작성한 노트입니다. 1. DataFrame group by 이해하기¶ In [1]: import pandas as pd import numpy as np group by¶ 아래의 세 단계를 적용하여 데이터를 그룹화(groupping) (SQL의 group by 와 개념적으로는 동일, 사용법은 유사) 데이터 분할 operation 적용 데이터 병합 In [21]: # data 출처: https://www.kaggle.com/hesh97/titanicdataset-traincsv/data df = pd.read_csv('./train.csv') df.head() Out[21]: PassengerId Survived Pclass Name Sex Age..