cuda를 쓰는게 익숙치 않아서 그런지 에러가 뜨면 난감하고 어디를 수정해야 할 지 모를 때가 너무 많다... 에러문을 구글링하면서 찾다가 잘 정리된 블로그가 있어 남겨놓는다. 나중에 유용하게 자주 사용될 듯 하다. brstar96.github.io/shoveling/device_error_summary/ 이유를 알 수 없는 GPU 에러 정리(device-side assert, CUDA error, CUDNN_STATUS_NOT_INITIALIZED 등등…) brstar96.github.io

데이터 분석을 처리하다보면 정렬을 하는 경우도 필요하고, 정렬에 대한 그룹별 순위를 구하는 것 또한 필요하다. 그럴때 자주 사용되는 함수가 바로 rank() 함수이다. rank 함수는 아래와 같은 형식으로 사용한다. pd.Series.rank(method = 'average', ascending = True) 위와 같이 rank를 사용하는 경우, 두개의 중요한 옵션이 있다. 1) 동점을 처리하는 방법 2) 오름차순/내림차순 유무 이다. 순위를 구할 때 동점 처리하는 방법은 아래와 같다. method = 'average' : 동점 관측치일 때 그룹 내 평균 순위를 부여(default) method = 'min' : 동점 관측치일 때 그룹 내 최소 순위 부여 method = 'max' : 동점 관측치일 때 ..

이전 포스팅에서는 os 모듈과 glob 모듈을 가지고 파일 리스트를 구하는 방법에 대해 이야기했었다. 2021/01/12 - [Code/Python] - [Python] 폴더 내 파일 리스트 가져오기 (os/glob) [Python] 폴더 내 파일 리스트 가져오기 (os/glob) 파이썬에서 코딩을 하다보면 하나의 폴더 내 파일 리스트를 가져와야 하는 경우가 종종 있다. 또는 존재하는 파일 중 특정 패턴을 가진 파이들을 불러와야 하는 경우도 있다. 이 때, os 또는 glob everywhere-data.tistory.com 오늘은 os 모듈에서 파일의 크기를 파악하는 함수에 대해 포스팅하려고 한다. 파일이 많을 때 각 파일의 리스트를 확인해야 할 때가 많다. 파일의 용량이 크면 일부만 출해서 확인해야 ..

파이썬에서 코딩을 하다보면 하나의 폴더 내 파일 리스트를 가져와야 하는 경우가 종종 있다. 또는 존재하는 파일 중 특정 패턴을 가진 파이들을 불러와야 하는 경우도 있다. 이 때, os 또는 glob 모듈을 사용해서 해결한다. os module ver. os 모듈에서는 listdir을 사용해서 특정 폴더에 있는 파일 리스트를 가져올 수 있다. import os path = './' os.listdir(path) 위와 같은 문장을 실행하면 아래와 같이 list형태로 나온다. ['SearchInfo.tsv', 'Category.tsv', 'sampleSubmission_HistCTR.csv'] 만일 특정한 패턴을 가진 파일들의 리스트만 출력하고 싶다면 아래와 같이 작성하면 된다. import os path =..

평소에 파이토치에서 모델을 저장할 때 torch.save(모델명, 모델 경로)만 사용해서 pickle 파일로 저장을 했었다. 이번에 딥러닝을 배우면서 state_dict 함수란것을 배웠고, 그것이 뭔지 좀 더 자세히 기록하기 위해 이와 같은 포스팅을 하게 되었다. 모델을 저장하는데에는 두가지 방법이 있는 듯 하다. torch.save(model 명, 저장경로) 사실 torch.save()는 모델 뿐 아니라 모든 객체를 pickle 파일로 저장할 수 있는 함수이다. 확장자 명 또한 사용자가 지정 가능하다. 저장된 모델을 불러오는 데에는 torch.load(저장경로)를 사용하면 된다. torch.save( [model명].state_dict(), 저장경로) 모델의 매개변수들을 저장하는 방법 모델을 불러올 때..

파이썬 내장함수 중 주어진 인스턴스가 어떤 클래스/ 또는 데이터 타입인지 확인하는 함수가 있다. 바로 isinstance함수이다. 함수의 사용법은 아래와 같다. isinstance(인스턴스, 클래스/데이터타입) isinstance에 객체 이름과 클래스 또는 데이터 타입이 일치하는 경우에는 True를, 아니면 False를 출력해준다. 함수나 클래스를 구성할 때, 객체 타입에 알맞는지 조건문을 검사할 때 주로 사용된다. # int 타입인지 검사 result = isinstance(7, int) print(result) >>> True # float 타입인지 검사 result = isinstance(0.001, float) print(result) >>> True # str 타입인지 검사 result = is..

for문과 함께 자주 사용하는 enumerate 함수, 종종 봤을 것이다. list, tuple, string 등에 대한 자료형을 입력받았을 때 그 객체는 index 값을 가지고 있다. enumerate 함수는 객체의 index값과 원소의 값을 tuple 형태로 함께 돌려주는 함수이다. 아래 예시를 확인해보자. a = ['korea', 'usa', 'japan'] b = list(enumerate(a)) c = dict(enumerate(a)) print(b) print(c) >>> [(0, 'korea'), (1, 'usa'), (2, 'japan')] {0: 'korea', 1: 'usa', 2: 'japan'} 위와 같이 enumerate() 를 사용할 경우 인덱스 값과 같이 출력됨을 알 수 있다...

colab.research.google.com/notebooks/intro.ipynb# Google Colaboratory colab.research.google.com 데이터 분석을 하다보면(특히나 딥러닝을 사용할 때) GPU를 사용하거나 큰 메모리를 사용해야 하는 경우가 종종 있다. 로컬 환경에서는 그러한 메모리를 전부 감당하기 버거울 때가 있는데, 그래서 구글에서는 위와 같은 Colab, 즉 Colavoratory라는 환경을 제공했다. Google Colab이란? 데이터 과학자, 또는 학생, 도는 AI 개발자들을 위해 구글에서 제공하는 무료 클라우드 서비스를 말한다. 위 Colab, 즉 Colaboratory를 사용하면 브라우저에서 Python을 작성하고 실행할 수 있다. GPU를 무료 엑세스 할 ..