이전 포스팅에서는 os 모듈과 glob 모듈을 가지고 파일 리스트를 구하는 방법에 대해 이야기했었다. 2021/01/12 - [Code/Python] - [Python] 폴더 내 파일 리스트 가져오기 (os/glob) [Python] 폴더 내 파일 리스트 가져오기 (os/glob) 파이썬에서 코딩을 하다보면 하나의 폴더 내 파일 리스트를 가져와야 하는 경우가 종종 있다. 또는 존재하는 파일 중 특정 패턴을 가진 파이들을 불러와야 하는 경우도 있다. 이 때, os 또는 glob everywhere-data.tistory.com 오늘은 os 모듈에서 파일의 크기를 파악하는 함수에 대해 포스팅하려고 한다. 파일이 많을 때 각 파일의 리스트를 확인해야 할 때가 많다. 파일의 용량이 크면 일부만 출해서 확인해야 ..

파이썬에서 코딩을 하다보면 하나의 폴더 내 파일 리스트를 가져와야 하는 경우가 종종 있다. 또는 존재하는 파일 중 특정 패턴을 가진 파이들을 불러와야 하는 경우도 있다. 이 때, os 또는 glob 모듈을 사용해서 해결한다. os module ver. os 모듈에서는 listdir을 사용해서 특정 폴더에 있는 파일 리스트를 가져올 수 있다. import os path = './' os.listdir(path) 위와 같은 문장을 실행하면 아래와 같이 list형태로 나온다. ['SearchInfo.tsv', 'Category.tsv', 'sampleSubmission_HistCTR.csv'] 만일 특정한 패턴을 가진 파일들의 리스트만 출력하고 싶다면 아래와 같이 작성하면 된다. import os path =..

평소에 파이토치에서 모델을 저장할 때 torch.save(모델명, 모델 경로)만 사용해서 pickle 파일로 저장을 했었다. 이번에 딥러닝을 배우면서 state_dict 함수란것을 배웠고, 그것이 뭔지 좀 더 자세히 기록하기 위해 이와 같은 포스팅을 하게 되었다. 모델을 저장하는데에는 두가지 방법이 있는 듯 하다. torch.save(model 명, 저장경로) 사실 torch.save()는 모델 뿐 아니라 모든 객체를 pickle 파일로 저장할 수 있는 함수이다. 확장자 명 또한 사용자가 지정 가능하다. 저장된 모델을 불러오는 데에는 torch.load(저장경로)를 사용하면 된다. torch.save( [model명].state_dict(), 저장경로) 모델의 매개변수들을 저장하는 방법 모델을 불러올 때..

파이썬 내장함수 중 주어진 인스턴스가 어떤 클래스/ 또는 데이터 타입인지 확인하는 함수가 있다. 바로 isinstance함수이다. 함수의 사용법은 아래와 같다. isinstance(인스턴스, 클래스/데이터타입) isinstance에 객체 이름과 클래스 또는 데이터 타입이 일치하는 경우에는 True를, 아니면 False를 출력해준다. 함수나 클래스를 구성할 때, 객체 타입에 알맞는지 조건문을 검사할 때 주로 사용된다. # int 타입인지 검사 result = isinstance(7, int) print(result) >>> True # float 타입인지 검사 result = isinstance(0.001, float) print(result) >>> True # str 타입인지 검사 result = is..

for문과 함께 자주 사용하는 enumerate 함수, 종종 봤을 것이다. list, tuple, string 등에 대한 자료형을 입력받았을 때 그 객체는 index 값을 가지고 있다. enumerate 함수는 객체의 index값과 원소의 값을 tuple 형태로 함께 돌려주는 함수이다. 아래 예시를 확인해보자. a = ['korea', 'usa', 'japan'] b = list(enumerate(a)) c = dict(enumerate(a)) print(b) print(c) >>> [(0, 'korea'), (1, 'usa'), (2, 'japan')] {0: 'korea', 1: 'usa', 2: 'japan'} 위와 같이 enumerate() 를 사용할 경우 인덱스 값과 같이 출력됨을 알 수 있다...

colab.research.google.com/notebooks/intro.ipynb# Google Colaboratory colab.research.google.com 데이터 분석을 하다보면(특히나 딥러닝을 사용할 때) GPU를 사용하거나 큰 메모리를 사용해야 하는 경우가 종종 있다. 로컬 환경에서는 그러한 메모리를 전부 감당하기 버거울 때가 있는데, 그래서 구글에서는 위와 같은 Colab, 즉 Colavoratory라는 환경을 제공했다. Google Colab이란? 데이터 과학자, 또는 학생, 도는 AI 개발자들을 위해 구글에서 제공하는 무료 클라우드 서비스를 말한다. 위 Colab, 즉 Colaboratory를 사용하면 브라우저에서 Python을 작성하고 실행할 수 있다. GPU를 무료 엑세스 할 ..

git으로 어떤 파일 하나를 올리려고 보니 아래와 같은 워닝이 떴다. $ git add testfile.ipynb warning: LF will be replaced by CRLF in testfile.ipynb. The file will have its original line endings in your working directory 에러는 아니라서 넘어갈까 싶었는데 그래도 찝찝해서 찾아보니 유닉스와 윈도우의 whitespace 표현 차이라고 한다. 유닉스 시스템에선 한줄의 끝이 LF(Line Feed)로 이루어지는 반면, 윈도우는 줄 끝이 CRLF(Carriage Return and Line Feed)로 이루어지기 때문에 어느쪽을 선택할지 Git에게 혼란이 온다고 한다. 그래서 결론 해결은 cor..

깃허브를 사용하다 보면 올리지 말아야 하는 파일들의 패턴이 존재할 때가 있다. 가령 대용량 csv 파일(프로젝트에서는 대부분의 csv 파일은 ignore한다) 이나, .ipynb_checkpoints/ excel 파일 등이 있는데, git을 수정할 때마다 untracked file로 뜨고 있으니 거슬리기도 하고, 혹여나 git add . 를 해서 잘못 올릴 수도 있으니 이에 대한 방안으로 .gitignore를 사용한다. .gitignore란? .git ignore 파일은 git 버전관리에서 제외할 파일 목록을 지정하는 파일이다. 위에서 말한 프로젝트 설정파일이나, 주피터를 만들때 생성되는 .ipynb_checkpoints/ 파일들이 대부분이다. 이런 관리할 필요가 없는 파일들을 git이 track(관리)..