Study/etc

[Trend] 대안 데이터(Alternative data)란?

0. 시작하며 최근 대안 데이터, 대안 신용평가에 대한 이야기가 심심치 않게 들려오고 있다. 마이데이터 사업도 점점 커져가고 있는 시점에 나의 작은 거래 이력, 나의 휴대폰 어플 사용 이력 등 모든 것이 데이터가 되어가고 있다. 오늘은 대안 데이터에 대해 알아보고자 한다. 1. 대안 데이터란? 대안 데이터(Alternative data)는 남들이 사용하지 않는, 비일반적인 정보 출처를 가리키는 대안적 데이터 소스를 사용해 수집한 정보를 말한다.(출처 : databricks) 대안 데이터를 사용하면 업계의 평범한 데이터 소스가 제공할 수 있는 범위를 벗어난 인사이트를 얻을 수 있다. 예를 들어 금융권에서의 금융 이력이나 단순 거래이력만을 사용하는 것이 아니라 SNS 사용 이력, 쇼핑몰 구매 이력 등을 통해..

[XAI] Integrated Gradient 에 대하여

0. 들어가며 요즘은 단순 연구에서 뿐만이 아닌 실제 현업에서 설명가능한 AI, XAI를 많이 요구하고 있는 듯 하다. AI의 신뢰성과 결과의 이유가 궁금하기 때문인 것 같다. 또한 금융사에서도 AI 결과를 고객에게 설명하기 위해서도 XAI를 사용한다고 한다. LIME이나 SHAP 등 XAI를 위한 활발한 연구가 이루어지고 있으며, 그에 대한 논문도 나오고 있지만 여전히 어려운 연구 과제 중 하나가 XAI라고 한다. 오늘은 어려운 이유와 함께 XAI에서 가지고 있는 문제점을 보완하기 위해 태어난 Integrated Gradient에 대해 설명해 보려고 한다. 1. 개요 0. 들어가며 에서도 말했지만 XAI를 위한, 그 중에서도 input feature가 모델의 output에 얼마나 영향을 끼쳤는지 나타내..

[IT] NVIDIA 그래픽카드(GPU) 종류 간단정리

AI 업계에 일하면서, 딥러닝 학습 속도를 위해서는 GPU가 반드시 필요하다는 걸 알고 있으면서 그 종류에 대해서 자세히 알고 있지는 않았다. 그냥 그래픽카드가 GPU이고, 게임이나 디자인 하는데 반응속도가 빠른걸 사기 위해서는 그래픽 카드가 필요하구나, 근데 딥러닝에서도 쓰이네? 정도로 알고 있었더랬다. 그래서 남들이 "V100? 3080? 우와~" 하는 말들에 감흥을 못느끼고 있었다. 그러다가 이제는 좀 알아야 하지 않을까 싶어서 찾아보는데, 명확하게 정리된 문서는 너무 찾기 어려웠다. 그래서.. 내 위주로라도 정리하고 찾아본 내용을 여기에 적어보려고 한다. 1. NVIDIA GPU 종류 NVIDIA에서는 GPU 종류를 크게 3가지로 나누는 듯 하다. 데스크톱 용 GPU 모바일 용 GPU 워크스테이션..

[GCP]Computing Engine에 Python 분석 환경 구성하기(2)

▼이전 발행글 확인하기 [GCP] Computing Engine에 Python 분석 환경 구성하기(1) 저번 글에서는 Google Cloud Platform에 대한 설명과, Computing Engine 인스턴스를 생성하는 것에 대해서 포스팅했다. ▼ 이전 글 보러가기 [GCP]Google cloud platform 가입하기 저번 포스팅에서 구글 클라우드.. everywhere-data.tistory.com 이전 포스팅에서는 vm에서 파이썬과 주피터노트북을 설치하고 config파일 생성 및 설정하는 법꺼지 설명했다. 이번 포스팅에서는 외부 ip할당과 방화벽 규칙을 통해 jupyter notebook 서버 접근을 설정해서 jupyter notebook을 외부ip를 통해 확인하는 것까지 볼 예정이다. 이제..

[GCP] Computing Engine에 Python 분석 환경 구성하기(1)

저번 글에서는 Google Cloud Platform에 대한 설명과, Computing Engine 인스턴스를 생성하는 것에 대해서 포스팅했다. ▼ 이전 글 보러가기 [GCP]Google cloud platform 가입하기 저번 포스팅에서 구글 클라우드 플랫폼에 대한 간략한 소개를 했었다. [GCP] google cloud platform에 대하여 최근에 구글클라우드플랫폼(google cloud platform)을 사용할 일이 있어 찾아보게 되었고, 대체 everywhere-data.tistory.com [GCP] Google Cloud Platform Compute Engine VM 생성하기 오늘은 GCP에서 Compute Engine을 이용해 가상 머신을 생성하는 작업을 알아보고자 한다. google..

[GCP] Google Cloud Platform Compute Engine VM 생성하기

오늘은 GCP에서 Compute Engine을 이용해 가상 머신을 생성하는 작업을 알아보고자 한다. google cloud platform 가입하는 방법은 이전 포스팅에 작성해 두었으니 참고하면 된다. 2021.12.12 - [Study/etc] - [GCP]Google cloud platform 가입하기 [GCP]Google cloud platform 가입하기 저번 포스팅에서 구글 클라우드 플랫폼에 대한 간략한 소개를 했었다. [GCP] google cloud platform에 대하여 최근에 구글클라우드플랫폼(google cloud platform)을 사용할 일이 있어 찾아보게 되었고, 대체 everywhere-data.tistory.com google cloud Platform의 초기화면은 아래와 같..

[GCP]Google cloud platform 가입하기

저번 포스팅에서 구글 클라우드 플랫폼에 대한 간략한 소개를 했었다. [GCP] google cloud platform에 대하여 최근에 구글클라우드플랫폼(google cloud platform)을 사용할 일이 있어 찾아보게 되었고, 대체 구글 클라우드 플랫폼이 정확히 무엇인지 궁금해서 여러가지 찾아보게 되었다. 1. Google Cloud Platform(GCP) everywhere-data.tistory.com 이번에는 구글 클라우드 플랫폼을 가입하고 간략하게 프로젝트 생성하는 것까지 포스팅 해보려고 한다. 클라우드를 제공하는 것 중 사용해본 곳은 아마존이 있는데, 아마존은 1년간 무료지만, 구글은 $300를 줘서 그 안에서 이것저것 해볼 수 있다고 한다. 그리고 구글에서는 빅데이터 관련 서비스가 많다...

[GCP] google cloud platform에 대하여

최근에 구글클라우드플랫폼(google cloud platform)을 사용할 일이 있어 찾아보게 되었고, 대체 구글 클라우드 플랫폼이 정확히 무엇인지 궁금해서 여러가지 찾아보게 되었다. 1. Google Cloud Platform(GCP)란 무엇인가 웹 서비스나 서버 관련 작업을 해야하고, DB를 구축하고, 여러가지 언어로 서버를 구축할 때에, 개인이 본인의 컴퓨터나 노트북으로 실습하거나 연습하기에 어려운 경우가 대부분이다. 그래서 최근에는 가상서버 즉 VM으로 서버를 구축하여 동작 확인이나 실습을 하기도 한다. 대표적으로 AWS(Amazon Web Services) 와 같은 아마존 웹 서비스가 있으며 마이크로소프트 사에서도 Microsoft Azure를 제공하고 있다. 그 다음으로 구글에서 제공하는 클라..