[IT] NVIDIA 그래픽카드(GPU) 종류 간단정리

AI 업계에 일하면서, 딥러닝 학습 속도를 위해서는 GPU가 반드시 필요하다는 걸 알고 있으면서 그 종류에 대해서 자세히 알고 있지는 않았다. 그냥 그래픽카드가 GPU이고, 게임이나 디자인 하는데 반응속도가 빠른걸 사기 위해서는 그래픽 카드가 필요하구나, 근데 딥러닝에서도 쓰이네? 정도로 알고 있었더랬다. 

 

그래서 남들이 "V100? 3080? 우와~" 하는 말들에 감흥을 못느끼고 있었다. 그러다가 이제는 좀 알아야 하지 않을까 싶어서 찾아보는데, 명확하게 정리된 문서는 너무 찾기 어려웠다. 그래서.. 내 위주로라도 정리하고 찾아본 내용을 여기에 적어보려고 한다. 

 

1. NVIDIA GPU 종류

NVIDIA에서는 GPU 종류를 크게 3가지로 나누는 듯 하다. 

• 데스크톱 용 GPU
• 모바일 용 GPU
• 워크스테이션 용 GPU

그 중에서 내가 관심으로 갖는 것은 데스크톱 용 GPU니 그 부분을 중점적으로 이야기 해보고자 한다. 

 

2. NVIDIA GeForce GPU

GeForce라는 명칭은 'Game Experience Force' 의 약자로 가정용/게이밍용을 위한 GPU라고 할 수 있다. 그의 네이밍 규칙은 아래와 같다. 

출처 : 나무위키

- GTX, RTX 등은 칩셋의 라인업 등급을 의미한다. GTX는 Grand eXtreame Edition의 약자이며 RTX는 Raytracing realTime eXtreme의 약자로 실시간 트레이싱 기술을 사용할 수 있는 그래픽 카드라고 한다. 

- 앞의 두자리 숫자는 세대 구분용, 뒤에 두자리 숫자는 성능을 의미한다. 일반적으로 세대 구분용 숫자가 높을수록 최신형이며, 라인 구분용 숫자가 높을수록 좋은 칩셋이라고 한다. 

- Ti는 티타늄(Titanium)을 의미하는 단어라고 한다. 일반적인 금속보다 내구성이 뛰어나도 단단한 금속인 티타늄을 제품 뒤쪽에 붙여서, 기존 버전보다 강화된 제품이라는 의미를 심어준다고 한다. (크게 성능의 차이는 없고 NVIDIA의 판매전략 중 하나라고도 한다.)

- 단순히 세대와 라인 구분만 봐서는 그래픽 메모리와 어떤 성능의 차이가 있는지 정확히 알지 못하니, 정확한 성능을 알고 싶다면, NVIDIA 홈페이지를 가서 확인해도 좋다. 

- 아래 사진을 보면 알겠지만, RTX 부터는 AI&Tensor코어가 전부 들어가 있기 때문에 가정용/게이밍 용이지만 딥러닝 학습에 큰 무리가 없다고 생각된다.

출처 : NVIDIA 공홈

3. DGX(데이터 클라우드센터) 용 GPU

한참을 찾아보았는데...

 

NVIDIA DGX 시스템은 딥러닝과 AI 분석 가속화를 위한 목적으로 세계 최초로 개발된 GPU 기반 슈퍼컴퓨터라고 한다. 그래서 딥러닝을 보다 신속하고 간단하게 실행할 수 있는 GPU가속 컴퓨팅 성능을 제공한다고 한다.  한마디로 DGX에 사용되는 GPU는 AI 분석용 칩셋이라고 보면 될 것 같다.

출처 : NVIDIA 공홈

- V100 은 Nvidia Volata 아키텍처 기반의 GPU라고 하는데, 640개의 Tensor 코어로 CPU 보다 32배 높은 가속 성능을 가지게 되며, NVLINK로 고속 상호 연결 기술을 사용한다고 한다. 

- A100은 Ampere 아키텍처 기반의 GPU이며, NVIDIA 데이터센터 플렛폼에서 사용되는 엔진이라고 한다. 전부 다 알아듣진 못하겠지만... 쨋든 기존 GPU 메모리의 성능보다 좋다는 것 정도, 또 초당 2테라바이트의 메모리 대역폭을 갖췄다는 것 정도만 알겠다. 또 NVIDIA Volta 보다 최대 20배 높은 성능을 가지고 있다고 한다. 

출처 : NVIDIA 공홈

출처 : NVIDIA 공홈

출처 : NVIDIA 공홈

- A 시리즈는 전부 Ampere 아키텍처 기반의 GPU이며, 각 GPU마다 숫자연산을 사용하는 코어의 성능이 다른 것 같다.

- H100은 Nvidia Hopper 아키텍처를 사용했으며, 대규모 언어모델의 정확도를 유지하면서 메모리 사용량을 줄이고 속도를 향상시킨다고 한다. 한마디로 자연어 처리 모델에 최적화된 GPU라고 할 수 있다. 

 

4. 후기

지금까지 여러 모델의 GPU에 대해 알아보고, 성능을 찾아보았는데, 기술의 발전이 가속화되면서 이 속도를 따라잡는 것이 매우 어렵다는 생각도 든다. 비슷한 모델들도 성능이 참 다양하구나 하는 생각도 들고... 얕게나마 GPU의 종류를 알게 되어 좋다.