HBM에 대해 알아보자

출처: http://www.investchosun.com/site/data/html_dir/2023/07/30/2023073080001.html

최근 삼성전자가 엔비디아 HBM 납품에 대한 기술 평가를 받기 시작했다는 소식이 들리면서 HBM에 대한 관심이 급증한 것을 알 수 있다.
 
0. HBM = 고대역폭 메모리를 의미한다.
인공지능에 대한 연구와 그에 따른 기술의 개발이 동반되면서, AI GPU 시장도 같이 커지는 현상이 일어났다. 그 GPU에서 꼭 필요한 요소가 바로 HBM이다. 고대역폭 메모리란 고속도로에서 차선을 넓혀서 차량의 이동량을 늘리듯, 병렬 처리를 사용해서 HBM의 면적은 줄이고 적층시키는 방향으로 설계하는 것을 의미한다.

출처: SK 하이닉스

 
1. 생성형 AI - chatgpt 등의 서비스 운영에 중요한 요소이다. 신경망 학습 시에는 학습 데이터와 함께 테스트 데이터셋도 함께 들어가게 된다. 학습 데이터만 들어가 있으면 기출문제만 잘 풀고 실제 변형된 시험에서는 쪽을 못 쓰는 학생처럼 다른 데이터에서 학습 효과가 없는 과적합이 일어나기 때문이다.

 

2. 왜 쌓는 형식으로 설계되었을까?

 인공지능 관련 컴퓨팅에선 중요한 것이 짧은 시간과 많은 양의 데이터 운송 가능한가? 이 두 가지가 제일 중요하다. 그러려면 CPU에서 레지스터, 램 순으로 빠르게 데이터를 전송받듯이, HBM 역시 가까우면서 많은 데이터를 한꺼번에 운송해야 한다. 결국 위와 같은 스택형 메모리 설계가 진행되는 것이다.

 

현재, 한국에서 HBM 대량 양산에 성공한 기업은 SK 하이닉스 한 곳이라고 할 수 있다. 삼성전자 역시 엔비디아의 기술 평가를 받고 있다고 한다. 결과를 지켜봐야 하겠지만 한동안 SK 하이닉스의 독주가 예상된다고 보여진다.