인공지능과 메모리 반도체

[디지털비즈온 김맹근 기자] 메모리 반도체의 경우, 인공지능을 위한 서버는 일반적인 클라우드 상의 서버보다 비교할 수 없을 만큼 훨씬 더 대용량의 빅데이터를 지연시간(Latency)없이 처리해야 한다. 따라서 DRAM의 경우 대용량 데이터를 한꺼번에 처리할 수 있는 HBM(High Bandwidth Memory)의 수요가 급증할 것으로 전망되고 있으며, DRAM보다 속도가 빠르며 CPU 등에 붙어 있는 SRAM 시장도 빠르게 성장할 수 있을 것으로 전망된다.

2018년 미국의 마이크론 테크놀로지는 메모리 반도체 시장에 관하여 흥미로운 전망을 내놓았다. 미래의 반도체는 데이터센터와 자동차, 그리고 사물인터넷 IoT 분야에서 급성장을 기대하고 있으며, 인공지능을 위한 트레이닝에는 일반적인 클라우드 서버 대비 6배의 DRAM과 2배의 SSD를 필요로 한다는 것이다.

이 예측이 모두 맞는 것은 아니지만, 실제로 클라우드 기업들이 인공지능 서비스를 확대하기 시작하면서 초고용량의 데이터를 한꺼번에 작업할 수 있는 HBM과 초고용량의 Enterprise SSD의 수요는 견조하게 증가하고 있다.

Cloud 업체들이 인공지능과 사물인터넷을 연결하는 초고성능의 Cloud 시스템을 구현할 때 향후 주목받는 것이 바로 HBM이다. HBM는 DRAM을 마치 3D NAND처럼 쌓아서 한꺼번에 큰 용량의 데이터를 처리하는 제품이다. 일반적인 제품이 12GB짜리 DRAM을 8개 연결해서 따로따로 사용했다면, HBM는 96GB의 DRAM을 하나처럼 사용하려는 것이다.

HBM은 현존 메모리 칩 기술에 비해 훨씬 더 빠르면서 전기 소비량은 더 적고 공간도 덜 차지하여, 리소스 사용량이 많은 고성능 컴퓨팅(HPC)과 인공지능(AI) 애플리케이션에서 특히 주목받고 있다. HBM은 미국 칩 제조 업체 AMD와 한국의 메모리 칩 공급업체 SK 하이닉스가 함께 개발하였다.

HBM은 중앙 처리 장치(CPU)와 그래픽 처리 장치(GPU)의 성능에 비해 뒤처지는 표준 랜덤 액세스 메모리(DRAM)의 성능과 전력 문제를 해결하기 위해 개발되었다. 초기 대응책은 DRAM 용량을 늘리고 마더보드에 RAM 슬롯이라고도 하는 듀얼 인라인 메모리 모듈(DIMM) 슬롯을 늘리는 것이었다.

그러나 문제는 메모리 자체가 아니라 버스에 있었습니다. 표준 DRAM 버스의 비트 폭은 4~32이지만, HBM 버스의 비트 폭은 이보다 최대 128배 더 넓은 1,024에 이른다. 자동차에 비유하면 1차선 도로와 16차선 도로 중 어느 도로에서 더 많은 차가 다닐 수 있을지 생각하시면 된다.

HBM 기술은 대역폭을 높이기 위해 버스의 폭을 넓히는 것 외에, 메모리 칩의 크기를 줄여 새로운 설계 형식으로 적층 한다. HBM 칩은 원래 그래픽 더블 데이터 레이트(GDDR) 메모리를 대체하기 위해 개발되었지만, GDDR 메모리에 비해 매우 작아서 1GB GDDR 메모리 칩의 점유 면적은 672 제곱밀리미터인데 비해 1GB HBM은 35평방밀리미터에 불과하다.

또한 HBM은 트랜지스터를 옆으로 펼치지 않고 위로 적층하여 ‘실리콘 관통 전극(TSV)’이라는 기술로 연결한다. TSV는 마치 건물 내의 엘리베이터처럼 HBM 칩의 레이어 사이를 움직이는 방법으로 데이터 비트의 이동에 필요한 시간을 크게 줄였다.

기판에서 CPU와 GPU 바로 옆에 HBM을 배치하면 CPU/GPU와 메모리 간의 데이터 이동에 필요한 전력도 낮출 수 있다. 3D-TSV 기술을 사용하여 24GB짜리 DRAM을 12개까지 쌓아서 무려 288GB의 DRAM을 하나처럼 사용하는 HBM2 Enhanced 제품이 소개되었습니다. 앞으로 인공지능 시대가 다가올수록, HBM 계열 제품의 초고용량 DRAM 수요는 폭발적으로 증가할 것으로 기대할 수 있겠다.