1. 개요
High Bandwidth Memory (고대역폭 메모리)대한민국의 SK하이닉스가 최초로 개발하고 양산하여 2013년에 발표한 적층형 메모리 규격이다.##
2. 구조
엔비디아 H100과 나란히 탑재된 HBM2e 모습.[1]
GDDR과 HBM의 구조 비교
기존의 GDDR 계열 SGRAM을 대체하고 보다 고대역폭의 메모리 성능을 달성하기 위해 제안되었으며, 2013년에 반도체 표준협회인 JEDEC에 의해 채택되었다. 메모리 다이를 적층하여 실리콘을 관통하는 통로(TSV)를 통해 주 프로세서와 통신을 한다는 것으로, 이를 위해서 직접 인쇄 회로 기판 위에 올려지는 GDDR 계열 SGRAM과는 달리 인터포저라는 중간 단계를 필요로 한다.
GDDR의 경우 32개의 핀을 구리배선으로 연결하면 되므로 따로 미세공정이 필요 없었다. 그러나 HBM은 1024개나 되는 미세한 핀을 연결해야 하기 때문에 그대로 기판에 붙일 수 없다. 설령 그대로 붙인다고 하더라도 1024개나 되는 배선을 기판에 구현하여 GPU에 연결하는 것도 만만치 않은 일이라[2], 중간에 인터포저를 추가하여 여기에 GPU와 HBM을 가깝게 배치해서 연결하자는 아이디어가 나왔다. 2012년에 이종간 패키징이 가능한 TSMC CoWoS가 개발되고, 2014년에 AMD와 SK하이닉스가 협력하여 TSV(Through Silicon Via) HBM 제품 개발에 성공하면서, 이후 본격적으로 HBM을 활용한 제품이 나오게 되었다.
2.1. 규격
JEDEC 표준 규격|| 규격 || 총 채널 구성과
스택당 다이 구성 || 스택당
최대 용량
(GB) || 스택당
버스 폭 || 전압(V) || 클럭
(비트레이트) || 채널당
I/O 데이터
전송률 || 스택당
대역폭
(GB/s) || 개발 || 표준화 || 적용 ||
스택당 다이 구성 || 스택당
최대 용량
(GB) || 스택당
버스 폭 || 전압(V) || 클럭
(비트레이트) || 채널당
I/O 데이터
전송률 || 스택당
대역폭
(GB/s) || 개발 || 표준화 || 적용 ||
| HBM | 8 채널 × 128-bit × 4-Hi | 4 | 1024-bit | 1.3 | 500 MHz (1 Gbps) | 1 GT/s | 128 | 2013년 | 2013년 | 2015년 |
| HBM2 | 8 채널 × 128-bit × 8-Hi | 8 | 1024-bit | 1.2 | 1000 MHz (2 Gbps) | 2 GT/s | 256 | 2015년 | 2016년 | 2016년 |
| HBM2E | 8 채널 × 128-bit × 12-Hi | 24 | 1024-bit | 1.2 | 1200 MHz (2.4 Gbps) | 2.5 GT/s | 307 | 2018년 | 2019년 | 2020년 |
| HBM3 | 16 채널 × 64-bit × 16-Hi | 64 | 1024-bit | 1.1 | 3200 MHz (6.4 Gbps) | 6.4 GT/s | 819 | 2021년 | 2022년 | 2023년 |
| HBM3E[3] | 2023년 | (미정) | (미정) | |||||||
| HBM4[4] | 2026년 |
3. 역사
전자신문의 보도에 따르면# SK하이닉스의 HBM 개발은 닌텐도의 제안에서 시작되었다. 닌텐도는 그래픽 성능 강화를 위해 메모리 대역폭(I/O)을 늘리는 방안을 제안했으며, 이에 따라 GPU를 제작하는 AMD도 함께 움직였고, SK하이닉스 역시 참여하게 되었다. 당시 SK하이닉스는 게임 시장의 성장 가능성을 높게 평가하고 있어 그래픽 메모리에 집중하던 차에 이 프로젝트가 시작된 것이다.초기 HBM은 커스터마이징된 제품이었다. 콘솔 게임 업체나 GPU 업체의 요구에 맞춰 제작해야 했기 때문에 큰 수익을 기대하기 어려웠다. 특수 목적의 제품이다 보니 수요가 한정적이었다. 현재는 생성형 AI의 발전으로 인해 HBM 수요가 폭발적으로 증가하여 수조 원대 시장이 형성되었지만, 불과 몇 년 전만 해도 HBM은 전체 메모리 시장에서 1%도 채 안 되는 비중을 차지했고, 그 금액도 1조 원에 미치지 못했다.
그럼에도 SK하이닉스는 커스터마이징 요구에 적극적으로 대응했다. 당시에는 틈새시장에 불과했지만, 향후 초고속 대용량 데이터 처리 수요가 늘어날 것이라는 판단 하에 기술 개발을 이어갔고, 그 결과 2013년 세계 최초로 HBM을 개발하는 데 성공했다.
한때 GDDR에 비해서 뚜렷하게 우세하지 못한 성능으로 인해 계륵 취급을 받은 적도 있었다. 초기 HBM 1세대가 개발되었을 때, 그래픽카드에 HBM 4개(4096bit)를 배치한 것[5]과 GDDR 12개(384bit)를 배치한 것을 비교하면, 대역폭 및 용량 차이가 그리 크지 않은데 가격은 비쌌기 때문이다. 한편으로는 그래픽 메모리를 대용량으로 필요할 만한 게임도 없었고, 대학 또는 기업의 인공지능 랩에서나 쓰이는 정도라 일반 GDDR에 비해 수요가 적었다. 이런 이유로 2019년 삼성전자에서는 시장성이 없다고 판단하고 일시적으로 사업을 철수한 적도 있었다.#
그러나 시간이 흘러 성능 개선이 이루어지면서, GDDR과 HBM간의 기술 격차가 점점 크게 벌어지는 상황이다. 특히 GDDR의 경우 단층에 따른 구조적 한계로 개선이 더딘 반면[6], HBM의 경우 메모리 다이만 잘 쌓으면 용량과 대역폭이 배로 증가하니 상대적으로 기술 발전이 빠른 편이다. 거기에 매개변수가 많아 메모리를 많이 쓸 수 밖에 없는 GPT나 Stable Diffusion과 같은 트랜스포머 기반 인공지능 분야에서 수요가 급증했는데, 이들을 제대로 활용하려면 사실상 HBM 사용이 강제된다. 용량도 중요하지만 많은 모델 데이터들을 빠른 시간내 처리하기 위해선 메모리 대역폭도 중요하기 때문이다.
근본적인 구조의 차이 때문에 GDDR과 비교를 하더라도 대역폭 면에서는 HBM이 월등하게 우수하다. 삼성은 스택당 최대 8-Hi, 최대 3.2 GT/s, 410 GB/s, 총 16 GB를 지원하는 플래시볼트 HBM2E를 2020년 2월에 양산했다. SK하이닉스도 스택당 최대 8-Hi, 최대 3.6 GT/s, 460 GB/s, 총 16 GB를 지원하는 HBM2E를 개발하여 2020년 7월 대량 생산에 돌입했다고 한다. 그리고 2020년 11월 16일, NVIDIA가 3.2 Gbps와 총 2 TB/s 대역폭을 지니는 HBM2E로 업그레이드된 A100 80 GB 연산 카드를 발표했다.
3.1. 2021 ~ 2022년
2021년에 SK하이닉스의 HBM3 개발 소식이 발표된 후, 2022년 1월 27일에 HBM3의 JEDEC 표준 사양이 발표되었다. 스택당 최대 819 GB/s로 2개의 스택으로만 구성해도 약 1.6 TB/s가 되는데, GDDR6X SGRAM 21 Gbps 사양이어야 384-bit 구성시 1 TB/s를 겨우 돌파하므로, HBM3가 탑재된 제품의 투입 시기가 늦어지지 않는다면 당분간 대역폭 우위를 차지할 수 있을 것이다.2019년에 개발을 일시 철수했던 삼성전자는 뒤늦게 4세대 HBM 개발을 시작하였고, 2022년에 HBM3 '아이스볼트(Icebolt)'를 개발하였다.# 그러나 SK하이닉스보다 1년 늦게 개발된 탓인지 엔비디아에 납품은 어려운 상황이다. 트렌트포스측에서는 삼성전자가 HBM3를 2023년 말에서 2024년 1월 사이에 양산할 것으로 전망하고 있다.#
3.2. 2023년
HBM 개발을 위한 SK하이닉스와 삼성전자의 경쟁이 가속화 되는 가운데, 하이닉스에서 엔비디아 AI가속기 H100에 HBM3를 공급함으로써 삼성전자를 완전히 누르고 독주시대를 연 것으로 평가된다. 이에 반해 삼성전자는 2019년 HBM은 사업성이 없다고 오판한 나머지 삼성전자의 치명적인 흑역사[7]의 한 페이지를 장식하게 된다.2023년 기준 메모리반도체 시장에서 HBM이 차지하는 비중은 1% 미만이지만# 매출은 10%에 달할 정도로 고부가가치 메모리 중 하나로 자리잡았다. 인공지능 칩의 가파른 수요 증가로 인해 이에 걸맞은 처리속도에 대한 수요도 덩달아 증가하며 호조세를 맞고 있다. 2023년에는 해당 분야에서 하이닉스와 삼성전자가 각각 53%, 38%로서 도합 90% 수준의 점유율을 기록하고 있고 나머지 10%는 마이크론이 차지하고 있다. 특히 최신 HBM3의 경우 2024년 기준 SK하이닉스가 90%를 차지할 정도로 거의 독주하고 있다.# 범용 인공지능 칩 시장의 80% 가량을 차지하고 있는 엔비디아가 하이닉스와의 협력을 통해 자사 GPU에 제품을 결합하여 판매하기 때문에 시장점유율 면에서 상당히 유리한 위치를 차지하고 있다.
2023년 8월, SK하이닉스에서 HBM3E 개발에 성공하였다.#
2023년 5월, 삼성전자의 차세대 HBM에 HBM3P '스노우볼트'라는 명칭을 붙일 것으로 알려졌다.# 동년 9월에는 엔비디아에 HBM3를 공급하기로 합의했다는 소식이 들려오기도 하였다.# 그러나 HBM3 샘플을 받아본 엔비디아에서 수율 문제를 우려하여, 최종 계약에는 이르지 못하고 조건부 가계약을 맺은 것으로 알려졌다.# 특히 엔비디아 측에선 차세대 HBM 메모리 명칭을 'HBM3E'로 정했으나, 삼성전자가 붙인 'HBM3P'라는 명칭을 바꿔달라고 요구한 것으로 알려졌다.#
2023년 10월, 삼성전자에서 일명 '샤인볼트(Shinebolt)’라는 HBM3E의 개발에 성공하였다고 발표하였다.#
2023년 11월, 엔비디아는 HBM3E가 탑재된 H200과 B100을 2024년 2분기에 출시한다고 발표하였다. AMD와 인텔도 각각 HBM3가 탑재된 MI350과 가우디3를 출시한다.
2023년 HBM 시장 전체 규모는 40억 달러로 추정하고 있고#, 2024년에는 120억 달러로 작년 대비 3배 늘어날 것으로 예상하고 있다. 하이닉스의 2023년 HBM 매출은 20억 달러 수준이다.#
3.3. 2024년
2월, SK하이닉스에서 16단 HBM3E 기술을 첫 공개할 것으로 알려졌다. 16단 48GB에 1.28TB/s의 대역폭을 처리할 수 있는 것으로 알려졌다.#2월 27일, 마이크론은 HBM3E의 양산을 개시한다고 밝혔다.# 2분기에 출시하는 엔비디아 H200에 탑재된다고 하며, 경쟁사보다 30% 전력 효율이 우수하다고 밝혔다. 다만 해당 시점에서 공급 예정이라는 사실만 밝힐 뿐, 확정 공급은 아닌 듯.
3월 19일, SK하이닉스에서 HBM3E 8단을 세계 최초로 양산하여 3월 말 고객사에게 납품한다고 밝혔다. # 마이크론보다 먼저 납품을 시작한다고 하며, H200에 탑재된다고 한다.#
5월 23일, SK하이닉스에서는 HBM3E의 수율이 80%에 육박[8] 한다고 파이낸셜타임스와의 인터뷰에서 밝혔다. 통상 수율은 영업 기밀에 속하기 때문에 공개하지 않으나, 이례적으로 공개한 만큼 HBM에 자신감이 있는듯 하다.#
반면, 삼성전자가 HBM에 대한 엔비디아의 테스트를 통과하지 못했다는 소식이 다음날(5월 24일) 로이터 통신에 의해 보도되었다. HBM3와 HBM3E 칩에 대해 엔비디아의 요구 사항을 충족시키지 못하면서 테스트 실패 결과가 4월에 나왔다고 덧붙였다.# 삼성전자측에서는 최종 테스트가 결정된 것이 아니고 순조롭게 진행 중이라며 즉각 반박하였으나, 주가는 외국인들의 실망 매물이 쏟아지면서 3% 하락하였다.
6월 27일, 마이크론은 실적발표에서 2025년도 HBM3E 생산물량이 완판되었다고 밝혔다.# 다만 그럼에도 불구하고 주가는 떨어졌는데, 예상하는 다음 분기 가이던스가 낮았기 때문이다. 마이크론의 HBM 수율이 잘 나오지 않는 것인지 CAPA가 부족한 것인지는 몰라도 생각보다 HBM에서 큰 수익이 나오지 않는 듯 하다. 업계에 따르면 엔비디아향 HBM3E 8단의 초도 물량이 일부 반려되는 등 HBM 생산 안정화에 어려움을 겪고 있다고 한다.#
7월 24일, 삼성전자의 HBM3가 엔비디아의 퀄테스트를 처음 통과했다고 로이터 통신이 보도하였다. 다만 HBM3E는 기준치를 충족하지 못하였다고 한다. 또한 삼성이 납품하는 HBM3 물량 대부분이 2024년 7월 기준 엔비디아가 주력으로 밀고 있는 H100이 아닌 H20에만 사용되는 것으로 알려졌다. H20은 중국 수출을 위한 제품으로 H100보다 컴퓨팅 성능이 1/5 수준이라고 한다.#
8월 5일, 중국의 CXMT가 HBM 제조공장에 월 5만장 규모 생산라인을 구축할 계획이라고 전자신문이 보도하였다. 최근 미국이 중국에 대한 반도체 견제 수위를 높이기 위해 엔비디아 GPU와 같은 시스템 반도체 뿐 아니라 고성능 메모리인 HBM의 대중국 수출도 통제하겠다는 움직임을 보이면서 중국이 HBM 육성에 속도를 내는 것으로 보인다. 반도체 업계 관계자를 인용해 당장 한국이나 미국의 HBM 기술과는 격차가 있어 직접적인 경쟁은 어렵지만, 중국도 점진적으로 기술력을 키워 나갈 것이라며 중국이 HBM 자급 체계를 구축한다면 기존에 HBM을 중국에 공급한 한국의 점유율을 뺏길 가능성도 있다고 진단했다.# 다만 CXMT가 2026년까지 제조하려는 HBM2#의 경우에는 이미 10년 전에 개발된 오래된 기술인 만큼 여전히 기술격차가 매우 크다.# 거기에 미국의 제재로 인해 장비나 소재조차 수입이 어려운 만큼 실제 대량 양산까지는 꽤 긴 시간이 필요로 할 수도 있어#, 국내 메모리 업계에서는 CXMT의 HBM이 시장에 영향을 주기 어렵다고 보고 있다.
8월 7일, 삼성전자의 HBM3E 8단이 엔비디아 퀄테스트를 통과했다고 로이터 통신이 보도하였다.# 이에 대해 삼성전자 측에서는 사실과 다르며, 아직 퀄테스트를 진행하고 있다고 밝혔다.#
9월 26일, sk하이닉스에서 세계 최초로 HBM3E 12단 36GB 양산에 돌입했다고 발표하였다.# 구체적인 공급사는 발표하지 않았으나, 정황상 엔비디아에 납품되는 것으로 보인다.#
9월 30일, 대만의 시장조사기관 트렌드포스에서 2025년 HBM 수요 80%가 HBM3E가 차지할 것이라는 전망이 나왔다.# 이중에서 절반 이상이 HBM3E 12단 제품이라고 하며, 엔비디아의 B200, GB200과 AMD의 MI325, MI350에서 채택될 것이라고 한다. 거기에 D램 시장 중 HBM의 수익기여도는 30%를 초과할 것이라고 예상하였다.
11월 4일, SK하이닉스는 SK AI Summit에서 HBM3E 16단 48GB를 개발하고 있다고 공식 발표하며#, 2025년 상반기 중에 양산하여 고객사에 공급할 예정이라는 사실을 공개하였다.# 단수가 높아질수록 수율이 낮아지고 HBM높이도 높아지는데, 기존 12단 대비 패키징 수율이 99% 수준에, HBM 높이제한 775마이크로미터(㎛)를 충족시켰다고 밝혀 양산에 대해 자신감을 나타냈다.#
한편 SK AI 서밋에서 최태원 SK 회장이 엔비디아 젠슨 황 CEO로부터 HBM4 공급을 6개월 앞당겨 달라는 요청을 받았다고 공개하였다. 또한 공개된 젠슨 황의 영상 대담에서 “SK하이닉스와의 협력을 통해 적은 메모리를 통해 정확하고 구조화된 연산을 해 무어의 법칙을 넘어선 진보를 이룰 수 있었다”며 “아직까지도 우리는 SK하이닉스의 HBM이 더 필요하다"고 밝혔다.#
11월 5일, 트렌드포스에 따르면 내년 글로벌 HBM 시장 규모는 467억달러(약 65조원)으로, 2024년 대비(182억달러) 156% 급증할 것으로 예상하였다. D램 내 HBM 비중도 20%에서 34%로 높아질 것이며, 이중 엔비디아가 73%의 구매점유율을 차지할 것으로 분석하였다. 만약 SK하이닉스가 엔비디아 물량을 여전히 독점할 경우 2025년에는 HBM으로만 무려 50조원에 달하는 매출과 25조원에 달하는 영업이익을 달성할 것으로 보인다. # 반면 삼성전자의 경우 여전히 엔비디아에 소량만 납품할 뿐 제대로 납품을 못하고 있는 상황이라, 2025년에도 점유율이 더욱 더 축소될 것으로 보인다.
4. 장점
- 짧은 레이턴시와 높은 메모리 대역폭
메모리 적층이 이루어지면 각 층의 메모리와 GPU간 통신이 이루어 져야하는데, 이를 위해 메모리 셀 사이사이에 구멍을 뚫어 1,024개나 되는 채널(핀)을 구성하게 되었다. 또 HBM의 이론상 높은 대역폭을 그대로 실성능으로 끌어낼 수 있는데, GPU와 DRAM 다이 사이의 통신거리가 극도로 짧아[9] 신호 노이즈와 같은 간섭을 고려할 필요가 없어서 그렇다. 반면 GDDR의 경우 기판 배선을 거쳐야 하므로 노이즈 간섭을 받아 실 대역폭은 더욱 더 나오지 않는 경우가 허다하다. 덕분에 GDDR에 비해 짧은 레이턴시와 높은 대역폭을 어떠한 장애물 없이 그대로 구현할 수 있다.
- 작은 칩 면적과 작은 컨트롤러 면적
PCB에서 차지하는 메모리 칩(모듈)의 총 면적을 줄일 수 있고, 프로세서 내부에 탑재되는 내장 메모리 컨트롤러 자체도 기존 GDDR 계열 SGRAM 대비 더 작은 편이기 때문에 면적 대비 고대역폭에 유리하다. 당장 최상위 GPU에 탑재되는 GDDR6 SGRAM 컨트롤러의 총 면적만 봐도 HBM 컨트롤러보다 훨씬 더 넓은 면적으로 차지하고 있다. 그러므로 제한된 크기에서 성능을 올려야 할 때 HBM으로 성능 밀도를 더 올릴 수 있다.
- GDDR 대비 낮은 전력 소모
소비 전력도 낮은 편이다. (참고1, 참고2) 따라서 전력 공급의 한계에 걸린 하이엔드 VGA에선 HBM을 써서 메모리에서 아낀 전력을 GPU에 공급하여 더욱 성능을 이끌어 낼 수 있다. 물론 HBM 칩 개별로는 GDDR보다 소비량이 높지만, 1기가당 와트를 따지자면 GDDR보다 1/4 수준의 전력소모량을 보인다. 24GB 용량 기준으로 GDDR6X칩 12개가 최대 60W를 소모하는데, HBM3 1개가 최대 15W이므로 전력 소모량에서 유리하다.
- 유리한 메모리 용량 확장성
과거 HBM 개발 초기에는 적층 노하우가 거의 없던 시기라 용량을 확장하기 매우 어려웠다. 적층 과정에서 메모리 다이를 얇게 만드는 그라인딩 장비, 본딩 장비, 접합 물질, 무엇보다도 층마다 있는 메모리를 어떻게 기판과 연결해야 하는지에 대한 문제로 너무나 많은 기술적 한계가 있었다. 이를 위해 TSV라는 실리콘 관통 전극을 도입하고, 본딩에서도 NCF 또는 어드밴스드 MR-MUF 기술을 도입하면서 점차 다양하게 해결해 나가고 있다.
과거 GDDR6와 동세대에서 경쟁하던 HBM1 시절에는 D램 다이를 4층까지 적층할 수 있었는데, 층당 2GB라 스택 하나의 용량은 8GB가 고작이었다. 그러나 이후 등장한 HBM2는 8층까지, HBM3에서는 12층#, HBM3E는 16층까지 쌓아 확장성은 크게 늘어나게 되었다. 반면 GDDR의 경우 미세공정에 따른 용량 증가가 더뎌[10], 2024년 GDDR6X 기준 칩 당 2GB, GDDR7 기준 칩 당 3GB가 한계인데, 그렇다고 해서 용량을 늘리겠다고 기판에 칩을 많이 박아 넣을 수도 없는 상황이다.# 기판에 칩을 많이 박아넣는 것으로는 GPU와 GDDR 칩 간의 물리적인 거리가 늘어나서, 레이턴시&노이즈가 증가하는건 당연하므로, 일반적으론 12개, 기판 앞뒤로 많이 박아봐야 24개 정도가 한계라고 보면 된다. 결론적으로 HBM의 경우 수평이 아닌 수직으로 쌓다보니 적층 기술이 발달하면 메모리를 계속 적층해 나가며 용량을 계속해서 늘릴 수 있다.
- HMC보다 쉬운 구현 난도
HBM은 프로세서의 바로 위로 적층하는 것은 불가능하여 완전한 원칩은 구현할 수 없다. 이를 구현하는 것을 목표로 하는 마이크론의 HMC(Hybrid Memory Cube)와 비교했을 때 다소 완전하지 않은 모습으로 인해 3D가 아닌 2.5D라고 불리기도 한다. 하지만 HMC는 기술적으로 구현이 매우 어려워 존재감이 미미한 상태인 반면, HBM은 현재 삼성전자와 SK하이닉스가 대량 생산하고 있으며, AMD와 NVIDIA의 그래픽 카드에 채택되는 등 활약을 하고 있다. 또한 프로세서에도 TSV를 통과시켜야 하는 HMC에 비해서 단순히 인터포저 위에 올리기만 하면 되어 구현 난이도가 비교적 낮다는 것과, HBM이 그래픽 카드 업체에게 보다 사용하기 편한 것이 HBM의 성공에 보탬이 되었다.
5. 단점
- 높은 제작 난이도와 낮은 수율
GDDR의 경우 DRAM 다이가 단층이고, 여기에 패키징을 하는 데 높은 기술을 필요로 하지 않았다. 그런데 HBM의 경우 HBM용 DRAM 다이[11]를 높이 쌓아 층간에 1024개나 되는 전선[12]을 연결하고 절연 및 열방출을 돕는 언더필까지 매번 발라야 한다. 문제는 다이를 한층한층 접합할(본딩) 경우, 여러 가지 이유로 불량 판정으로 버려지는 것들이 상당하다. 예를 들어 한층을 쌓을 때 90% 확률로 성공한다고 하더라도, 8층의 최종 수율은 48%밖에 되지 않는다. 2024년 8단 기준 마이크론과 삼성전자의 수율이 30~50%로 추정되며, SK하이닉스의 경우 70~80%정도로 추정되고 있다. 결국 최종 수율이 제대로 안 나오면 그냥 DRAM을 여러 개 만들어 낱개로 파는 것보다 이익이 나오지 않는 경우도 있어, DRAM 제조 회사들이 HBM을 계륵 취급한 이유가 바로 여기에 있다.
- 높은 완제품 구현 난이도
단순히 기판(Substrate)에 붙이면 되는 GDDR에 비해 HBM은 특성상 인터포저에 붙이는 공정이 추가로 필요하다. 이를 위해 파운드리 업체인 TSMC의 최신 패키지 공정인 CoWoS를 이용해야 하므로, 온전히 물건을 받아보는 데 시간이 많이 걸리고 비용도 더 든다. 거기에 인터포저에 본딩하는 공정을 거치면서 열로 인해 멀쩡한 HBM이 불량나는 경우가 있어, 솔더링 작업에서 거의 불량나지 않는 GDDR에 비하면, 버려지는 HBM 비용을 최종고객사에서 감내해야 한다. 따라서 아직까지는 일반적인 소비자용 그래픽카드에 적용되어 있는 GDDR을 대체하기엔 가성비가 매우 떨어진다.
- 비싼 가격
B2B로만 납품되는 물건이라 정확한 가격에 대해서는 알려진 바가 없으나, TrendForce 기준 HBM2e의 1GB당 가격이 13.7달러고, HBM3 1GB당 가격이 약 15달러, HBM3e 1GB당 가격이 약 16달러로 추정된다. 그러니까 2025년 상반기 엔비디아 B200A에 들어갈 HBM3e 12단 36GB 칩셋 하나가 77만 원이라는 계산이 나오며, 향후 16단 이상의 고단으로 가게되면 기술적 난도로 인해 훨씬 더 비싸질 것으로 예상된다. 이런 미친 가격에도 불구하고 공급이 수요를 못따라가 프리미엄을 주고도 못 구하는 상황이 부지기수라고 한다.# 예로 SK하이닉스의 경우 2024년에 이미 2025년도 HBM 생산물량이 완판되었다고 밝힌 바 있고, 고객들이 HBM에 대해 선금을 지불할 의사가 있음에도 불구하고 오히려 거절할 만큼 생산 물량이 매우 부족한 실정이라고 한다. 삼성전자, 마이크론을 비롯한 HBM 후발 업체들이 생산에 적극 뛰어들고 있어 그나마 가격 협상의 여지가 있으나, 공정 자체가 매우 복잡하여 완제품 수율이 낮은 만큼, 대중화될 정도로 쉽게 가격이 떨어지지 않고 있다는 게 문제다.
- 복잡한 구조로 인한 내구성 문제
HBM이 적용된 Radeon VII과 같은 그래픽 카드의 경우 아무래도 기존의 그래픽카드에 많이 사용되던 GDDR이 아닌 새로운 형태의 메모리이고 구조도 복잡하기 때문에 내구성이 떨어져 메모리가 고장나면서 그래픽카드가 돌연사 하는 경우가 종종 나타나고 있다. # 또한 메모리가 고장났을 시 리솔더링을 통해 비교적 쉽게 수리가 가능한 GDDR과 달리 그래픽 카드 다이에 인터포저가 직결되어 있는 HBM은 수리가 굉장히 까다로우며, 사실상 자가수리가 불가능하다고 보아야 한다. 흔히 GPU 메모리가 고장났을 경우 뜨는 에러코드 43에서 일반적인 그래픽카드는 다리미 신공 등을 통해 요행으로라도 고치는 것을 시도해 볼 수 있으나, HBM이 적용된 그래픽카드는 애초에 냉납과 같은 솔더링의 문제로 고장이 난 것이 아니므로 이것이 불가능하다.
- 높은 발열로 인한 낮은 오버클럭 성능
기본적으로 HBM 메모리는 대역폭이 GDDR 대비 엄청나게 넓지만, 동작 속도 자체가 훨씬 낮고 GDDR에 비해 구조가 복잡하며 여러 개의 칩으로 구성되어 열원이 분산되는 GDDR에 비해 하나의 칩에 적층으로 구성되어 있어 열원이 더 집중되어 나타난다. 그러므로 방열에 더욱 불리한 구조를 가지고 있다.[13] 따라서 메모리 오버클럭으로 인한 성능 증가에 비하여 발열의 증가가 GDDR의 경우보다 더욱 크기 때문에 오버클럭을 통한 성능향상에 한계가 있다.
6. 타 규격과 성능 비교
- 제조사의 발표 기준으로 작성.
- 이론상 최대치 기준으로 작성
6.1. 칩당 대역폭
| 기준년도 | 구분 | 핀 개수 | 속도 | 대역폭 | 차이 |
| 2014년 | GDDR5 | 32 | 9Gbps | 36GB/s | 약 3.56배 |
| HBM1 | 1024 | 1Gbps | 128GB/s | ||
| 2018년 | GDDR6 | 32 | 18Gbps | 72GB/s | 약 4.26배 |
| HBM2 | 1024 | 2.4Gbps | 307GB/s | ||
| 2020년 | GDDR6X | 32 | 21Gbps | 84GB/s | 약 5.48배 |
| HBM2e | 1024 | 3.6Gbps | 460GB/s | ||
| 2022년 | GDDR6X | 32 | 24Gbps | 96GB/s | 약 8.53배 |
| HBM3 | 1024 | 6.4Gbps | 819GB/s | ||
| 2024년 | GDDR7 | 32 | 32Gbps | 128GB/s | 약 9.59배 |
| HBM3e | 1024 | 9.6Gbps | 1.2TB/s |
6.2. 그래픽카드 제품별 대역폭
- 2020년
제품명 구분
(용량)칩 개수
(총 용량)대역폭 엔비디아 A100 HBM2e(8Hi)
(16GB)6개
(80GB)2TB/s 엔비디아 RTX3090 GDDR6X
(1GB)24개
(24GB)936GB/s 엔비디아 RTX A6000 GDDR6
(2GB)24개
(48GB)768GB/s
- 2022년
제품명 구분
(용량)칩 개수
(총 용량)대역폭 엔비디아 H100 PCIe HBM2e(8Hi)
(16GB)6개
(80GB)2TB/s 엔비디아 RTX4090 GDDR6X
(2GB)12개
(24GB)1TB/s
- 2024년
제품명 구분
(용량)칩 개수
(총 용량)대역폭 AMD Instinct MI300X HBM3(8Hi)
(24GB)8개
(192GB)5.3TB/s 엔비디아 H200 SXM HBM3e(8Hi)
(24GB)6개
(141GB)4.8TB/s 엔비디아 GB200 NVL2 HBM3e(8Hi)
(24GB)16개
(384GB)16TB/s
- 2025년
제품명 구분
(용량)칩 개수
(총 용량)대역폭 엔비디아 B200A HBM3e(12Hi)
(36GB)4개
(144GB)4.8TB/s 엔비디아 RTX5090 GDDR7
(2GB)16개
(32GB)1.5TB/s
기울임체는 출시 예상 제품.
[1] 코어 양 옆으로 6개가 탑재됐으며, 바깥에 검은색 둥근모서리 사각형의 인터포저가 보인다. HBM2e 1개당 16GB이므로 총 96GB지만, 실제로는 80GB만 사용할 수 있다. 하나는 구조적 안정성 유지를 위한 더미거나 ECC 용도로 빼뒀을 가능성이 있지만, 정확한 이유는 알 수 없다.[2] 다만 인터포저를 이용한 CoWoS 패키징 공정이 워낙 공급량도 적고 비싸다보니, 기판에 직접 붙일 수 있게끔 패키징을 시도하려는 움직임도 보이고 있다.[3] 5세대[4] #1#2[5] 인터포저 크기를 어느정도로 구현할 수 있느냐에 따라 HBM 배치 개수가 정해지는데, 2010년대에는 4개에 불과했으나 2024년 기준으로는 6~8개 배치가 가능하다.[6] 미세 나노공정에서 개선이 이뤄져야 GDDR도 개선이 이루어지는데, 이것도 장비부터 시작해서 비용이 만만치 않다. 비메모리 분야에서는 제조비용이 얼마나 되든 간에 고성능 맞춤형 제품을 만드는게 목적이라 미세 나노공정이 쉽게 이루어지나, 메모리는 규격이 공통화 되어있고 수요와 공급의 논리에 따라 가격이 결정되므로 철저히 원가절감을 목적으로 미세화가 이뤄진다.#1#2 따라서 무작정 미세화 하기 어렵고, 하더라도 HBM처럼 드라마틱하게 성능 향상을 기대하기 어렵다.[7] 참고로 흑역사란 1.2000년에 안드로이드를 내친 것 2. 2007년 스마트폰을 내친 것 3. 2019년 HBM사업을 접은 것이다.[8] 이게 대단한 이유는, 통상 DRAM 다이를 한층 한층 쌓을때마다 수율이 계속해서 떨어지는데, 예를들어 한층 쌓을때 95% 확률로 성공한다면, 8층을 쌓는데 0.95를 8번 곱해야 하므로 전체 수율이 66% 수준이다. 그러니까 SK하이닉스는 한층 쌓을 때 97~98%의 단층 수율을 달성한다고 보면 된다. 반면 삼성전자나 마이크론의 경우 전체 수율이 30~50% 수준으로 알려졌다.[9] 물론 엄밀히 말하면 CoWoS 인터포저의 니어메모리에 따른 장점이 주라고 볼 수 있지만, 기존 GDDR을 옆으로 늘어뜨려 배선이 길어지는 것과 비교하여 위로 쌓아 훨씬 짧아지는 것도 있다.[10] 특히 미세화하면 미세화 할 수록 메모리 셀에 전하를 충전시키는게 매우 어려워지기 때문에 무작정 미세화가 어렵다. 이 때문에 GDDR에서도 적층을 시도하고 있다.[11] GDDR용 DRAM 다이와 HBM용 DRAM 다이가 구분되어 있다.[12] 일명 마이크로범프라고 하는데, 굉장히 미세하여 조금만 정렬이 틀어져도 범프간 연결이 안되기 때문에 고난도 기술과 고정밀 장비를 요구한다.[13] 그리고 차후 메모리를 지금보다 더욱 많이 적층하여 고용량의 HBM의 메모리를 만들수록 필연적으로 오버클럭 포텐셜은 더 떨어질 수 밖에 없다.