HBM之父 "AI=메모리"... GPU 가동률 10% 불과

KAIST 김정호 교수는 HBM(고대역폭 메모리)을 발명한 공학자로, AI 시대의 결정적 병목 현상이 연산에서 메모리로 이동했다고 주장한다. 이 주장은 마이크론의 84.9% 매출총이익률과 1,000억 달러 규모의 확정 고객 계약이 뒷받침하고 있다.

고대역폭 메모리를 발명한 공학자는 AI 산업의 결정적 제약 조건이 더 이상 GPU 연산이 아니라 메모리 대역폭이라고 말한다. 프로세서가 데이터를 기다리는 데 대부분의 시간을 소비하기 때문에 GPU 가동률은 10%에 머물러 있다는 설명이다.

"AI는 곧 메모리입니다." 최초의 HBM 사양을 설계한 김정호 KAIST 전기전자공학부 교수는 화상 인터뷰에서 이렇게 말했다. "AI 컴퓨터의 진화는 메모리의 손에 달려 있습니다."

김 교수의 주장은 메모리 공급망 전반에서 지지를 받고 있다. 마이크론 테크놀로지는 2024 회계연도 3분기 비일반회계기준(Non-GAAP) 매출총이익률 84.9%를 기록했으며, 산제이 메로트라 CEO는 DRAM 물량의 약 20%, 낸드 물량의 3분의 1을 포괄하는 16건의 전략적 고객 계약을 체결했고, 잔여 이행 의무는 약 1,000억 달러에 달한다고 밝혔다. 김 교수가 DRAM과 낸드를 모두 생산할 수 있는 유일한 기업으로 지목한 삼성전자와 SK하이닉스는 2030년대 중반 완공을 목표로 호남 지역에 4개의 새로운 메가 팹에 총 800조 원(5,180억 달러)을 투자한다고 발표했다.

이러한 구조적 변화는 AI 하드웨어 분야에서 엔비디아의 지배력을 위협한다. 김 교수는 엔비디아의 GPU 기술 성장이 "거의 멈췄다"고 말했다. 칩은 방열 문제로 수직 적층이 불가능한 반면, 메모리는 가능하기 때문이다. 김 교수의 논리가 맞다면, AI 워크로드가 학습에서 추론으로 전환됨에 따라 GPU 제조사에 집중된 약 3조 달러의 시가총액이 메모리 제조사로 이동하기 시작할 수 있다.

HBM4, 공급자 주도권 전환의 신호탄

HBM4부터 메모리는 더 이상 표준화된 범용 제품이 아니다. 김 교수는 엔비디아, 구글, AMD 등 주요 AI 고객사마다 자사의 가속기 아키텍처에 맞춰진 맞춤형 HBM 설계를 필요로 한다고 말했다. 이러한 변화는 전통적인 구매자-공급자 관계를 역전시켰다. 이제 메모리 제조사는 개발을 시작하기 전에 장기 계약과 물량 약정을 요구하며, 사실상 가격을 수용하는 것이 아니라 결정하는 입장이 됐다.

"AI 기업들은 고성능 HBM을 필사적으로 필요로 하기 때문에 줄을 섭니다," 김 교수가 말했다. "공급자가 가격을 결정하기 시작합니다. 이는 전체 모델을 완전히 바꿉니다."

수치가 이를 증명한다. 마이크론의 메로트라 CEO는 투자자들에게 이 계약들의 최저 매출총이익률이 "이전 사이클에서 경험했던 최고치를 훨씬 웃돌 것"이라고 말했다. 마이크론 주가는 연초 대비 296.9% 상승했으며, 삼성전자와 SK하이닉스의 시가총액도 투자자들이 지속적인 가격 결정력을 반영하며 급증하고 있다.

HBF와 HBS: 차세대 메모리 아키텍처의 10년

김 교수는 향후 10년간 AI 하드웨어를 재편할 것으로 예상되는 두 가지 추가 메모리 아키텍처를 제시했다. 첫 번째는 HBF(고대역폭 플래시)로, HBM과 동일한 방식으로 낸드 플래시를 수직 적층하여 낮은 속도에서 약 10배의 용량을 제공한다. 추론 워크로드가 축적하는 '콜드 데이터' 저장에 적합하다. HBF를 개발 중인 기업으로는 SK하이닉스, 삼성, 샌디스크, 그리고 최근 도요타를 제치고 시가총액 기준 일본 최대 기업이 된 키옥시아가 있다.

두 번째는 HBS(고대역폭 SRAM)로, 더욱 급진적인 접근법이다. 김 교수는 12인치 웨이퍼 전체를 SRAM(DRAM보다 약 1,000배 빠름)으로 제조한 뒤 12~16개 층을 수직으로 적층하여 1.6테라바이트 용량을 달성하는 방안을 제안한다. GPU는 최상단에 위치하고, 냉각은 적층 구조의 최상층에 통합된다.

"전력 공급이 가장 어려운 기술이 될 것입니다," 김 교수가 말했다. "이 3차원 구조를 통해 수천 암페어의 전류를 공급하는 것 — 그것이 기업 간의 진정한 핵심 경쟁력이 될 것입니다."

메모리 투자 논리: 연산을 넘어서

김 교수의 장기 전망은 명확하다. "지금은 HBM의 시대이지만, 10년 후에는 낸드 플래시와 HBF 시장 수요가 HBM을 추월할 것입니다. 삼성과 SK하이닉스는 HBF 시대를 준비해야 합니다."

투자자에게 이 논리는 메모리 주식의 구조적 재평가로 이어진다. 김 교수에 따르면, 삼성전자와 SK하이닉스는 올해 합산 500조600조 원(3,240억3,890억 달러)의 영업이익을 창출할 것으로 예상된다. 김 교수는 두 회사 임원진과 정기적으로 만나고 있다고 말하며 "그들의 눈빛이 점점 더 밝아지고 있다"고 전했다.

리스크는 순환적이다. 역사적으로 메모리 업황 둔화는 가장 강력한 제조사조차도 타격을 입혔다. 그러나 김 교수는 이전 사이클 최고치를 웃도는 최저 이익률이 적용된 맞춤형 HBM 계약이 전례 없는 하방 보호 장치를 제공한다고 주장한다. "모델이 바뀌었습니다," 그가 말했다.

본 기사는 정보 제공 목적으로만 작성되었으며 투자 조언을 구성하지 않습니다.