ChangeBrief

AI 반도체 시장에서 지금까지 가장 주목받은 메모리는 HBM이었습니다. 그런데 AI가 모델 학습에서 실제 사용자에게 답을 내놓는 ‘추론’ 단계로 확장되면서 새로운 문제가 커지고 있습니다. 빠른 메모리만으로는 감당하기 어려울 만큼 저장하고 이동해야 할 데이터가 많아지고 있다는 점입니다.

SK하이닉스가 9월 15~17일 미국 산타클라라에서 열린 ‘AI Infra Summit 2026’에서 전면에 내세운 기술이 HBF(High Bandwidth Flash)입니다. HBF는 HBM을 대체하는 메모리라기보다 HBM과 SSD 사이의 빈 공간을 채우려는 새로운 메모리 계층에 가깝습니다.

HBM이 있는데 왜 HBF가 필요한가

HBM은 여러 DRAM을 수직으로 쌓아 GPU 옆에서 대량의 데이터를 빠르게 주고받는 고성능 메모리입니다. 하지만 AI 서비스가 길고 복잡해질수록 속도뿐 아니라 얼마나 많은 데이터를 가까이에 둘 수 있느냐가 중요해집니다.

특히 대규모 언어모델은 대화가 길어질수록 이미 계산한 정보를 임시 보관하는 KV Cache가 커집니다. AI 에이전트가 동시에 여러 작업을 수행하고 긴 문맥을 기억할수록 필요한 메모리 용량도 늘어납니다. 비싼 HBM만 계속 늘리는 방식에는 비용과 용량 측면에서 한계가 생길 수 있습니다.

HBF는 HBM과 SSD 사이를 노린다

HBF는 NAND 플래시를 기반으로 하면서 HBM처럼 여러 칩을 수직 적층하고 TSV 기술을 활용합니다. NAND는 DRAM보다 느리지만 훨씬 큰 용량을 경제적으로 확보할 수 있습니다. HBM의 높은 속도와 SSD의 대용량 사이에서 새로운 선택지를 만들겠다는 구상입니다.

SK하이닉스와 Sandisk가 지난 8월 공개한 첫 HBF 개방형 표준 사양은 8단·16단 NAND 적층을 기준으로 최대 512GB 용량을 규정했고, 대역폭은 등급에 따라 약 0.4TB/s~3.0TB/s까지 제시했습니다. 프로세서 연결에는 UCIe 표준을 채택했습니다.

다만 이 수치는 공개된 표준 사양이지 당장 소비자가 구입하는 제품의 확정 성능을 뜻하지는 않습니다. HBF는 현재 표준화와 생태계 구축이 진행되는 차세대 기술이며 Google과 Tenstorrent도 관련 컨소시엄에 참여하고 있습니다.

PIM은 아예 ‘메모리에서 계산’한다

이번 행사에서 함께 소개된 PIM(Processing-In-Memory)은 같은 문제를 다른 방식으로 해결합니다. 기존 컴퓨터는 프로세서와 메모리 사이에서 데이터를 계속 이동시켜 계산하지만, PIM은 메모리에 연산 기능을 넣어 이동량을 줄입니다. SK하이닉스는 AiM 칩과 AiMX 가속 카드, AiMX가 장착된 서버를 전시했습니다.

SALT-KV는 HBM·DRAM·SSD를 골라 쓴다

SALT-KV는 모든 데이터를 가장 비싸고 빠른 메모리에 저장하는 대신 LLM의 KV Cache를 분석해 재사용 가치와 저장 비용에 따라 HBM·DRAM·SSD 가운데 적합한 위치에 배치합니다. 자주 쓰는 물건은 책상 위에, 가끔 쓰는 물건은 서랍에 두는 것과 비슷한 접근입니다.

HBM 다음 시장을 볼 때 중요한 변화

이번 발표의 핵심은 ‘HBF가 HBM을 대체한다’가 아닙니다. 오히려 AI 시스템이 복잡해지면서 하나의 메모리만으로 모든 데이터를 처리하기 어려워지고 있다는 것입니다.

앞으로 AI 서버는 가장 빠른 데이터는 HBM에, 더 큰 용량이 필요한 데이터는 HBF나 DRAM에, 상대적으로 덜 급한 데이터는 SSD에 두는 식으로 여러 계층을 조합할 가능성이 커지고 있습니다. 여기에 PIM처럼 메모리가 일부 계산을 담당하고 SALT-KV 같은 소프트웨어가 데이터를 어느 계층에 둘지 관리하는 구조가 결합됩니다.

아직은 ‘상용화 완료’ 단계가 아니다

HBF가 당장 HBM처럼 대규모 매출을 만드는 단계라고 해석하는 것은 이릅니다. SK하이닉스와 Sandisk는 개방형 표준을 만들고 생태계를 확대하는 과정에 있으며, SK하이닉스는 관련 복합 메모리 솔루션 수요가 2030년 전후 본격화될 것으로 전망한 바 있습니다.

그럼에도 HBF가 주목받는 이유는 분명합니다. AI 경쟁의 병목이 GPU 계산 능력만이 아니라 데이터를 얼마나 빠르고 효율적으로 저장하고 이동시키느냐로 넓어지고 있기 때문입니다. HBM으로 시작된 AI 메모리 경쟁이 HBF·PIM·SSD와 소프트웨어를 아우르는 ‘메모리 시스템’ 경쟁으로 확장되는지 지켜볼 필요가 있습니다.

자료 및 이미지 출처
SK하이닉스 뉴스룸 ‘AI Infra Summit 2026’ (2026.9.17) — HBF 구조 모형, AiMX 서버, SALT-KV 시연 사진
SK하이닉스 뉴스룸 HBF 첫 표준 사양 공개 (2026.8.4)
SK하이닉스·Sandisk HBF 글로벌 표준화 발표 (2026.2.25)