AI 반도체를 이끄는 메모리 기술: HBM, HBF, SSD

1. HBM에 대해

HBM은 High Bandwidth Memory의 약자로, 여러 개의 D램을 수직으로 적층해 기존 D램보다 훨씬 많은 데이터 전송 통로를 확보한 고성능 메모리입니다. 지금 HBM은 AI 가속기와 고성능 컴퓨팅에서 데이터 병목을 줄이는 핵심 부품으로 자리잡고 있습니다.

핵심 개념

일반 메모리가 평면적으로 배치되는 것과 달리, HBM은 칩을 여러 단으로 쌓아 같은 면적에서 더 높은 대역폭을 내도록 설계됩니다. 이 구조 덕분에 대량의 데이터를 매우 빠르게 주고받을 수 있고, 전력 효율도 함께 개선하는 방향으로 발전해 왔습니다.

왜 중요한가

AI 학습과 추론은 GPU나 가속기가 엄청난 양의 데이터를 짧은 시간에 읽고 써야 해서 메모리 대역폭이 부족하면 성능이 크게 떨어집니다. HBM은 이런 병목을 줄이기 위해 쓰이며, 데이터센터에서는 성능뿐 아니라 전력 비용 절감 측면에서도 중요성이 커지고 있습니다.

어디에 쓰나

대표적인 용도는 엔비디아 같은 AI 반도체 업체가 사용하는 AI 가속기, 서버, 고성능 컴퓨팅 시스템입니다. 삼성도 HBM3E를 AI 서비스 확장, 고성능 연산, 자율주행 같은 분야의 핵심 메모리 솔루션으로 소개하고 있습니다.

세대 흐름

SK하이닉스 설명에 따르면 HBM은 HBM, HBM2, HBM2E, HBM3, HBM3E, HBM4 순으로 발전해 왔습니다. 예를 들어 삼성의 5세대 HBM3E는 12단 적층 구조에서 최대 1,180GB/s 대역폭과 9.2Gbps 속도를 제시하고 있습니다. 또 SK하이닉스는 HBM4에서 2,048개 I/O를 적용해 HBM3E 대비 대역폭을 2배로 늘리고 전력 효율을 40% 이상 높였다고 밝혔습니다. HBM은 “가장 빠른 메모리”라기보다 AI·HPC 같은 메모리 병목이 큰 작업에 맞춰 설계된 전용형 고대역폭 메모리라고 이해하면 좋습니다. DDR, GDDR, HBM은 각각 쓰임새가 다르고, 최신 AI GPU에서는 특히 HBM의 넓은 대역폭이 결정적입니다.

DDR, GDDR, HBM

HBM3E와 HBM4

HBM3E는 현재 상용 AI 가속기에서 널리 쓰이는 세대이고, 삼성은 12단 HBM3E 기준 최대 1,180GB/s 대역폭과 36GB 용량을 제시하고 있습니다. HBM4는 JEDEC 표준 기준으로 2048-bit 인터페이스와 최대 2TB/s 대역폭, 최대 16단 적층과 64GB까지의 높은 집적도를 목표로 합니다. SK하이닉스도 자사 HBM4가 HBM3E 대비 대역폭 2배와 전력 효율 40% 이상 개선을 지향한다고 설명합니다.

왜 엔비디아에 중요할까

GPU는 계산을 아주 많이 병렬로 수행하지만, 메모리에서 데이터를 제때 못 받아오면 연산 유닛이 놀게 됩니다. 엔비디아 H100은 HBM3를 사용해 80GB 메모리와 3TB/s 이상 대역폭을 제공했고, H200은 업계 최초 HBM3E를 써서 141GB와 4.8TB/s로 더 큰 모델 처리 능력을 확보했습니다. 즉, AI 성능은 GPU 코어 수만이 아니라 “GPU가 HBM에서 얼마나 빨리 데이터를 먹어오느냐”에도 크게 좌우됩니다.

쉽게 비유하면

DDR은 넓은 일반도로, GDDR은 스포츠카용 고속도로, HBM은 AI 공장 바로 옆에 붙인 초대형 물류 전용 통로에 가깝습니다. 그래서 게임용 그래픽카드에는 GDDR이 여전히 많이 쓰이지만, 대규모 AI 학습용 GPU에는 HBM이 사실상 핵심 부품이 됩니다.

2. HBF에 대해

반도체 맥락에서 HBF는 보통 High Bandwidth Flash를 뜻하며, HBM과 SSD 사이의 빈 구간을 메우기 위해 제안된 차세대 AI 메모리 계층입니다. 쉽게 말하면, HBM은 아주 빠르지만 비싸고 용량이 작고, SSD는 싸고 용량이 크지만 느린데, HBF는 그 중간 지점을 노리는 기술입니다.

HBF가 뭔가

HBF는 낸드 플래시를 HBM처럼 적층해서 GPU 가까이에 두고, AI 추론에 필요한 대용량 데이터를 더 효율적으로 다루려는 개념입니다. SK하이닉스는 HBF를 “HBM과 SSD 사이의 새로운 메모리 계층”이라고 설명했고, 추론 영역에서 용량 확장과 전력 효율성을 함께 확보하려는 방향이라고 밝혔습니다.

HBM과 차이

HBM은 D램 기반이라 매우 빠른 연산 보조에 강하고, HBF는 낸드 기반이라 속도는 더 느리지만 훨씬 큰 용량을 제공하는 쪽에 강점이 있습니다. 비유하면 HBM이 자주 쓰는 데이터를 올려두는 책장이라면, HBF는 그보다 크지만 조금 더 느린 도서관에 가깝습니다. 그래서 HBF는 HBM의 대체재라기보다, HBM만으로 감당하기 어려운 대규모 추론 데이터와 KV 캐시, RAG 데이터 등을 보완하는 용도로 거론됩니다.

왜 주목받나

생성형 AI가 장문 컨텍스트, 멀티모달, 추론 중심으로 커질수록 GPU 가까이에 더 큰 메모리 용량이 필요해지고 있어서 HBF가 주목받고 있습니다. 샌디스크는 1세대 HBF가 GPU에서 최대 4TB VRAM급 구성을 목표로 설계됐다고 설명했고, 이는 기존 HBM3E 스택보다 훨씬 큰 용량을 겨냥한 것입니다. SK하이닉스와 샌디스크는 2026년 3월 HBF의 글로벌 표준화 작업을 시작했다고 발표했습니다.

지금 단계

다만 HBF는 아직 HBM처럼 널리 상용화된 주류 제품이라기보다, 업계가 표준화와 구조 검증을 진행 중인 신기술에 가깝습니다. 일부 업계 전망에서는 첫 HBF 등장 시점을 2027년, HBF 탑재 완제품 확산은 그 이후로 보고 있습니다

3. HBF vs HBM vs SSD 비교

가장 쉽게 말하면, HBM은 “가장 빠른 작업용 메모리”, HBF는 “속도와 용량의 중간층”, SSD는 “가장 큰 저장공간”으로 보면 됩니다. AI 서버 기준으로는 HBM이 연산 바로 옆 핵심 메모리이고, HBF는 그 한계를 보완할 후보, SSD는 대용량 저장장치 역할에 가깝습니다.

한눈에 비교

이렇게 이해하면 쉬워요

AI가 지금 당장 계산할 데이터는 HBM에 두고, HBM에 다 못 올리는 큰 데이터셋이나 추론용 보조 데이터는 앞으로 HBF가 맡을 가능성이 있으며, 장기 저장은 SSD가 담당하는 구조로 이해하면 됩니다. 즉, HBM은 성능 중심, HBF는 성능과 용량의 절충, SSD는 용량과 비용 중심이라고 보면 거의 맞습니다.

4. 앞으로 성장할 AI시장과 해당 기술과의 관계 흐름

앞으로 AI 시장은 모델 개발 자체보다 실제 서비스 운영과 대규모 추론으로 무게중심이 이동할 가능성이 크고, 그 흐름에서 HBM-HBF-SSD가 서로 대체하기보다 계층적으로 나뉘어 함께 커질 가능성이 높습니다. McKinsey는 2030년까지 데이터센터 용량 수요가 2025년 82GW에서 219GW로 커질 수 있고, 그중 AI 워크로드가 약 70%를 차지할 것으로 봤기 때문에 메모리와 스토리지의 중요성도 같이 커집니다.

큰 흐름

AI 시장이 커질수록 필요한 것은 단순한 GPU 수량이 아니라, 연산에 붙는 고속 메모리와 그 뒤를 받치는 대용량 메모리·스토리지 체계입니다. 특히 2026년 이후에는 AI 학습과 추론용 서버 투자가 늘면서 서버 1대당 D램, HBM, eSSD 탑재량이 함께 증가하는 구조가 이어질 것으로 전망됩니다.

시기별 흐름

기술 연결

가까운 미래의 핵심은 “HBM으로 계산 속도를 확보하고, SSD로 대용량 데이터를 저장하며, 그 사이 빈칸을 HBF가 메우는 구조”로 보는 것이 가장 자연스럽습니다. HBM은 여전히 최고 대역폭이 필요한 연산용 메모리이고, HBF는 추론 환경에서 용량 확장과 전력 효율, 총소유비용 개선을 노리는 보완 계층으로 거론됩니다. SSD는 속도 면에서는 가장 뒤에 있지만 AI 데이터센터 전체에서는 모델 저장, 체크포인트, 데이터 적재를 담당하는 필수 기반으로 계속 커질 가능성이 높습니다.

관계의 핵심

정리하면 AI 시장 성장의 1차 수혜는 HBM, 2차 구조 변화의 핵심은 HBF, 전체 인프라 확장의 바닥은 SSD라고 볼 수 있습니다. 다만 이 흐름은 패키징 공급능력, 전력 효율, HBM 가격 조정, 그리고 HBF의 표준화·상용화 속도에 따라 실제 전개 속도가 달라질 수 있습니다.