Что такое HBM: простое объяснение с примерами

Когда в новостях об искусственном интеллекте пишут, что «всему мешает дефицит HBM», имеется в виду конкретный тип памяти, без которого современные ИИ-чипы просто не могут работать на полную скорость. Что такое HBM простыми словами: это оперативная память, собранная в виде вертикальной «башни» из тонких чипов, которая стоит вплотную к процессору и передает данные с огромной скоростью. Именно сочетание близости к вычислителю и тысяч параллельных каналов передачи делает ее незаменимой там, где нужно «кормить» данными мощные процессоры.

Аббревиатура HBM расшифровывается как High Bandwidth Memory — память с высокой пропускной способностью. Стандарт разработала организация JEDEC в сотрудничестве с производителями полупроводников, и первую версию опубликовали 2013 году. С тех пор технология прошла несколько поколений: HBM2, HBM2E, HBM3 и HBM3E, а на очереди — HBM4. Каждое поколение увеличивало скорость передачи данных и емкость, не увеличивая площадь, которую память занимает на плате.

Зачем вообще понадобилась новая память

Чтобы понять значение HBM, стоит посмотреть на проблему, которую она решает. Процессоры и графические чипы последние десятилетия ускоряются значительно быстрее, чем память. Возникает ситуация, которую инженеры называют «стеной памяти»: вычислительное ядро могло бы работать дальше, но простаивает, ожидая, пока данные доберутся из памяти. Это как завод с сотнями станков, к которому ведет одна узкая дорога — сколько бы машин ни стояло на складе, детали успевают доезжать лишь с трудом.

Классические способы ускорить память — поднять тактовую частоту или добавить больше микросхем — упирались в физические пределы. Высокие частоты означают сильное тепловыделение и рост потребления энергии, а размещение все большего количества отдельных чипов на плате растягивает дорожки, и сигнал начинает теряться на длинном пути. Для видеокарт и серверов это стало критическим ограничением еще в начале 2010-х.

HBM подошла к проблеме с другой стороны: вместо того чтобы гнать данные быстрее по длинным дорожкам, инженеры сократили сам путь до считанных миллиметров и сделали его чрезвычайно широким. Вместо автострады с более высоким ограничением скорости построили тысячеполосную магистраль длиной в несколько сантиметров.

Как HBM работает: стек, TSV и интерпозер

Конструкция HBM опирается на три ключевые идеи, которые стоит разобрать отдельно, потому что именно они отличают эту память от всех остальных.

Вертикальный стек чипов

Обычная микросхема памяти — это плоский кристалл, который лежит на подложке. В HBM несколько кристаллов DRAM (обычно от 4 до 12, в новейших версиях до 16) шлифуют до толщины в десятки микрометров и складывают один на другой, как этажи дома. В основании стека лежит логический базовый кристалл, который управляет всей «башней» и общается с процессором.

Сквозные кремниевые отверстия (TSV)

Чтобы этажи стека могли обмениваться данными, в каждом кристалле прорезают тысячи микроскопических вертикальных отверстий и заполняют их медью. Эта технология называется TSV — Through-Silicon Via, сквозное кремниевое соединение. Данные движутся вверх и вниз сквозь всю башню, а не по краям, поэтому путь сигнала становится сверхкоротким, а количество параллельных каналов — огромным. Дополнительно соседние кристаллы соединяют микроскопическими припойными шариками — микробампами.

Широкая шина и интерпозер

Один стек HBM имеет интерфейс шириной 1024 бит — для сравнения, один чип GDDR-памяти обычно имеет 32 бит. Стек размещают не на обычной плате, а на кремниевой подложке-интерпозере, на которой рядом сидит и процессор. Благодаря этому расстояние между памятью и вычислителем сокращается до миллиметров, что уменьшает задержки и энергопотребление на передачу каждого бита.

Практический итог этих трех решений прост: HBM не обязательно работает на рекордных частотах — она выигрывает за счет ширины шины. Умеренная частота плюс тысячи параллельных линий дают суммарную пропускную способность, недостижимую для традиционных микросхем, при меньшем нагреве на переданный гигабайт.

Чем HBM отличается от GDDR и обычной оперативной памяти

Проще всего объяснить разницу через аналогию с водоснабжением. GDDR — это несколько отдельных труб умеренного диаметра, из которых вода идет под большим давлением. HBM — это один коллектор гигантского диаметра рядом с потребителем, где давление может быть ниже, но суммарный поток в разы больше.

Отсюда понятен компромисс. GDDR дешевле, ее легче заменить и нарастить, поэтому она остается стандартом для массовых видеокарт. HBM дает большую пропускную способность на ватт и на квадратный сантиметр, но стоит в несколько раз дороже и требует сложной упаковки, поэтому ее ставят только там, где скорость памяти определяет производительность всей системы.

Где используется HBM: реальные примеры

Самый заметный пример применения HBM сегодня — ускорители для искусственного интеллекта. Обучение больших языковых моделей сводится к гигантскому количеству операций с матрицами, и именно пропускная способность памяти часто ограничивает скорость процесса. Поэтому серверные ускорители, например линейки NVIDIA H100 и H200 или AMD Instinct MI300, комплектуются десятками и сотнями гигабайт HBM. В конфигурациях последних поколений суммарная пропускная способность памяти одного ускорителя достигает нескольких терабайт в секунду.

Второе большое направление — суперкомпьютеры. В системах из списка самых мощных машин мира HBM используют как в графических ускорителях, так и в некоторых центральных процессорах, например в чипах Fujitsu A64FX или Intel Xeon Max, где стеки памяти встроены прямо в процессорный корпус.

Третий пример, более близкий к обычному пользователю, — видеокарты. HBM дебютировала на массовом рынке именно в графике: AMD Radeon R9 Fury 2015 года стала первой потребительской картой с этой памятью, а позже ее получили модели серии Radeon VII и профессиональные ускорители. Впрочем, из-за высокой цены в большинстве игровых карт до сих пор стоит GDDR, поэтому HBM в потребительском сегменте осталась нишевым решением.

Отдельно стоит упомянуть сетевое оборудование и FPGA-чипы: коммутаторы и маршрутизаторы, обрабатывающие потоки трафика на скоростях в сотни гигабит в секунду, тоже нуждаются в памяти, способной принимать и отдавать данные без задержек.

Поколения HBM и как развивалась технология

Каждое поколение стандарта отвечало на конкретные запросы рынка, и динамика здесь показательна.

• HBM (первое поколение, 2013–2015): стеки из четырех кристаллов, емкость до 1 ГБ на стек, применение в первых видеокартах AMD.
• HBM2 (2016): удвоенная скорость, стеки до 8 кристаллов и 8 ГБ; именно эта версия массово пошла в серверные ускорители и суперкомпьютеры.
• HBM2E (2018–2020): дальнейший рост скорости и емкости без изменения базовой архитектуры.
• HBM3 (2022): более широкие возможности по емкости, до 12–16 слоев, ориентация на ИИ-нагрузки.
• HBM3E: эволюционное обновление с более высокой скоростью на контакт, которое стало фактическим стандартом для ИИ-серверов середины 2020-х.

Общая тенденция очевидна: спрос формирует не гейминг, а датацентры и ИИ, поэтому планы следующих поколений, в частности HBM4 с еще более широким интерфейсом, ориентированы прежде всего на серверный сегмент.

Производство HBM и цепочки поставок

Изготовление HBM — одно из самых сложных звеньев всего полупроводникового производства. Стек нужно не только собрать с микронной точностью, но и проверить каждый слой: если один кристалл в башне из восьми окажется бракованным, теряется весь стек или приходится применять сложные схемы резервирования. Выход годной продукции ниже, чем у обычной DRAM, а цикл производства длиннее.

Рынок фактически разделен между тремя компаниями: южнокорейскими SK hynix и Samsung и американской Micron. К этому добавляются узкие места в смежных звеньях — производство интерпозеров, оборудование для упаковки (в частности технологии вроде CoWoS в TSMC), поставки материалов для микробампов. Именно поэтому новости об очередных ИИ-моделях сопровождаются заголовками о дефиците HBM: спрос со стороны датацентров рос быстрее, чем индустрия успевала наращивать мощности для этой специфической памяти.

Для технологических отраслей это имеет практическое значение. Стоимость HBM составляет заметную долю себестоимости ИИ-ускорителя, а сроки поставки памяти могут определять сроки выпуска целых серверных платформ. Компании, планирующие собственную инфраструктуру машинного обучения, косвенно зависят от производственных графиков всего трех поставщиков памяти.

Преимущества и ограничения HBM

Чтобы картина была полной, сведем сильные и слабые стороны технологии.

• Рекордная пропускная способность на единицу площади — главная причина существования HBM.
• Лучшее энергопотребление на переданный бит по сравнению с GDDR, что критично для датацентров с их счетами за электроэнергию.
• Компактность: сотни гигабайт быстрой памяти размещаются на одной подложке с процессором.

В то же время есть и ощутимые ограничения:

• Высокая цена — в разы выше GDDR в пересчете на гигабайт.
• Память невозможно заменить или нарастить после производства: стеки впаяны в процессорный модуль навсегда.
• Сложность тестирования и более низкий выход годной продукции.
• Зависимость покупателей от малого круга производителей.

Поэтому утверждение «HBM скоро вытеснит всю остальную память» не имеет оснований: технология занимает ту нишу, где ее преимущества окупают стоимость, а в массовых устройствах будут доминировать более дешевые решения еще долго.

Как запомнить суть HBM за минуту

Если нужно краткое объяснение для коллеги или знакомого, достаточно трех тезисов:

1. HBM — это оперативная память, собранная вертикальной башней из ультратонких чипов, соединенных сквозными кремниевыми отверстиями.
2. Она стоит на одной подложке с процессором и имеет сверхширокую шину, поэтому передает данные быстрее GDDR, потребляя меньше энергии на бит.
3. Применяется там, где скорость памяти ограничивает всю систему: в ИИ-ускорителях, суперкомпьютерах, профессиональной графике, — и стоит соответственно.

Дальше уже легко объяснить и рыночный контекст: бум искусственного интеллекта сделал HBM стратегическим товаром, а ограниченность производства — одной из причин дефицита серверных ускорителей.

Часто задаваемые вопросы о HBM

Чем HBM отличается от обычной оперативной памяти компьютера?

Системная память DDR ставится в слоты на материнской плате на расстоянии нескольких сантиметров от процессора и имеет узкие каналы по 64 бит. HBM интегрирована непосредственно в корпус процессора или ускорителя, имеет шину 1024 бит на стек и работает на гораздо более коротком расстоянии, что дает в разы большую пропускную способность при меньшем энергопотреблении.

Можно ли добавить HBM в обычный ПК?

Нет. HBM не существует в виде отдельных модулей для апгрейда — она намертво интегрируется с процессором или графическим чипом на этапе производства. Выбор памяти такого типа означает выбор конкретного ускорителя или процессора с уже установленным объемом.

Почему HBM такая дорогая?

Цена складывается из нескольких факторов: сложный процесс 3D-сборки с микронной точностью, сквозные кремниевые отверстия, кремниевый интерпозер, более длительное тестирование и более низкий процент годных стеков. Все это делает себестоимость гигабайта HBM в несколько раз выше, чем у GDDR.

Кто производит HBM?

Основными производителями являются SK hynix, Samsung и Micron. Именно эти три компании делят практически весь мировой объем выпуска, а их производственные планы напрямую влияют на доступность ИИ-серверов.

Что будет после HBM3E?

Отрасль готовит переход к HBM4 с еще более широким интерфейсом и новыми схемами базового логического кристалла. Детали внедрения зависят от производителей и могут меняться, но направление устойчивое: большая пропускная способность и емкость под нужды серверных ИИ-систем.