Що таке HBM: просте пояснення з прикладами

Коли в новинах про штучний інтелект пишуть, що «всьому заважає дефицит HBM», мається на увазі конкретний тип пам’яті, без якого сучасні ШІ-чипи просто не можуть працювати на повну швидкість. Що таке HBM простими словами: це оперативна пам’ять, зібрана у вигляді вертикальної «вежі» з тонких чипів, яка стоїть впритул до процесора і передає дані з величезною швидкістю. Саме поєднання близькості до обчислювача та тисяч паралельних каналів передачі робить її незамінною там, де треба «годувати» даними потужні процесори.

Абревіатура HBM розшифровується як High Bandwidth Memory — пам’ять із високою пропускною здатністю. Стандарт розробила організація JEDEC у співпраці з виробниками напівпровідників, і першу версію опублікували 2013 року. Відтоді технологія пройшла кілька поколінь: HBM2, HBM2E, HBM3 та HBM3E, а на черзі — HBM4. Кожне покоління збільшувало швидкість передачі даних і місткість, не збільшуючи площу, яку пам’ять займає на платі.

Навіщо взагалі знадобилася нова пам’ять

Щоб зрозуміти значення HBM, варто подивитися на проблему, яку вона розв’язує. Процесори та графічні чипи останні десятиліття швидшають значно швидше, ніж пам’ять. Виникає ситуація, яку інженери називають «стіною пам’яті»: обчислювальне ядро могло б працювати далі, але простоює, чекаючи, поки дані дістануться з пам’яті. Це як завод із сотнями верстатів, до якого веде одна вузенька дорога — скільки б машин не стояло на складі, деталі встигають доїжджати лише потужно.

Класичні способи прискорити пам’ять — підняти тактову частоту або додати більше мікросхем — упиралися у фізичні межі. Високі частоти означають сильне тепловиділення та зростання споживання енергії, а розміщення дедалі більшої кількості окремих чипів на платі розтягує доріжки, і сигнал починає губитися на довгому шляху. Для відеокарт і серверів це стало критичним обмеженням ще на початку 2010-х.

HBM підійшла до проблеми з іншого боку: замість того щоб гнати дані швидше по довгих доріжках, інженери вкоротили сам шлях до лічених міліметрів і зробили його надзвичайно широким. Замість автостради з вищим обмеженням швидкості побудували тисячосмугову магістраль довжиною в кілька сантиметрів.

Як HBM працює: стек, TSV та інтерпозер

Конструкція HBM спирається на три ключові ідеї, які варто розібрати окремо, бо саме вони відрізняють цю пам’ять від усіх інших.

Вертикальний стек чипів

Звичайна мікросхема пам’яті — це плоский кристал, який лежить на підкладці. У HBM кілька кристалів DRAM (зазвичай від 4 до 12, у новітніх версіях до 16) шліфують до товщини в десятки мікрометрів і складають один на одного, як поверхи будинку. У основі стека лежить логічний базовий кристал, який керує всією «вежею» і спілкується з процесором.

Крізні кремнієві отвори (TSV)

Щоб поверхи стека могли обмінюватися даними, у кожному кристалі прорізають тисячі мікроскопічних вертикальних отворів і заповнюють їх міддю. Ця технологія називається TSV — Through-Silicon Via, крізне кремнієве з’єднання. Дані рухаються вгору й вниз крізь усю вежу, а не по краях, тож шлях сигналу стає надкоротким, а кількість паралельних каналів — величезною. Додатково сусідні кристали з’єднують мікроскопічними припойними кульками — мікробампами.

Широка шина та інтерпозер

Один стек HBM має інтерфейс шириною 1024 біти — для порівняння, один чип GDDR-пам’яті зазвичай має 32 біти. Стек розміщують не на звичайній платі, а на кремнієвій підкладці-інтерпозері, на якій поруч сидить і процесор. Завдяки цьому відстань між пам’яттю та обчислювачем скорочується до міліметрів, що зменшує затримки та енергоспоживання на передачу кожного біта.

Практичний підсумок цих трьох рішень простий: HBM не обов’язково працює на рекордних частотах — вона виграє за рахунок ширини шини. Помірна частота плюс тисячі паралельних ліній дають сумарну пропускну здатність, недосяжну для традиційних мікросхем, при меншому нагріві на переданий гігабайт.

Чим HBM відрізняється від GDDR і звичайної оперативної пам’яті

Найпростіше пояснити різницю через аналогію з водопостачанням. GDDR — це кілька окремих труб помірного діаметра, з яких вода йде під великим тиском. HBM — це один колектор гігантського діаметра поруч із споживачем, де тиск може бути нижчим, але сумарний потік у рази більший.

Звідси зрозумілий компроміс. GDDR дешевша, її легше замінити та наростити, тому вона залишається стандартом для масових відеокарт. HBM дає більшу пропускну здатність на ват і на квадратний сантиметр, але коштує в кілька разів дорожче і вимагає складного пакування, тож її ставлять лише там, де швидкість пам’яті визначає продуктивність усієї системи.

Де використовується HBM: реальні приклади

Найпомітніший приклад застосування HBM сьогодні — прискорювачі для штучного інтелекту. Тренування великих мовних моделей зводиться до гігантської кількості операцій із матрицями, і саме пропускна здатність пам’яті часто обмежує швидкість процесу. Тому серверні прискорювачі, наприклад лінійки NVIDIA H100 та H200 чи AMD Instinct MI300, комплектуються десятками й сотнями гігабайтів HBM. У конфігураціях останніх поколінь сумарна пропускна здатність пам’яті одного прискорювача сягає кількох терабайт на секунду.

Другий великий напрямок — суперкомп’ютери. У системах зі списку найпотужніших машин світу HBM використовують як у графічних прискорювачах, так і в деяких центральних процесорах, наприклад у чипах Fujitsu A64FX або Intel Xeon Max, де стеки пам’яті вбудовано просто в процесорний корпус.

Третій приклад, ближчий до звичайного користувача, — відеокарти. HBM дебютувала на масовому ринку саме в графіці: AMD Radeon R9 Fury 2015 року стала першою споживчою картою з цією пам’яттю, а згодом її отримали моделі серії Radeon VII та професійні прискорювачі. Утім, через високу ціну в більшості ігрових карт і досі стоїть GDDR, тому HBM у споживчому сегменті лишилася нішевим рішенням.

Окремо варто згадати мережеве обладнання та FPGA-чипи: комутатори й маршрутизатори, що обробляють потоки трафіку на швидкостях у сотні гігабіт на секунду, теж потребують пам’яті, здатної приймати й віддавати дані без затримок.

Покоління HBM і як розвивалася технологія

Кожне покоління стандарту відповідало на конкретні запити ринку, і динаміка тут показова.

• HBM (перше покоління, 2013–2015): стеки з чотирьох кристалів, місткість до 1 ГБ на стек, застосування в перших відеокартах AMD.
• HBM2 (2016): подвоєна швидкість, стеки до 8 кристалів і 8 ГБ; саме ця версія масово пішла в серверні прискорювачі та суперкомп’ютери.
• HBM2E (2018–2020): подальше зростання швидкості та місткості без зміни базової архітектури.
• HBM3 (2022): ширші можливості щодо місткості, до 12–16 шарів, орієнтація на ШІ-навантаження.
• HBM3E: еволюційне оновлення з вищою швидкістю на контакт, яке стало фактичним стандартом для ШІ-серверів середини 2020-х.

Загальна тенденція очевидна: попит формує не геймінг, а датацентри та ШІ, тому плани наступних поколінь, зокрема HBM4 з ще ширшим інтерфейсом, орієнтовані насамперед на серверний сегмент.

Виробництво HBM і ланцюги постачання

Виготовлення HBM — одна з найскладніших ланок усього напівпровідникового виробництва. Стек треба не лише зібрати з мікронною точністю, а й перевірити кожен шар: якщо один кристал у вежі з восьми виявиться бракованим, втрачається весь стек або доводиться застосовувати складні схеми резервування. Вихід придатної продукції нижчий, ніж у звичайної DRAM, а цикл виробництва довший.

Ринок фактично поділений між трьома компаніями: південнокорейськими SK hynix та Samsung та американською Micron. До цього додаються вузькі місця у суміжних ланках — виробництво інтерпозерів, обладнання для пакування (зокрема технології на кшталт CoWoS у TSMC), постачання матеріалів для мікробампів. Саме тому новини про чергові ШІ-моделі супроводжуються заголовками про дефицит HBM: попит з боку датацентрів зростав швидше, ніж індустрія встигала нарощувати потужності для цієї специфічної пам’яті.

Для технологічних галузей це має практичне значення. Вартість HBM становить помітну частку собівартості ШІ-прискорювача, а терміни постачання пам’яті можуть визначати терміни випуску цілих серверних платформ. Компанії, які планують власну інфраструктуру машинного навчання, опосередковано залежать від виробничих графіків всього трьох постачальників пам’яті.

Переваги та обмеження HBM

Щоб картина була повною, зведемо сильні та слабкі сторони технології.

• Рекордна пропускна здатність на одиницю площі — головна причина існування HBM.
• Краще енергоспоживання на переданий біт порівняно з GDDR, що критично для датацентрів із їхніми рахунками за електроенергію.
• Компактність: сотні гігабайт швидкої пам’яті розміщуються на одній підкладці з процесором.

Водночас є й відчутні обмеження:

• Висока ціна — у рази вища за GDDR у перерахунку на гігабайт.
• Пам’ять неможливо замінити чи наростити після виробництва: стеки впаяні в процесорний модуль назавжди.
• Складність тестування та нижчий вихід придатної продукції.
• Залежність покупців від малого кола виробників.

Тому твердження «HBM скоро витіснить всю іншу пам’ять» не має підстав: технологія займає ту нішу, де її переваги окупають вартість, а в масових пристроях домінуватимуть дешевші рішення ще довго.

Як запам’ятати суть HBM за хвилину

Якщо потрібно коротке пояснення для колеги чи знайомого, достатньо трьох тез:

1. HBM — це оперативна пам’ять, зібрана вертикальною вежею з ультратонких чипів, з’єднаних крізними кремнієвими отворами.
2. Вона стоїть на одній підкладці з процесором і має надшироку шину, тому передає дані швидше за GDDR, споживаючи менше енергії на біт.
3. Застосовується там, де швидкість пам’яті обмежує всю систему: у ШІ-прискорювачах, суперкомп’ютерах, професійній графіці, — і коштує відповідно.

Далі вже легко пояснити й ринковий контекст: бум штучного інтелекту зробив HBM стратегічним товаром, а обмеженість виробництва — однією з причин дефициту серверних прискорювачів.

Поширені запитання про HBM

Чим HBM відрізняється від звичайної оперативної пам’яті комп’ютера?

Системна пам’ять DDR ставиться в слоти на материнській платі на відстані кількох сантиметрів від процесора та має вузькі канали по 64 біти. HBM інтегрована безпосередньо в корпус процесора або прискорювача, має шину 1024 біти на стек і працює на набагато коротшій відстані, що дає в рази більшу пропускну здатність при меншому енергоспоживанні.

Чи можна додати HBM у звичайний ПК?

Ні. HBM не існує у вигляді окремих модулів для апгрейду — вона намертво інтегрується з процесором або графічним чипом на етапі виробництва. Вибір пам’яті такого типу означає вибір конкретного прискорювача чи процесора з уже встановленим обсягом.

Чому HBM така дорога?

Ціна складається з кількох факторів: складний процес 3D-збирання з мікронною точністю, крізні кремнієві отвори, кремнієвий інтерпозер, триваліше тестування та нижчий відсоток придатних стеків. Усе це робить собівартість гігабайта HBM в кілька разів вищою за GDDR.

Хто виробляє HBM?

Основними виробниками є SK hynix, Samsung та Micron. Саме ці три компанії ділять практично весь світовий обсяг випуску, а їхні виробничі плани прямо впливають на доступність ШІ-серверів.

Що буде після HBM3E?

Галузь готує перехід до HBM4 з ще ширшим інтерфейсом і новими схемами базового логічного кристала. Деталі впровадження залежать від виробників і можуть змінюватися, але напрямок сталий: більша пропускна здатність і місткість під потреби серверних ШІ-систем.