AI-чипи: як порівнювати GPU, TPU, NPU і ASIC без технічного туману

Коли виробник смартфона обіцяє «потужний нейронний процесор на 45 TOPS», а хмарний провайдер пропонує години оренди TPU v5, за обома цифрами стоїть одне й те саме питання: що саме цей чип робить швидше за звичайний процесор і чи важливо це саме для вашої задачі. Без чіткої відповіді легко або переплатити за зайву потужність, або купити пристрій, який не впорається з потрібним навантаженням.

AI чипи простими словами — це процесори, спроєктовані так, щоб дуже швидко виконувати один тип математики: множення й додавання великих масивів чисел, з яких складаються обчислення нейронних мереж. Усе решта — назви, покоління, маркетингові назви — це варіації на тему того, наскільки гнучко чип розв’язує цю задачу, скільки енергії на неї витрачає і де фізично стоїть: у сервері дата-центру чи у вашому телефоні.

AI чипи: що це і чому звичайного процесора замало

Класичний центральний процесор (CPU) створений як універсал: він швидко перемикається між різними задачами, виконує складні розгалужені програми, керує операційною системою. Для цього в ньому кілька потужних ядер із розвиненою логікою передбачення й кешування. Проблема в тому, що нейронна мережа не потребує «розумної» логіки — їй потрібно мільярди разів виконати одну й ту саму просту операцію над різними даними.

Тренування навіть помірної мовної моделі — це послідовність матричних множень, які природно розкладаються на тисячі незалежних частин. CPU з 16 ядрами виконуватиме це тижнями, тоді як спеціалізований чип із тисячами простих обчислювальних блоків — за години. Саме ця властивість, паралельність, і визначає архітектуру всіх AI-чипів: багато простих ядер замість кількох розумних.

Другий мотив — енергія. Пересилання даних між пам’яттю та процесором коштує більше енергії, ніж самі обчислення. AI-чипи проєктують так, щоб дані якомога менше «подорожували»: велика швидка пам’ять поруч із обчислювальними блоками, спеціалізовані конвеєри, низькорозрядні формати чисел (8 чи 4 біти замість 32), яких для багатьох нейромереж достатньо. Результат — у рази, а іноді в десятки разів менше ват на ту саму задачу.

Як працює нейронне обчислення: мінімум, який варто знати

Щоб порівнювати чипи усвідомлено, достатньо зрозуміти три речі про те, як працює нейронна мережа на рівні заліза.

Перше: основна операція — це множення матриць. Вхідні дані (пікселі, слова, звукові фрагменти) перетворюються на таблиці чисел, які перемножуються з таблицями «ваг» моделі. Чим більше таких операцій на секунду виконує чип, тим він швидший. Звідси популярні одиниці виміру: FLOPS (операцій з плаваючою комою) і TOPS (трильйони операцій на секунду, зазвичай цілочисельних).

Друге: є два різні режими роботи — тренування та інференс. Тренування — це побудова моделі на великих даних, воно потребує величезної обчислювальної потужності, багато пам’яті та обміну даними між сотнями чипів. Інференс — це застосування вже готової моделі: розпізнати фото, згенерувати відповідь чат-бота. Інференс легший, але його треба виконувати миттєво й часто прямо на пристрої користувача. Різні типи чипів оптимізовані під різні режими, і це ключ до розуміння всієї лінійки.

Третє: точність чисел можна жертвувати заради швидкості. Якщо для наукових розрахунків потрібні 64-бітні числа, то нейромережі часто добре працюють на 8-бітних, а сучасні моделі — навіть на 4-бітних після квантування. Чип, що вміє ефективно працювати з низькорозрядними форматами, видасть більше TOPS за ті самі вати. Тому пряме порівняння цифр TOPS між чипами без уточнення формату обчислень — поширена маркетингова пастка.

GPU: універсальний робочий кінь штучного інтелекту

Графічний процесор став основою революції глибокого навчання майже випадково. Відеоіграм потрібно паралельно обраховувати мільйони пікселів, тому GPU еволюціонував у пристрій із тисячами простих ядер. Дослідники помітили, що матричні обчислення нейромереж за структурою дуже схожі на графічні, — і почали тренувати моделі на ігрових відеокартах.

Сьогодні GPU — найуніверсальніший із AI-чипів. Його головні переваги:

• гнучкість: на GPU можна запустити практично будь-яку архітектуру моделі й будь-який власний алгоритм, не лише нейромережі;
• зрілий софт: екосистема CUDA від NVIDIA, фреймворки PyTorch і TensorFlow, тисячі готових бібліотек;
• масштабованість: серверні GPU об’єднуються в кластери з десятків тисяч карт для тренування найбільших моделей;
• доступність: від ноутбучних карт до оренди в хмарі за погодинною оплатою.

Слабкість випливає з тієї ж універсальності. GPU несе на собі багато логіки, яка для конкретної нейромережі не потрібна, тому за співвідношенням «продуктивність на ват» він поступається вузькоспеціалізованим чипам. Для дата-центру, що платить мільйони за електроенергію, це відчутні гроші. Крім того, флагманські серверні GPU дорогі й періодично дефіцитні — попит на них у світі стабільно перевищує пропозицію.

Практичний висновок: якщо ви дослідник, стартап або команда, якій треба експериментувати з різними моделями, GPU майже завжди правильна відправна точка. Ви платите універсальністю за гнучкість, і на етапі пошуку рішення це вигідний обмін.

TPU: конвеєр Google для тензорних обчислень

Tensor Processing Unit — це чип, який Google розробив для власних потреб і з 2015 року використовує у своїх дата-центрах. Ідея проста: якщо 90% обчислень у нейромережі — це множення матриць, чому б не побудувати апаратний блок, який робить лише це, але робить ідеально. Такий блок називається матричним процесором (systolic array): дані протікають крізь сітку обчислювальних комірок, наче по конвеєру, без зайвих звернень до пам’яті.

Наслідки такої архітектури відчутні. TPU забезпечує дуже високу продуктивність на ват для типових задач глибокого навчання, а подіумна компоновка (pods) дозволяє з’єднувати тисячі чипів у єдину систему для тренування великих моделей. Google тренував на TPU власні моделі сімейства Gemini, що є кращим доказом працездатності підходу.

Обмеження теж випливають із концепції. TPU недоступні для покупки як залізо — ними можна користуватися лише через хмару Google Cloud. Екосистема історично орієнтована на TensorFlow і JAX; перенесення складного власного коду, написаного під CUDA, може коштувати тижнів роботи. І нарешті, поза стандартними нейромережевими навантаженнями TPU незамінним не є: це інструмент під конкретний клас задач.

Отже, TPU має сенс розглядати, коли ваша команда вже працює в екосистемі Google Cloud, задачі — це тренування або масовий інференс стандартних архітектур, і вартість електроенергії чи оренди є критичним фактором бюджету.

NPU: штучний інтелект прямо у вашому пристрої

Neural Processing Unit — це блок прискорення нейромереж, вбудований у процесор смартфона, ноутбука чи іншого кінцевого пристрою. Виробники мобільних чипів додають NPU вже багато років, але справжню популярність ця абревіатура здобула з появою генеративних функцій на пристрої: живий переклад, обробка фото, голосові помічники, локальні мовні моделі.

Навіщо взагалі рахувати на пристрої, якщо є хмара? Три причини. Перша — приватність: фото, медичні дані чи переписка не полишають телефон. Друга — затримка: функція працює миттєво, без запиту на сервер. Третя — економія: компанії не потрібно оплачувати хмарний інференс для мільйонів користувачів, якщо їхні власні пристрої виконують роботу.

NPU проєктують під жорсткі обмеження: кілька ват потужності, ніякого активного охолодження, робота від батареї. Тому всередині — сильна оптимізація під низькорозрядні обчислення (INT8, INT4) і під конкретні операції поширених мобільних моделей. Показник у десятки TOPS у сучасному чипі ноутбука дозволяє запускати локально помірні мовні моделі, але тренувати великі моделі на NPU неможливо — це інструмент виключно для інференсу.

Типова помилка покупця — порівнювати TOPS різних виробників напряму. Один рахує операції в INT8, інший у INT4, третій додає до підсумку блоки, які не кожна програма зможе використати. Реальну швидкість визначають софт і конкретна модель: один і той самий чип може обробляти фото миттєво, але мовну модель — повільно, якщо під неї немає оптимізованого стеку.

ASIC: максимальна ефективність ціною гнучкості

ASIC (application-specific integrated circuit, інтегральна схема спеціального призначення) — це чип, створений під одну-єдину задачу. Формально TPU теж є різновидом ASIC, але в широкому вжитку термін означає вузькоспеціалізовані рішення: чипи для майнінгу криптовалют, автомобільні чипи для систем автопілота, прискорювачі інференсу в камерах розумного міста.

Логіка ASIC економічна. Розробка власного чипа коштує десятки мільйонів доларів і займає роки, але потім кожен екземпляр виконує свою задачу з мінімально можливими витратами енергії та місця. Якщо ви випускаєте мільйони однакових пристроїв або експлуатуєте гігантський дата-центр із однотипним навантаженням, економія на кожному ваті та кожному чипі окупає розробку. Якщо ж тираж малий або вимоги змінюються, ASIC перетворюється на дорогий камінь: алгоритм, зашитий у креміній, не перепрограмувати.

Саме тому в автомобільній індустрії, де модель комп’ютерного зору заморожена на роки експлуатації машини, ASIC — природний вибір. А дослідницька лабораторія, яка щотижня змінює архітектуру моделей, залишиться на GPU. Проміжне місце займають FPGA — програмовані чипи, гнучкіші за ASIC, але менш ефективні; вони варті згадки, хоча в масовому AI-ринку їхня частка невелика.

Порівняння чотирьох типів: рейтинг за показником

Оскільки «найкращого чипа» не існує, корисніше розкласти всі чотири типи за ключовими показниками. Оцінки нижче — узагальнені, для типових представників кожного класу; конкретні моделі всередині класу можуть помітно відрізнятися.

З таблиці видно закономірність, яка допомагає приймати рішення без запам’ятовування деталей: гнучкість і ефективність ворогують. GPU стоїть на полюсі гнучкості, ASIC — на полюсі ефективності, а TPU та NPU займають проміжні ніші, кожна зі своїми обмеженнями. Вибір чипа — це по суті вибір точки на цій шкалі, продиктований тим, наскільки стабільна ваша задача і який у вас масштаб.

Як читати цифри в рейтингах і не потрапити на маркетинг

Дані і рейтинги технологій корисні лише тоді, коли ви розумієте, що саме виміряно. Кілька правил, які економлять гроші й час.

Перше: уточнюйте формат обчислень. TOPS у INT8 і TOPS у FP16 — різні речі; деякі виробники вказують найвигідніший для себе варіант. Друге: дивіться не лише на пікову продуктивність, а й на пропускну здатність пам’яті. Багато сучасних моделей впираються саме в швидкість підвантаження ваг, і чип із скромнішими TOPS, але ширшою пам’яттю, може бути швидшим на практиці.

Третє: шукайте незалежні бенчмарки замість матеріалів виробника. Найвідоміший відкритий стандарт порівняння — MLPerf від MLCommons, де учасники проганяють однакові моделі на своєму залізі за єдиними правилами, а результати публікуються як відкриті дані. Це не ідеальний орієнтир (учасники оптимізують системи під тест), але він дає хоча якусь спільну шкалу між вендорами.

Четверте: рахуйте вартість володіння, а не ціну чипа. Для хмари це ціна оренди помножена на час виконання вашої конкретної задачі. Для власного заліза — вартість придбання плюс електроенергія й охолодження за роки експлуатації. Нерідко дорожчий, але ефективніший чип виходить дешевшим у підсумку.

Приклади з практики: який чип під яку задачу

Закріпимо сказане на типових сценаріях.

• Стартап тренує власну модель комп’ютерного зору. Вибір: оренда GPU у хмарі. Потрібна гнучкість для експериментів і зрілий софт; масштаб ще не виправдовує спеціалізацію.
• Велика компанія з масовим інференсом у Google Cloud. Вибір: TPU для стабільних стандартних навантажень, GPU — для нестандартних моделей. Економія на ватах перетворюється на відчутний відсоток бюджету.
• Застосунок обробки фото на смартфоні. Вибір: NPU пристрою через системні API. Хмара тут програє і за швидкістю, і за приватністю.
• Автопілот автомобіля або розумна камера мільйонним тиражем. Вибір: ASIC, бо алгоритм заморожений, а кожен зекономлений ват і долар множаться на мільйони пристроїв.
• Дослідник перевіряє нову архітектуру. Вибір: виключно GPU — будь-яка спеціалізація стане на заваді.

Поширені запитання

Чи може звичайний комп’ютер без спеціального чипа працювати з ШІ?

Так, для невеликих моделей і навчання азам достатньо CPU або ігрової відеокарти. Межа настає, коли модель не вміщується в пам’ять або час обчислень стає неприйнятним.

Що важливіше при виборі ноутбука для ШІ-функцій — TOPS чи пам’ять?

Для локальних мовних моделей критичніший обсяг і швидкість пам’яті, ніж заявлені TOPS. Модель, що не вмістилася в оперативну пам’ять, працюватиме повільно на будь-якому чипі.

Чи зникнуть GPU, коли спеціалізовані чипи стануть дешевшими?

Навряд чи. Допоки алгоритми ШІ швидко змінюються, універсальний і добре підтримуваний софтом інструмент залишатиметься потрібним. Історія показує, що типи чипів співіснують, займаючи різні ніші.

Як перевірити реальну швидкість чипа для своєї задачі?

Найнадійніший спосіб — запустити власну модель на орендованому залізі й виміряти час і вартість. Публічні бенчмарки використовуйте як фільтр кандидатів, а не як остаточну відповідь.

Короткий алгоритм вибору

Якщо зібрати все докупи, вибір зводиться до трьох запитань. Перше: ваша задача стабільна чи змінюватиметься? Стабільна масова задача схиляє до ASIC або TPU, змінна — до GPU. Друге: де мають виконуватися обчислення — у дата-центрі чи на пристрої користувача? На пристрої альтернативи NPU практично немає. Третє: що для вас критичніше — гнучкість, швидкість розробки чи вартість одиниці обчислення? Чесні відповіді на ці три запитання звужують чотири варіанти до одного-двох, і далі рішення стає вже технічною формальністю, а не зануренням у туман специфікацій.