Даріо Амодей: як Anthropic побудувала образ AI-компанії навколо безпеки

Коли у 2023 році світ захопився можливостями великих мовних моделей, Даріо Амодей публічно попереджав: «Шанси, що все піде не так, можуть сягати 10–25%». Це не була поза сценарієм технофоба — це говорив колишній віцепрезидент з досліджень OpenAI, людина, яка стояла біля витоків GPT-2 та GPT-3. Його нова компанія Anthropic з першого дня будувалася навколо ідеї, що безпека не додаток до AI, а його фундамент. Сьогодні цей підхід визначає не лише продукти компанії, а й ширшу дискусію про те, як розробляти потужні системи, не втрачаючи контролю.

Хто такий Даріо Амодей: від фізики до нейромереж

Даріо Амодей народився у 1983 році в США, у родині з італійським корінням. Його академічний шлях почався далеко від комп’ютерних наук: він здобув ступінь бакалавра з фізики в Стенфордському університеті, а потім захистив докторську дисертацію з фізики в Принстоні. Досліджував складні системи, зокрема нейронні мережі як модель біологічного мозку. Саме цей міждисциплінарний досвід — фізика, математика, нейронаука — пізніше допоміг йому мислити про штучний інтелект системно.

Після короткого періоду роботи в академічному середовищі Амодей перейшов у технологічний сектор. У 2014–2015 роках він працював у компанії Baidu у команді Ендрю Ина, де займався розпізнаванням мовлення. Там він уперше зіткнувся з інженерними викликами масштабування нейромереж. Але справжній прорив стався пізніше, коли він приєднався до Google Brain.

Робота в Google Brain та перехід до OpenAI

У Google Brain Даріо Амодей працював над системами глибокого навчання, які згодом лягли в основу сучасних мовних моделей. Він був співавтором кількох важливих публікацій, зокрема про масштабування нейронних мереж. Проте всередині великої корпорації дослідники часто стикалися з обмеженнями: продукти мали бути комерційно вигідними, а не обов’язково безпечними у довгостроковій перспективі.

У 2016 році Амодей перейшов до OpenAI — тоді ще некомерційної дослідницької лабораторії, яка обіцяла розробляти AI «на благо людства». Там він швидко став однією з ключових фігур: спочатку як керівник досліджень, потім як віцепрезидент. Саме під його технічним керівництвом створювалися моделі GPT-2 та GPT-3. Ці системи продемонстрували, що зі збільшенням розміру моделі її поведінка стає не лише розумнішою, а й менш передбачуваною.

Чому виникла потреба в Anthropic

До 2020 року всередині OpenAI наростала напруга між дослідницькою свободою та комерційним тиском. Компанія почала трансформуватися в структуру з обмеженим прибутком, уклала партнерство з Microsoft і дедалі більше фокусувалася на продуктах. Для частини команди, включно з Даріо Амодеєм, це означало відхід від початкової місії: безпека мала залишатися головним пріоритетом, навіть якщо це уповільнює випуск продуктів.

У грудні 2020 року група з семи співробітників OpenAI, серед яких були Даріо Амодей, його сестра Даніела Амодей (колишня віцепрезидентка з безпеки в OpenAI) та інші провідні дослідники, оголосила про створення нової компанії — Anthropic. Назва відсилала до антропного принципу: ідеї, що спостерігач впливає на реальність. У цьому випадку — що розробники повинні свідомо формувати поведінку AI-систем, а не просто спостерігати за їхньою еволюцією.

Перші кроки та фінансування

Anthropic одразу позиціонувала себе як «компанія з безпеки AI». Її засновники відкрито говорили про ризики неконтрольованого інтелекту та про необхідність створювати системи, які будуть «чесними, нешкідливими та корисними» — ця фраза стала своєрідним маніфестом. У перші місяці компанія залучила понад 120 мільйонів доларів від інвесторів, серед яких були Skype-співзасновник Яан Таллінн та інші прихильники ефективного альтруїзму.

Важливо, що структура компанії була обрана як суспільно корисна корпорація (Public Benefit Corporation). Це юридично зобов’язувало керівництво враховувати не лише інтереси акціонерів, а й суспільний вплив своїх рішень. Даріо Амодей став CEO, а Даніела Амодей — президенткою. Такий розподіл ролей підкреслював, що безпека вбудована в управління на найвищому рівні.

Як Anthropic будувала образ безпечної AI-компанії

Образ компанії не створюється пресрелізами — він формується конкретними діями, технічними рішеннями та послідовністю в комунікації. Anthropic з перших днів дотримувалася кількох принципів, які вирізняли її серед конкурентів.

Конституційний AI як технічна основа

У той час як більшість компаній покладалися на навчання з підкріпленням від зворотного зв’язку людини (RLHF), Anthropic розробила власний підхід — Constitutional AI. Ідея полягає в тому, що модель навчається дотримуватися набору принципів (конституції), які визначають бажану поведінку. Наприклад, принцип «обирай відповідь, яка менш імовірно завдасть шкоди» або «не заохочуй незаконну діяльність». Модель генерує відповіді, критикує їх сама згідно з конституцією та виправляє. Це зменшує залежність від людських оцінювачів і робить поведінку більш прозорою та передбачуваною.

Даріо Амодей неодноразово наголошував, що Constitutional AI — це не просто технічний трюк, а спосіб масштабувати контроль. Коли моделі стають надто складними для ручного нагляду, вони повинні мати внутрішні механізми самокорекції. Цей підхід став ключовою відмінністю сімейства моделей Claude, названих на честь Клода Шеннона — батька теорії інформації.

Дослідження безпеки як публічний продукт

Anthropic не лише створює моделі, а й активно публікує дослідження з безпеки. Компанія регулярно випускає технічні звіти, в яких детально описує методи оцінювання, виявлені ризики та способи їх пом’якшення. Наприклад, перед випуском Claude 2 було опубліковано великий документ про тестування моделі на схильність до обману, маніпуляцій та небезпечних порад. Це контрастує з практикою деяких конкурентів, які часто обмежуються загальними заявами про «відповідальний AI».

Крім того, Anthropic інвестує в дослідження інтерпретованості — здатності розуміти, що саме відбувається всередині нейромережі. Команда компанії розробила методи, які дозволяють виявляти окремі «нейрони», що активуються на певні концепції (наприклад, «обман» чи «небезпека»). Це дає змогу не просто фільтрувати вихід, а й розуміти внутрішні процеси, що ведуть до небажаної поведінки.

Публічна позиція щодо регулювання

Даріо Амодей став одним із небагатьох CEO, хто відкрито закликає до державного регулювання AI. У 2023 році він виступав на слуханнях у Сенаті США, де попереджав про ризики неконтрольованого розвитку технологій і пропонував конкретні заходи: обов’язкове ліцензування для моделей вище певного порогу обчислювальної потужності, вимоги до тестування безпеки та звітності. Така позиція не завжди подобається іншим гравцям ринку, але вона послідовно підкріплює образ компанії, для якої безпека важливіша за короткостроковий прибуток.

Ключові продукти та технології Anthropic

Хоча компанія підкреслює свою дослідницьку місію, вона також створює комерційні продукти. Це не суперечить філософії безпеки: Даріо Амодей вважає, що безпечні системи мають бути доступними, інакше ринок заповнять менш безпечні альтернативи.

Сімейство моделей Claude

Перша версія Claude з’явилася на початку 2023 року і була доступна через API та партнерства (зокрема з Quora для Poe). Claude 2, випущений у липні 2023 року, вже міг обробляти до 100 000 токенів контексту — достатньо, щоб проаналізувати цілу книгу за один раз. У березні 2024 року вийшов Claude 3 у трьох варіантах: Haiku (швидкий), Sonnet (збалансований) та Opus (найпотужніший). Останній у багатьох тестах показав результати, порівнянні з GPT-4, але з акцентом на безпечніші відповіді.

Важлива особливість Claude — це відмова відповідати на запити, які модель вважає шкідливими, навіть якщо технічно вона може це зробити. Наприклад, Claude не дасть інструкцій з виготовлення зброї чи порад щодо самолікування серйозних хвороб. Це не просто фільтр на виході — такі обмеження вбудовані в процес навчання через Constitutional AI.

Партнерства та інтеграції

Anthropic уклала стратегічне партнерство з Amazon Web Services (AWS), яке інвестувало в компанію до 4 мільярдів доларів. Це дало доступ до величезних обчислювальних потужностей, необхідних для навчання моделей. Також компанія співпрацює з Google Cloud. Важливо, що ці партнерства не обмежують дослідницьку незалежність: Anthropic зберігає контроль над своїми моделями та політикою безпеки.

Окремо варто згадати співпрацю з урядовими структурами. Anthropic надає доступ до своїх моделей для дослідницьких цілей, зокрема для вивчення потенційних загроз національній безпеці. Це частина стратегії «відповідального масштабування»: перед тим як робити модель загальнодоступною, компанія перевіряє її в контрольованих умовах.

Бізнес-модель, заснована на довірі

На відміну від багатьох AI-стартапів, Anthropic не поспішає монетизувати кожну функцію. Компанія пропонує платний доступ до Claude через API та підписку Claude Pro, але ціни залишаються конкурентними. Основний актив компанії — це репутація. У світі, де користувачі дедалі більше переймаються конфіденційністю та безпекою даних, Anthropic позиціонує себе як «етичний вибір». Наприклад, компанія не використовує дані користувачів для навчання моделей за замовчуванням, що є рідкістю в індустрії.

Така стратегія вимагає значних інвестицій у дослідження, які не приносять миттєвого прибутку. Але Даріо Амодей переконаний, що в довгостроковій перспективі безпека стане конкурентною перевагою. Коли регулятори почнуть вимагати суворішого контролю, компанії, які вже побудували відповідну інфраструктуру, опиняться у виграші.

Вплив на індустрію та майбутні виклики

Підхід Anthropic вже вплинув на всю галузь. Конкуренти, зокрема OpenAI, посилили власні команди безпеки та почали публікувати більше технічних деталей. Концепція Constitutional AI обговорюється в академічних колах, а деякі її елементи запозичують інші розробники. Проте головний виклик залишається: чи справді можна створити достатньо потужний AI, який буде одночасно безпечним?

Даріо Амодей визнає, що ідеального рішення немає. У міру зростання здібностей моделей зростатимуть і ризики. Тому компанія інвестує в так зване «вирівнювання надлюдського інтелекту» (superalignment) — дослідження того, як контролювати системи, розумніші за людину. Це довгострокова мета, яка може зайняти десятиліття. Але для Anthropic це не абстрактна філософія, а практичний порядок денний: кожен новий реліз Claude супроводжується оцінкою потенційних катастрофічних ризиків.

Критика та контроверсії

Попри загалом позитивний образ, Anthropic не уникає критики. Деякі експерти вважають, що компанія перебільшує ризики, щоб виправдати свою закритість. Інші зауважують, що Constitutional AI — це лише набір правил, написаних людьми, і він може відображати упередження розробників. Також висловлювалися побоювання щодо концентрації влади: якщо безпечний AI стане стандартом, це може створити нову монополію.

Даріо Амодей відповідає на це відкрито: він визнає, що жодна система не є досконалою, і закликає до незалежного аудиту. У 2024 році Anthropic оголосила про створення зовнішньої консультативної ради з безпеки, до якої увійшли фахівці з різних дисциплін. Це ще один крок до прозорості, хоча й не всіх він переконує.

Практичні уроки від підходу Anthropic

Досвід Даріо Амодея та його команди дає кілька уроків, які можуть бути корисними не лише для AI-компаній, а й для будь-якого бізнесу, що працює з технологіями:

• Визначте принципи до того, як вони знадобляться. Конституція Claude була написана не після інциденту, а заздалегідь. Коли виникає криза, наявність чітких правил спрощує прийняття рішень.
• Безпека — це не функція, а процес. Недостатньо додати фільтр на виході; потрібно вбудовувати безпеку на кожному етапі: від збору даних до навчання та розгортання.
• Публічна позиція має бути послідовною. Даріо Амодей роками говорить про ризики, навіть коли це непопулярно. Це створює довіру, яку не можна купити рекламою.
• Інвестуйте в дослідження, які не дають миттєвого прибутку. Інтерпретованість, вирівнювання, механізми контролю — усе це може здаватися академічною розкішшю, але саме вони визначать майбутнє галузі.

Зрештою, історія Даріо Амодея показує, що образ компанії будується не на гаслах, а на конкретних технічних рішеннях і готовності брати на себе відповідальність. У світі, де AI стає дедалі потужнішим, такий підхід може виявитися не просто етичним, а й єдино можливим.