Дарио Амодей: как Anthropic построила образ AI-компании вокруг безопасности

Когда в 2023 году мир захватили возможности больших языковых моделей, Дарио Амодей публично предупреждал: «Вероятность того, что всё пойдёт не так, может достигать 10–25%». Это не было внеплановым заявлением технофоба — это говорил бывший вице-президент по исследованиям OpenAI, человек, стоявший у истоков GPT-2 и GPT-3. Его новая компания Anthropic с первого дня строилась вокруг идеи, что безопасность — не дополнение к AI, а его фундамент. Сегодня этот подход определяет не только продукты компании, но и более широкую дискуссию о том, как разрабатывать мощные системы, не теряя контроля.

Кто такой Дарио Амодей: от физики к нейросетям

Дарио Амодей родился в 1983 году в США, в семье с итальянскими корнями. Его академический путь начался далеко от компьютерных наук: он получил степень бакалавра по физике в Стэнфордском университете, а затем защитил докторскую диссертацию по физике в Принстоне. Исследовал сложные системы, в частности нейронные сети как модель биологического мозга. Именно этот междисциплинарный опыт — физика, математика, нейронаука — позже помог ему мыслить об искусственном интеллекте системно.

После короткого периода работы в академической среде Амодей перешёл в технологический сектор. В 2014–2015 годах он работал в компании Baidu в команде Эндрю Ына, где занимался распознаванием речи. Там он впервые столкнулся с инженерными вызовами масштабирования нейросетей. Но настоящий прорыв произошёл позже, когда он присоединился к Google Brain.

Работа в Google Brain и переход в OpenAI

В Google Brain Дарио Амодей работал над системами глубокого обучения, которые впоследствии легли в основу современных языковых моделей. Он был соавтором нескольких важных публикаций, в частности о масштабировании нейронных сетей. Однако внутри большой корпорации исследователи часто сталкивались с ограничениями: продукты должны были быть коммерчески выгодными, а не обязательно безопасными в долгосрочной перспективе.

В 2016 году Амодей перешёл в OpenAI — тогда ещё некоммерческую исследовательскую лабораторию, которая обещала разрабатывать AI «на благо человечества». Там он быстро стал одной из ключевых фигур: сначала как руководитель исследований, затем как вице-президент. Именно под его техническим руководством создавались модели GPT-2 и GPT-3. Эти системы продемонстрировали, что с увеличением размера модели её поведение становится не только умнее, но и менее предсказуемым.

Почему возникла потребность в Anthropic

К 2020 году внутри OpenAI нарастало напряжение между исследовательской свободой и коммерческим давлением. Компания начала трансформироваться в структуру с ограниченной прибылью, заключила партнёрство с Microsoft и всё больше фокусировалась на продуктах. Для части команды, включая Дарио Амодея, это означало отход от первоначальной миссии: безопасность должна была оставаться главным приоритетом, даже если это замедляет выпуск продуктов.

В декабре 2020 года группа из семи сотрудников OpenAI, среди которых были Дарио Амодей, его сестра Даниэла Амодей (бывшая вице-президент по безопасности в OpenAI) и другие ведущие исследователи, объявила о создании новой компании — Anthropic. Название отсылало к антропному принципу: идее, что наблюдатель влияет на реальность. В данном случае — что разработчики должны сознательно формировать поведение AI-систем, а не просто наблюдать за их эволюцией.

Первые шаги и финансирование

Anthropic сразу позиционировала себя как «компания по безопасности AI». Её основатели открыто говорили о рисках неконтролируемого интеллекта и о необходимости создавать системы, которые будут «честными, безвредными и полезными» — эта фраза стала своеобразным манифестом. В первые месяцы компания привлекла более 120 миллионов долларов от инвесторов, среди которых были Skype-сооснователь Яан Таллинн и другие сторонники эффективного альтруизма.

Важно, что структура компании была выбрана как общественно полезная корпорация (Public Benefit Corporation). Это юридически обязывало руководство учитывать не только интересы акционеров, но и общественное влияние своих решений. Дарио Амодей стал CEO, а Даниэла Амодей — президентом. Такое распределение ролей подчёркивало, что безопасность встроена в управление на самом высоком уровне.

Как Anthropic строила образ безопасной AI-компании

Образ компании не создаётся пресс-релизами — он формируется конкретными действиями, техническими решениями и последовательностью в коммуникации. Anthropic с первых дней придерживалась нескольких принципов, которые выделяли её среди конкурентов.

Конституционный AI как техническая основа

В то время как большинство компаний полагались на обучение с подкреплением от обратной связи человека (RLHF), Anthropic разработала собственный подход — Constitutional AI. Идея заключается в том, что модель обучается соблюдать набор принципов (конституцию), которые определяют желаемое поведение. Например, принцип «выбирай ответ, который с меньшей вероятностью причинит вред» или «не поощряй незаконную деятельность». Модель генерирует ответы, критикует их сама согласно конституции и исправляет. Это уменьшает зависимость от человеческих оценщиков и делает поведение более прозрачным и предсказуемым.

Дарио Амодей неоднократно подчёркивал, что Constitutional AI — это не просто технический трюк, а способ масштабировать контроль. Когда модели становятся слишком сложными для ручного надзора, они должны иметь внутренние механизмы самокоррекции. Этот подход стал ключевым отличием семейства моделей Claude, названных в честь Клода Шеннона — отца теории информации.

Исследования безопасности как публичный продукт

Anthropic не только создаёт модели, но и активно публикует исследования по безопасности. Компания регулярно выпускает технические отчёты, в которых подробно описывает методы оценки, выявленные риски и способы их смягчения. Например, перед выпуском Claude 2 был опубликован большой документ о тестировании модели на склонность к обману, манипуляциям и опасным советам. Это контрастирует с практикой некоторых конкурентов, которые часто ограничиваются общими заявлениями об «ответственном AI».

Кроме того, Anthropic инвестирует в исследования интерпретируемости — способности понимать, что именно происходит внутри нейросети. Команда компании разработала методы, которые позволяют выявлять отдельные «нейроны», активирующиеся на определённые концепции (например, «обман» или «опасность»). Это даёт возможность не просто фильтровать выход, но и понимать внутренние процессы, ведущие к нежелательному поведению.

Публичная позиция по регулированию

Дарио Амодей стал одним из немногих CEO, кто открыто призывает к государственному регулированию AI. В 2023 году он выступал на слушаниях в Сенате США, где предупреждал о рисках неконтролируемого развития технологий и предлагал конкретные меры: обязательное лицензирование для моделей выше определённого порога вычислительной мощности, требования к тестированию безопасности и отчётности. Такая позиция не всегда нравится другим игрокам рынка, но она последовательно подкрепляет образ компании, для которой безопасность важнее краткосрочной прибыли.

Ключевые продукты и технологии Anthropic

Хотя компания подчёркивает свою исследовательскую миссию, она также создаёт коммерческие продукты. Это не противоречит философии безопасности: Дарио Амодей считает, что безопасные системы должны быть доступными, иначе рынок заполнят менее безопасные альтернативы.

Семейство моделей Claude

Первая версия Claude появилась в начале 2023 года и была доступна через API и партнёрства (в частности с Quora для Poe). Claude 2, выпущенный в июле 2023 года, уже мог обрабатывать до 100 000 токенов контекста — достаточно, чтобы проанализировать целую книгу за один раз. В марте 2024 года вышел Claude 3 в трёх вариантах: Haiku (быстрый), Sonnet (сбалансированный) и Opus (самый мощный). Последний во многих тестах показал результаты, сравнимые с GPT-4, но с акцентом на более безопасные ответы.

Важная особенность Claude — это отказ отвечать на запросы, которые модель считает вредными, даже если технически она может это сделать. Например, Claude не даст инструкций по изготовлению оружия или советов по самолечению серьёзных болезней. Это не просто фильтр на выходе — такие ограничения встроены в процесс обучения через Constitutional AI.

Партнёрства и интеграции

Anthropic заключила стратегическое партнёрство с Amazon Web Services (AWS), которое инвестировало в компанию до 4 миллиардов долларов. Это дало доступ к огромным вычислительным мощностям, необходимым для обучения моделей. Также компания сотрудничает с Google Cloud. Важно, что эти партнёрства не ограничивают исследовательскую независимость: Anthropic сохраняет контроль над своими моделями и политикой безопасности.

Отдельно стоит упомянуть сотрудничество с правительственными структурами. Anthropic предоставляет доступ к своим моделям для исследовательских целей, в частности для изучения потенциальных угроз национальной безопасности. Это часть стратегии «ответственного масштабирования»: перед тем как сделать модель общедоступной, компания проверяет её в контролируемых условиях.

Бизнес-модель, основанная на доверии

В отличие от многих AI-стартапов, Anthropic не спешит монетизировать каждую функцию. Компания предлагает платный доступ к Claude через API и подписку Claude Pro, но цены остаются конкурентоспособными. Основной актив компании — это репутация. В мире, где пользователи всё больше беспокоятся о конфиденциальности и безопасности данных, Anthropic позиционирует себя как «этичный выбор». Например, компания не использует данные пользователей для обучения моделей по умолчанию, что является редкостью в индустрии.

Такая стратегия требует значительных инвестиций в исследования, которые не приносят мгновенной прибыли. Но Дарио Амодей убеждён, что в долгосрочной перспективе безопасность станет конкурентным преимуществом. Когда регуляторы начнут требовать более строгого контроля, компании, которые уже построили соответствующую инфраструктуру, окажутся в выигрыше.

Влияние на индустрию и будущие вызовы

Подход Anthropic уже повлиял на всю отрасль. Конкуренты, в частности OpenAI, усилили собственные команды безопасности и начали публиковать больше технических деталей. Концепция Constitutional AI обсуждается в академических кругах, а некоторые её элементы заимствуют другие разработчики. Однако главный вызов остаётся: действительно ли можно создать достаточно мощный AI, который будет одновременно безопасным?

Дарио Амодей признаёт, что идеального решения нет. По мере роста способностей моделей будут расти и риски. Поэтому компания инвестирует в так называемое «выравнивание сверхчеловеческого интеллекта» (superalignment) — исследование того, как контролировать системы, умнее человека. Это долгосрочная цель, которая может занять десятилетия. Но для Anthropic это не абстрактная философия, а практическая повестка дня: каждый новый релиз Claude сопровождается оценкой потенциальных катастрофических рисков.

Критика и противоречия

Несмотря на в целом положительный образ, Anthropic не избегает критики. Некоторые эксперты считают, что компания преувеличивает риски, чтобы оправдать свою закрытость. Другие замечают, что Constitutional AI — это лишь набор правил, написанных людьми, и он может отражать предубеждения разработчиков. Также высказывались опасения по поводу концентрации власти: если безопасный AI станет стандартом, это может создать новую монополию.

Дарио Амодей отвечает на это открыто: он признаёт, что ни одна система не является совершенной, и призывает к независимому аудиту. В 2024 году Anthropic объявила о создании внешнего консультативного совета по безопасности, в который вошли специалисты из разных дисциплин. Это ещё один шаг к прозрачности, хотя и не всех он убеждает.

Практические уроки от подхода Anthropic

Опыт Дарио Амодея и его команды даёт несколько уроков, которые могут быть полезны не только для AI-компаний, но и для любого бизнеса, работающего с технологиями:

• Определите принципы до того, как они понадобятся. Конституция Claude была написана не после инцидента, а заранее. Когда возникает кризис, наличие чётких правил упрощает принятие решений.
• Безопасность — это не функция, а процесс. Недостаточно добавить фильтр на выходе; нужно встраивать безопасность на каждом этапе: от сбора данных до обучения и развёртывания.
• Публичная позиция должна быть последовательной. Дарио Амодей годами говорит о рисках, даже когда это непопулярно. Это создаёт доверие, которое нельзя купить рекламой.
• Инвестируйте в исследования, которые не дают мгновенной прибыли. Интерпретируемость, выравнивание, механизмы контроля — всё это может казаться академической роскошью, но именно они определят будущее отрасли.

В конечном счёте, история Дарио Амодея показывает, что образ компании строится не на лозунгах, а на конкретных технических решениях и готовности брать на себя ответственность. В мире, где AI становится всё более мощным, такой подход может оказаться не просто этичным, но и единственно возможным.