Anthropic верит, что только её доминирование в AI сделает технологию безопасной

Anthropic пять лет публично предупреждает о том, что продвинутый искусственный интеллект способен спровоцировать массовые разрушения и дестабилизировать общество. При этом сама компания превратилась в одного из ключевых игроков, разгоняющих возможности AI. Её рыночная оценка приближается к $1 трлн, среди клиентов — американские военные. Для стороннего наблюдателя это выглядит как откровенное противоречие. Внутри компании так не считают.

Логика «хороших парней»

Вся стратегия Anthropic держится на двух убеждениях. Первое: AI — самая трансформирующая технология в истории человечества, и её появление неизбежно. Вопрос не в том, случится ли это, а в том, приведёт ли это к катастрофе или к беспрецедентному процветанию.

Второе убеждение, которое несколько бывших сотрудников описали изданию Wired на условиях анонимности: мир станет лучше, если именно Anthropic останется на переднем крае AI-гонки. Сотрудники компании нередко называют себя «хорошими парнями» — теми, кто несёт ответственность за технологию. Накопление капитала, вычислительных мощностей, исследовательских талантов и политического влияния воспринимается не как самоцель, а как необходимая цена за выполнение миссии: «обеспечить безопасный переход человечества через эпоху трансформирующего AI».

Хелен Тонер, директор Центра безопасности и новых технологий Джорджтаунского университета и бывший член совета директоров OpenAI, описывает эту логику через метафору: мощный AI — это лес, полный и волшебных сокровищ, и опасных монстров. Все деревенские жители бегут туда за наживой. Anthropic хочет зайти в этот лес дальше всех — и при этом активно укрощать монстров.

««Что отличает Anthropic — они говорят: люди всё равно идут в лес, значит, мы должны войти первыми. Это их явная стратегия: строить передовой AI, чтобы иметь реальный голос за столом переговоров о рисках и разумных ограничениях. Они открыто об этом говорят. Просто стратегия настолько необычная, что людям трудно её воспринять», — объясняет Тонер.»

CEO компании Дарио Амодеи сформулировал этот подход в разговоре с сооснователями, опубликованном на карьерной странице Anthropic: «Нужно найти способ реально конкурировать, в каких-то случаях лидировать в отрасли — и при этом делать всё безопасно. Если это получается, гравитационное притяжение, которое ты создаёшь, огромно».

Откол от OpenAI и культура внутри компании

Anthropic основана в 2021 году группой бывших сотрудников OpenAI, которые ушли, разочаровавшись в способности руководства — прежде всего CEO Сэма Альтмана — безопасно вывести трансформирующий AI в мир. Этот импульс определяет компанию до сих пор. По словам двух бывших сотрудников, на внутренних обсуждениях руководители Anthropic нередко приводят Альтмана и OpenAI — а в меньшей степени Meta и xAI Илона Маска — как предостерегающие примеры, от которых они отталкиваются в собственном понимании ответственности.

Сооснователь и главный архитектор Anthropic Сэм МакКэндлиш признаётся: «Никто из нас не хотел основывать компанию — мы просто чувствовали, что это наш долг. Мы должны это сделать. Это путь к тому, чтобы AI пошёл по правильному пути».

Компания зарегистрирована как структура общественной пользы, что позволяет ей формально ставить «долгосрочное благо человечества» выше прибыли. Финансовый успех и создание самых мощных моделей при этом трактуются как инструменты миссии, а не противоречие ей. Бывшие сотрудники описывают Anthropic как необычно идеологически заряженную организацию: на собеседованиях кандидатам прямо говорят, что это не обычная компания, движимая рынком.

Внутренняя культура неоднозначна. Одни бывшие сотрудники отмечают живую культуру дискуссий, где критика персонала вызывает развёрнутые ответы от руководства. Другие рисуют менее радужную картину: откровенная критика остаётся в закрытых групповых чатах и редко перерастает в прямой вызов решениям Амодеи. Регулярные общие собрания с CEO некоторые сотрудники в шутку называют «Видениями Дарио» — и сравнивают с походом на проповедь.

Шазеда Ахмед, постдокторант UCLA, изучающая идеологические корни движения за безопасность AI, указывает на системную проблему: организации вроде Anthropic страдают от недостатка плюрализма. Движение за AI-безопасность, уходящее корнями в субкультуры вроде эффективного альтруизма, склонно к однородности мышления и самоуправлению. «Когда ты окружён людьми, разделяющими те же убеждения, тебя никто не оспаривает. И если твои метрики успеха — насколько ты действовал согласно своим идеологическим взглядам, — ты не задаёшься вопросом: а вдруг мы не те люди, которым стоит иметь столько власти», — говорит Ахмед.

Военные контракты и цена компромисса

Осенью 2024 года Anthropic стала первой AI-лабораторией, заключившей партнёрство с Palantir для предоставления AI-сервисов американским спецслужбам и оборонным ведомствам. Внутри компании звучали вопросы, но они не привели к изменению политики. Сотрудник Anthropic Эван Хубингер написал тогда на форуме LessWrong, что компания была «предельно открыта» с персоналом по поводу сделки, и в целом оценил её положительно: «Если серьёзно относиться к катастрофическим рискам от AI, правительство США — крайне важный актор, и попытка просто заблокировать его доступ к AI не является жизнеспособной стратегией».

Менее чем через два года Пентагон, по имеющимся данным, начал использовать модель Claude для задач, включая определение целей для авиаударов в ходе конфликта между Израилем и Ираном. Когда в интервью Bloomberg Амодеи спросили, применялись ли модели Anthropic при ударе по иранской начальной школе, унёсшем жизни более 120 человек, он ответил, что не знает — но добавил, что это было бы допустимым использованием технологии компании, если финальное решение принимал человек.

Для белорусского IT-сообщества история Anthropic — не абстрактная. Компании из ПВТ, интегрирующие Claude и другие модели Anthropic в свои продукты, де-факто становятся частью этой цепочки. Вопрос о том, где проходит граница между «безопасным AI» и AI на службе военных операций, перестаёт быть философским — он становится операционным риском для любого бизнеса, строящего продукты на чужой инфраструктуре.

— По материалам Wired: оригинальная статья. Перевод и адаптация — редакция Digital Business.