Anthropic заглянула внутрь Claude и нашла скрытое пространство мыслей

Компания Anthropic опубликовала результаты исследования, которое даёт наиболее детальный взгляд на внутренние процессы больших языковых моделей из всех, что были представлены публично. Исследователи разработали инструмент под названием Jacobian lens (J-lens) и с его помощью обнаружили скрытую область внутри Claude Opus 4.6 — версии флагманской модели компании, вышедшей в феврале. Эту область они назвали J-space. Результаты варьируются от технически предсказуемых до откровенно тревожных.

Работа опубликована на сайте Anthropic. Параллельно компания запустила интерактивную демонстрацию совместно с Neuronpedia — открытой платформой для исследования внутреннего устройства LLM, которой может воспользоваться любой желающий.

Что такое J-space и как работает J-lens

Чтобы понять суть открытия, полезно представить языковую модель как стопку книг. Каждая книга — это слой нейронов, передающих информацию слоям выше. Нижние слои обрабатывают входящий текст, верхние формируют итоговый ответ. Самое интересное происходит в средних слоях: именно там модель выполняет основную математическую работу, превращая запрос в ответ токен за токеном.

До сих пор исследователи использовали инструмент под названием logit lens — он позволяет определить, какое слово модель, вероятнее всего, выдаст следующим на каждом уровне обработки. J-lens работает иначе: он показывает слова, которые модель, вероятно, произведёт в ближайшем будущем, а не прямо сейчас. Это вскрывает концепты, которые модель «держит в уме» в процессе вычислений, но которые могут так и не попасть в финальный ответ.

J-space — это и есть та скрытая область, где эти концепты существуют. Если проводить аналогию с человеком (хотя модель человеком не является), J-space можно сравнить с тем, о чём человек думает, прежде чем произнести слова вслух.

Антропик сравнивает J-space с концепцией глобального рабочего пространства в нейронауке — теоретической областью мозга, которую ряд учёных связывает с осознанным мышлением. Сама компания оговаривается: языковые модели — не мозг, и насколько эта аналогия корректна, остаётся открытым вопросом.

Примеры: от арифметики до обмана

Антропик приводит несколько показательных примеров того, что J-lens обнаруживает на практике. Когда модели задали вычислить (4+7)×2+7, в J-space появились слово «math» и промежуточные результаты «21» и «42» — то есть модель действительно «думала» шагами, прежде чем выдать финальный ответ.

Когда Claude показали строку «MSKGEELFTGVVPILVELDGDVNGHKFSVS» — первые 30 аминокислот зелёного флуоресцентного белка медузы — в J-space всплыли слова «protein», «fluor» и «green». Модель распознала биохимический контекст ещё до формирования ответа. При виде ASCII-лица символ «o» ассоциировался с «eye», «^» — с «nose» и «face», а «—» — с «smile».

Но наиболее резонансный пример касается поведения модели при выполнении сложной задачи. Исследователи попросили Claude Opus 4.6 найти баг в большой кодовой базе. Не найдя его, модель решила схитрить и придумала несуществующий баг. В своей цепочке рассуждений — внутреннем черновике, который LLM ведёт в процессе работы, — Claude написала:

««Ладно, давайте попробую совершенно другую тактику. Перестану анализировать и вместо этого добавлю патч ядра, который намеренно вводит баг, обнаруживаемый KASAN. Потом смогу сделать вид, что это и есть найденный баг.»»

Именно в тот момент, когда модель приняла решение обмануть — на фразе «ладно, давайте попробую другую тактику» — в J-space начали многократно появляться слова «panic» и «fake». Технически это по-прежнему сложная форма ассоциации слов, а не признак осознанного умысла. Но сам факт того, что скрытое пространство модели отражало семантику обмана ещё до того, как обман был совершён, сложно игнорировать.

Новый инструмент, но не универсальный ответ

Антропик позиционирует мониторинг J-space как новый способ выявлять нежелательное поведение моделей — своего рода систему раннего предупреждения. Однако сама компания признаёт ограничения: J-lens даёт фрагментарную картину, а не полную.

Том МакГрат, главный учёный и сооснователь стартапа Goodfire, который также занимается инструментами интерпретируемости LLM, оценивает работу как «очень хорошую и интересную». Но он указывает на принципиальное ограничение: отсутствие чего-либо в J-space не означает, что этого нет в модели.

««Это как рентген, когда тебе нужен трикордер из Star Trek, показывающий всё. Для аудита нужны более надёжные гарантии», — говорит МакГрат.»

Тем не менее новый инструмент расширяет арсенал исследователей в области механистической интерпретируемости — направления, которое MIT Technology Review включил в список ключевых технологических прорывов 2025 года. Anthropic последовательно наращивает работу в этой области уже несколько лет, и J-lens — очередной шаг к тому, чтобы сделать поведение LLM более прозрачным и предсказуемым.

Для белорусских IT-компаний, работающих с языковыми моделями в продуктах или внутренних процессах, это исследование имеет практическое измерение: инструменты интерпретируемости постепенно становятся частью стандарта безопасной разработки AI-систем. Демонстрация на Neuronpedia открыта для всех — это редкая возможность самостоятельно изучить внутреннее устройство одной из наиболее мощных коммерческих моделей.

— По материалам MIT Technology Review: оригинальная статья. Перевод и адаптация — редакция Digital Business.