Почему ИИ Google не умеет считать буквы — и это не баг, а архитектура

Google AI Overview — флагманская ИИ-функция поиска — не может правильно посчитать буквы в слове «Google». По версии собственного ИИ компании, в нём две буквы P. Фамилию действующего президента США система воспроизвела как «t-r-p-u-m». Это не единичный сбой: проблема уходит корнями в саму архитектуру больших языковых моделей, и исследователи не уверены, что её вообще можно устранить.

Подобные ошибки уже стали мемом в AI-сообществе. Несколько лет подряд при каждом анонсе новой языковой модели первый же вопрос аудитории звучит одинаково: «Сколько букв R в слове strawberry?» Модели, способные за секунды написать рабочий код или решить задачи, над которыми математики бились десятилетиями, стабильно проваливают тест первоклассника по чтению.

Токены вместо букв: почему LLM «не видит» алфавит

Чтобы понять природу проблемы, нужно разобраться, как языковые модели обрабатывают текст. Они не «читают» слова так, как это делает человек — последовательно, буква за буквой. Вместо этого входящий текст разбивается на токены: это могут быть целые слова, слоги или отдельные символы — в зависимости от конкретной модели. Каждый токен преобразуется в числовое представление, и именно с этими числами работает нейросеть.

Мэтью Гуздиал, исследователь ИИ и доцент Университета Альберты, объяснил механизм изданию TechCrunch: когда модель видит слово «the», у неё есть одно числовое представление его смысла — но она не знает ничего о буквах T, H, E по отдельности. Модель оперирует семантикой, а не символами.

Шеридан Фойхт, аспирант Северо-Восточного университета, изучающий интерпретируемость LLM, добавляет: даже если бы лингвисты договорились об идеальном словаре токенов, модели всё равно стремились бы «склеивать» единицы в более крупные блоки.

««Моё предположение: идеального токенизатора не существует — из-за принципиальной размытости границ между единицами языка», — цитирует исследователя TechCrunch.»

История ошибок: от советов есть камни до сломанного словаря

Нынешние орфографические курьёзы — не первый скандал вокруг AI Overview. Когда Google впервые запустил функцию в поиске, система цитировала сатирические посты с Reddit и The Onion, советуя пользователям есть камни и добавлять клей в пиццу. Тогда компания экстренно отключила ряд сценариев.

На прошлой неделе обнаружился новый сбой: поиск по слову «disregard» выдавал вместо словарного определения фразу «Understood. Let me know whenever you have a new prompt or question!» — типичный ответ ИИ-ассистента, случайно попавший в индекс. Google оперативно исправил этот случай, однако орфографические ошибки остаются.

Сама компания признала проблему. «Подсчёт символов внутри слов — известная сложность для LLM, и мы работаем над её устранением», — сообщил представитель Google в ответ на запрос TechCrunch. Формулировка «работаем над устранением» при этом не означает, что решение близко: исследователи настроены скептически относительно возможности полностью закрыть этот пробел в рамках существующей архитектуры.

Что это значит на практике

Важно понимать масштаб проблемы. Орфографические ошибки — не критический изъян для большинства сценариев использования LLM. Языковые модели создавались не для того, чтобы считать буквы; их ценность — в генерации связного текста, анализе данных, написании кода. Именно поэтому исследователи не ставят задачу «починить орфографию» в приоритет.

Однако показательна сама ситуация: Google делает генеративный ИИ центром своего 29-летнего флагманского продукта — поиска, которым пользуются миллиарды людей. Когда система ошибается в написании собственного названия, это подрывает доверие к любым другим её утверждениям — особенно тем, которые сложнее проверить.

Для белорусских IT-специалистов и разработчиков, которые активно интегрируют LLM-инструменты в продукты — от чат-ботов до систем документооборота, — это напоминание о необходимости валидации выходных данных. Модель может уверенно написать неверное имя клиента, неправильно воспроизвести название компании или ошибиться в аббревиатуре — и сделает это с той же уверенностью, с которой отвечает на сложные аналитические вопросы.

Практический вывод прост: выходные данные LLM требуют проверки там, где точность написания критична — в юридических документах, финансовой отчётности, коммуникациях с клиентами. Автоматизация с языковыми моделями работает, но слепое доверие к ним — нет.

— По материалам TechCrunch: оригинальная статья. Перевод и адаптация — редакция Digital Business.