Вскоре после того, как OpenAI выпустила o1, свою первую «рассуждающую» модель ИИ, люди начали отмечать любопытный феномен. Модель иногда начинала «думать» на китайском, персидском или каком-то другом языке — даже когда ей задавали вопрос на английском.
Если бы ему нужно было разобраться с проблемой — например, «Сколько букв R в слове «клубника»?» — o1 начинал бы «мыслительный» процесс, приходя к ответу, выполняя серию рассуждений. Если бы вопрос был написан на английском языке, окончательный ответ o1 был бы на английском языке. Но прежде чем сделать вывод, модель должна выполнить некоторые действия на другом языке.
«(O1) случайно начал думать на китайском на середине пути», — сказал один из пользователей Reddit.
«Почему (о1) случайно начал думать на китайском?» — спросил другой пользователь в сообщении на X. «Никакая часть разговора (5+ сообщений) не была на китайском языке».
Почему o1 pro случайно начал думать на китайском? Никакая часть разговора (более 5 сообщений) не была на китайском… очень интересно… Влияние данных обучения pic.twitter.com/yZWCzoaiit
— Ришаб Джайн (@RishabJainK) 9 января 2025 г.
OpenAI не объяснила странное поведение o1 и даже не признала его. Так что же может происходить?
Ну, эксперты по искусственному интеллекту в этом не уверены. Но у них есть несколько теорий.
Некоторые на X, в том числе генеральный директор Hugging Face Клеман Деланг, намекали на тот факт, что модели рассуждения, такие как o1, обучаются на наборах данных, содержащих много китайских иероглифов. Тед Сяо, исследователь из Google DeepMind, заявил, что компании, в том числе OpenAI, используют сторонние службы маркировки данных на китайском языке, и что переход o1 на китайский язык является примером «китайского лингвистического влияния на мышление».
«(Лаборатории, такие как OpenAI и Anthropic, используют (сторонние) службы маркировки данных для получения данных на уровне докторской степени для науки, математики и кодирования», — написал Сяо в сообщении на X. «(F) или экспертная доступность и стоимость рабочей силы По причинам, многие из этих поставщиков данных базируются в Китае».
Метки, также известные как теги или аннотации, помогают моделям понимать и интерпретировать данные в процессе обучения. Например, метки для обучения модели распознавания изображений могут иметь форму маркировки вокруг объектов или подписей, относящихся к каждому человеку, месту или объекту, изображенным на изображении.
Исследования показали, что предвзятые ярлыки могут создавать предвзятые модели. Например, среднестатистический аннотатор с большей вероятностью пометит фразы на афроамериканском разговорном английском (AAVE), неформальной грамматике, используемой некоторыми чернокожими американцами, как токсичные, а ведущие детекторы токсичности ИИ обучены на этикетках рассматривать AAVE как непропорционально токсичный.
Однако другие эксперты не верят в гипотезу o1 китайской маркировки данных. Они отмечают, что o1 с такой же вероятностью переключится на хинди, тайский или другой язык, кроме китайского, пытаясь найти решение.
Скорее, по мнению этих экспертов, o1 и другие модели рассуждения могут просто использовать языки, которые они считают наиболее эффективными для достижения цели (или галлюцинации).
«Модель не знает, что такое язык и что языки разные», — рассказал TechCrunch Мэтью Гуздиал, исследователь искусственного интеллекта и доцент Университета Альберты. «Это всего лишь текст».
Действительно, модели не обрабатывают слова напрямую. Вместо этого они используют жетоны. Токены может быть такими словами, как «фантастический». Или это могут быть слоги, например «фан», «тас» и «тик». Или это могут быть даже отдельные символы в словах — например, «f», «a», «n», «t», «a», «s», «t», «i», «c».
Как и маркировка, токены могут вносить предвзятость. Например, многие переводчики слов в лексемы предполагают, что пробел в предложении обозначает новое слово, несмотря на то, что не во всех языках для разделения слов используются пробелы.
Тижен Ван, инженер-программист стартапа AI Hugging Face, согласен с Гуздиалом, что языковые несоответствия моделей рассуждений могут быть объяснены ассоциациями, которые модели создают во время обучения.
«Учитывая каждый лингвистический нюанс, мы расширяем мировоззрение модели и позволяем ей учиться на основе всего спектра человеческих знаний», — написал Ван в посте на X. «Например, я предпочитаю заниматься математикой на китайском языке, потому что каждая цифра — это всего лишь одна цифра. слог, что делает расчеты четкими и эффективными. Но когда дело доходит до таких тем, как бессознательная предвзятость, я автоматически переключаюсь на английский, главным образом потому, что именно там я впервые узнал и усвоил эти идеи».
Теория Ванга правдоподобна. В конце концов, модели — это вероятностные машины. Обучившись на многих примерах, они изучают закономерности, позволяющие делать прогнозы, например, как «кому» в электронном письме обычно предшествует «это может касаться».
Но Лука Солдайни, научный сотрудник некоммерческого Института искусственного интеллекта Аллена, предупредил, что мы не можем знать наверняка. «Такой тип наблюдения за развернутой системой искусственного интеллекта невозможно подтвердить из-за того, насколько непрозрачны эти модели», — сказал он TechCrunch. «Это один из многих примеров того, почему прозрачность в построении систем искусственного интеллекта имеет основополагающее значение».
Если не считать ответа от OpenAI, нам остается размышлять о том, почему o1 думает о песнях на французском языке, а о синтетической биологии – на китайском.
