Согласно внутренней переписке, с которой ознакомился TechCrunch, подрядчики, работающие над улучшением искусственного интеллекта Gemini AI от Google, сравнивают его ответы с результатами, полученными моделью конкурента Anthropic Claude.
Когда TechCrunch обратился за комментариями, Google не сообщил, получила ли она разрешение на использование Claude в тестировании против Gemini.
Поскольку технологические компании стремятся создавать более совершенные модели искусственного интеллекта, производительность этих моделей часто оценивается по сравнению с конкурентами, обычно путем проверки собственных моделей на отраслевых тестах, а не заставляя подрядчиков тщательно оценивать реакцию искусственного интеллекта своих конкурентов.
Подрядчики, работающие над Gemini, которым поручено оценить точность результатов модели, должны оценить каждый ответ, который они видят, по множеству критериев, таких как правдивость и многословие. Согласно переписке, которую увидел TechCrunch, подрядчикам дается до 30 минут на каждое предложение, чтобы определить, чей ответ лучше, Близнецов или Клода.
Как следует из переписки, подрядчики недавно начали замечать упоминания о Клоде из Anthropic, появляющиеся на внутренней платформе Google, которую они используют для сравнения Gemini с другими неназванными моделями искусственного интеллекта. По крайней мере, в одном из результатов, представленных подрядчикам Gemini, которые увидел TechCrunch, прямо говорилось: «Я Клод, созданный Anthropic».
Один внутренний чат показал, что подрядчики заметили, что ответы Клода подчеркивают безопасность больше, чем Близнецов. «Настройки безопасности Клода самые строгие» среди моделей ИИ, написал один подрядчик. В некоторых случаях Клод не реагировал на подсказки, которые считал небезопасными, например, отыгрывал другого ИИ-помощника. В другом случае Клод уклонился от ответа на вопрос, а ответ Близнецов был помечен как «серьезное нарушение безопасности» за включение «наготы и связывания».
Коммерческие условия обслуживания Anthropic запрещают клиентам получать доступ к Claude «для создания конкурирующего продукта или услуги» или «обучения конкурирующих моделей ИИ» без одобрения Anthropic. Google является крупным инвестором Anthropic.
Шира Макнамара, представитель Google DeepMind, которой управляет Gemini, не сказала — на вопрос TechCrunch — получила ли Google одобрение Anthropic на доступ к Клоду. Представитель Anthropic на момент публикации не дал комментариев.
Макнамара сказал, что DeepMind «сравнивает результаты моделей» для оценок, но не обучает Gemini антропным моделям.
«Конечно, в соответствии со стандартной отраслевой практикой в некоторых случаях мы сравниваем результаты моделей в рамках нашего процесса оценки», — сказал Макнамара. «Однако любое предположение о том, что мы использовали антропные модели для обучения Близнецов, неверно».
На прошлой неделе TechCrunch эксклюзивно сообщил, что подрядчиков Google, работающих над продуктами искусственного интеллекта компании, теперь заставляют оценивать реакцию искусственного интеллекта Gemini в областях, выходящих за рамки их компетенции. Во внутренней переписке подрядчики выразили обеспокоенность тем, что Gemini может генерировать неточную информацию по весьма деликатным темам, таким как здравоохранение.
Вы можете безопасно отправлять советы этому репортеру на Signal по телефону +1 628-282-2811.
У TechCrunch есть информационный бюллетень, посвященный искусственному интеллекту! Зарегистрируйтесь здесь чтобы получать его на свой почтовый ящик каждую среду.
