Генеративный ИИ может показаться волшебством, но за разработкой этих систем стоят армии сотрудников таких компаний, как Google, OpenAI и других, известных как «оперативные инженеры» и аналитики, которые оценивают точность результатов чат-ботов для улучшения своего ИИ.
Но новое внутреннее руководство, переданное Google подрядчикам, работающим над Gemini, которое увидел TechCrunch, привело к опасениям, что Gemini может быть более склонен к распространению неточной информации по очень деликатным темам, таким как здравоохранение, обычным людям.
Чтобы улучшить Gemini, подрядчиков, работающих с GlobalLogic, аутсорсинговой фирмой, принадлежащей Hitachi, регулярно просят оценить ответы, генерируемые ИИ, по таким факторам, как «правдивость».
Эти подрядчики до недавнего времени могли «пропускать» определенные запросы и, таким образом, отказываться от оценки различных ответов, написанных ИИ на эти запросы, если запрос выходил за пределы их компетенции. Например, подрядчик мог пропустить подсказку, в которой задавался узкоспециализированный вопрос о кардиологии, поскольку у подрядчика не было научного образования.
Но на прошлой неделе GlobalLogic объявила об изменении Google, согласно которому подрядчикам больше не разрешается пропускать такие запросы, независимо от их собственного опыта.
Внутренняя переписка, просмотренная TechCrunch, показывает, что ранее в рекомендациях говорилось: «Если у вас нет критических знаний (например, кодирования, математики), чтобы оценить это приглашение, пропустите это задание».
Но теперь рекомендации гласят: «Не следует пропускать запросы, требующие специальных знаний в предметной области». Вместо этого подрядчикам предлагается «оценить те части запроса, которые вы понимаете», и включить примечание о том, что у них нет знаний в предметной области.
Это привело к прямым опасениям по поводу точности Gemini по определенным темам, поскольку подрядчикам иногда поручают оценивать высокотехнологичные реакции ИИ на такие проблемы, как редкие заболевания, в которых у них нет опыта.
«Я думал, что смысл пропуска — повысить точность, отдав его кому-то лучше?» один подрядчик отметил это во внутренней переписке, которую видел TechCrunch.
Подрядчики теперь могут пропускать запросы только в двух случаях: если у них «полностью отсутствует информация», такая как полное приглашение или ответ, или если они содержат вредоносный контент, для оценки которого требуются специальные формы согласия, как показывают новые правила.
Google не ответил на запросы TechCrunch о комментариях на момент публикации.
