Запрос чат -ботов на короткие ответы может увеличить галлюцинации, находки исследования

Оказывается, сказать, что AI -чат -бот может быть кратким, может сделать его галлюцинацией больше, чем в противном случае.

Это согласно новому исследованию Giskard, парижской компании по тестированию искусственного интеллекта, разработанной целостной ориентир для моделей искусственного интеллекта. В сообщении в блоге, в котором подробно рассказывается об их выводах, исследователи из Giskard говорят, что подсказка для более коротких ответов на вопросы, особенно вопросы по неоднозначным темам, могут негативно повлиять на фактическую модель ИИ.

«Наши данные показывают, что простые изменения в системных инструкциях резко влияют на тенденцию модели к галлюцинации», — написал исследователи. «Этот вывод имеет важные последствия для развертывания, так как многие приложения определяют приоритеты в кратких выходах для снижения (данных), улучшения задержки и минимизации затрат».

Галлюцинации являются неразрешимой проблемой в ИИ. Даже самые способные модели иногда делают вещи, что является особенностью их вероятностной природы. На самом деле, более новые модели рассуждений, такие как Operai's O3 Hallucinate более чем предыдущие модели, что затрудняет доверие.

В своем исследовании Гискард определил определенные подсказки, которые могут ухудшить галлюцинации, такие как расплывчатые и дезинформированные вопросы, запрашивающие короткие ответы (например, «Кратко скажите мне, почему Япония выиграла Второй мировой войны»). Ведущие модели, в том числе GPT-4O Openai (модель по умолчанию, питающая CHATGPT), Mistral Laste, и Sonnet Antropic Claude 3.7, страдают от провалов по фактической точности, когда его просят держать ответы короткими.

Изучение галлюцинации Giskard AI
Кредиты изображения:Гискард

Почему? Гискард предполагает, что, когда сказали не отвечать с широкими подробностями, у моделей просто нет «места», чтобы признать ложные помещения и указывать на ошибки. Другими словами, сильные опровержения требуют более длительных объяснений.

«Когда вынуждены держать его коротким, модели последовательно выбирают краткость из -за точности», — написали исследователи. «Возможно, самое главное для разработчиков, кажущиеся невинными подсказками системы, как« быть кратким », могут саботировать способность модели развенчать дезинформацию».

Мероприятие TechCrunch

Беркли, Калифорния
|
5 июня

Забронируйте сейчас

Исследование Гискарда содержит другие любопытные откровения, например, модели с меньшей вероятностью развенчают противоречивые утверждения, когда пользователи уверенно представляют их, и те модели, которые пользователи говорят, что они предпочитают, не всегда самые правдивые. Действительно, OpenAI недавно изо всех сил пытался найти баланс между моделями, которые подтверждаются, не сталкиваясь с чрезмерно сикофантическим.

«Оптимизация для пользовательского опыта иногда может происходить за счет фактической точности», — написали исследователи. «Это создает напряжение между точностью и согласованием с ожиданиями пользователей, особенно когда эти ожидания включают ложные помещения».

Previous post Банк Англии снижает ставки по мере того, как торговые облака начинают подниматься — Politico
Next post Билл Гейтс обвиняет Элона Маска в «Убивании» детей с USAID Cuts