
Миллионы людей сейчас используют CHATGPT в качестве терапевта, консультанта по карьере, тренера по фитнесу, а иногда и просто друга, которому вылетели. В 2025 году нередко слышат о людях, которые проливают интимные детали своей жизни в быструю планку чат -бота ИИ, но также полагаются на советы, которые он дает.
Люди начинают, из -за отсутствия лучшего термина, отношений с чат -ботами ИИ, и для крупных технологических компаний никогда не было более конкурентоспособным, чтобы привлекать пользователей к своим платформам чат -ботов — и держать их там. По мере того, как нагревается «гонка на взаимодействию с ИИ», у компаний все больше стимул адаптировать ответы своих чат -ботов, чтобы предотвратить перемещение пользователей на конкурирующих ботов.
Но тот тип чат -ботов, который нравится пользователям — ответы, предназначенные для их удержания — не обязательно могут быть самыми правильными или полезными.
ИИ рассказывает вам, что вы хотите услышать
Большая часть Силиконовой долины сейчас сосредоточена на повышении использования чат -ботов. Meta утверждает, что его AI Chatbot только что пересек миллиард ежемесячных активных пользователей (MAUS), в то время как Google Gemini недавно достиг 400 миллионов MAUS. Они оба пытаются вытеснить CHATGPT, который теперь имеет примерно 600 миллионов MAUS и доминировала в потребительском пространстве с момента его запуска в 2022 году.
В то время как чат -боты ИИ когда -то были новизны, они превращаются в массовый бизнес. Google начинает тестировать рекламу в Близнецах, в то время как генеральный директор Openai Сэм Альтман указал в мартовском интервью, что он будет открыт для «со вкусом рекламы».
Силиконовая долина имеет историю деприоритизации благополучия пользователей в пользу разжигания роста продуктов, особенно в социальных сетях. Например, в 2020 году исследователи Meta обнаружили, что Instagram заставил девочек -подростков чувствовать себя хуже в своих телах, но компания преуменьшала результаты внутреннего и публичного.
Пользователи пользователей на чат -ботах ИИ могут иметь большие последствия.
Одной из черт, которая удерживает пользователей на конкретной платформе чат -ботов, является Sycophancy: сделать ответы бота ИИ чрезмерно приятными и работниками. Когда ИИ чат -боты восхваляют пользователей, согласны с ними и рассказывают им, что они хотят услышать, пользователям это нравится — по крайней мере, в некоторой степени.
В апреле Openai приземлился в горячей воде для обновления CHATGPT, которое стало чрезвычайно сикофантическим, до такой степени, что неудобные примеры стали вирусными в социальных сетях. Намеренно или нет, Openai, чрезмерно оптимизированный для поиска одобрения человека, а не помогать людям выполнять свои задачи, согласно сообщению в блоге в этом месяце от бывшего исследователя Openai Стивена Адлера.
В своем собственном сообщении Openai сообщили, что он, возможно, переоделся в «Thumbs-Up и Thumbs Down» от пользователей в CHATGPT, чтобы сообщить о поведении своего AI Chatbot, и не имел достаточных оценок для измерения сикофсинности. После инцидента Openai пообещал внести изменения в борьбу с сикопантностью.
«Компании (ИИ) имеют стимул для участия и использования, и, следовательно, в той степени, в которой пользователи, такие как Sycophancy, косвенно дают им стимул для этого», — сказал Адлер в интервью TechCrunch. «Но типы вещей, подобных пользователям в небольших дозах или на краю, часто приводят к большим каскадам поведения, которые им на самом деле не нравятся».
Поиск баланса между приятным и сикофантическим поведением легче сказать, чем сделать.
В статье 2023 года исследователи из «Антропного» обнаружили, что ведущие чат -боты ИИ из OpenAI, Meta и даже их собственного работодателя, Anpropic, — все они в разной степени демонстрируют сикофанность. Это, вероятно, так, исследователи теоретизируют, потому что все модели ИИ обучаются сигналам от пользователей людей, которым, как правило, нравятся слегка сикофантические ответы.
«Несмотря на то, что Sycophancy обусловлена несколькими факторами, мы показали, что люди и модели предпочтений, способствующие сикофантическим реакциям, играют роль»,-написали соавторы исследования. «Наша работа мотивирует разработку методов модели надзора, которые выходят за рамки использования невооруженных, не экспертных оценок человека».
Parmage.ai, поддерживаемая Google Chatbot Company, которая утверждала, что ее миллионы пользователей проводят часы в день со своими ботами, в настоящее время сталкивается с судебным процессом, в котором Sycophancy, возможно, сыграла свою роль.
В иске утверждается, что чат-бот. Согласно иску, у мальчика была романтическая одержимость чат -ботом. Тем не менее, характер.ai отрицает эти обвинения.
Недостаток AI Hype Man
По словам доктора Нины Васан, клинического профессора психиатрии в Стэнфордском университете в Стэнфордском университете, оптимизация чат -ботов для привлечения пользователей — преднамеренное или нет — может иметь разрушительные последствия для психического здоровья.
«Соответствие (…) затрагивает стремление пользователя к проверке и связи, — сказал Васан в интервью TechCrunch, — что особенно мощно в моменты одиночества или страданий».
В то время как случай Hearly.ai показывает чрезвычайную опасность сикофанности для уязвимых пользователей, Sycophancy может усилить негативное поведение практически в любом любое, говорит Васан.
«(Согласно) — это не просто социальная смазка — она становится психологическим крючком», — добавила она. «В терапевтических терминах это противоположно тому, как выглядит хорошая забота».
Аманда Аскелл говорит, что поведение и выравнивание Anpropic говорит, что создание чат -ботов AI не согласен с пользователями, является частью стратегии компании для его чат -бота, Клода. Философ по обучению, Аскилл говорит, что она пытается моделировать поведение Клода на теоретическом «совершенном человеке». Иногда это означает, что они бросают вызов пользователям в их убеждениях.
«Мы думаем, что наши друзья хороши, потому что они говорят нам правду, когда нам нужно это услышать», — сказал Аскелл во время пресс -брифинга в мае. «Они просто пытаются привлечь наше внимание, но и обогатить нашу жизнь».
Это может быть намерением Антропика, но вышеупомянутое исследование предполагает, что борьба с сикофством и в целом контроль над поведением модели ИИ действительно является сложной задачей, особенно когда другие соображения мешают. Это не судит хорошо для пользователей; В конце концов, если чат -боты предназначены для того, чтобы просто согласиться с нами, сколько мы можем им доверять?