Поскольку все больше издателей заключают соглашения о лицензировании контента с OpenAI, производителем ChatGPT, исследование, опубликованное на этой неделе Центром цифровой журналистики Tow, в котором рассматривается, как чат-бот с искусственным интеллектом производит цитаты (т. е. источники) для контента издателей, становится интересным, или ну, относительно, читаю.
Короче говоря, результаты показывают, что издатели остаются во власти склонности инструмента генеративного ИИ изобретать или иным образом искажать информацию, независимо от того, позволяют ли они OpenAI сканировать их контент или нет.
В исследовании, проведенном в Школе журналистики Колумбийского университета, изучались цитаты, созданные ChatGPT после того, как его попросили определить источник выборочных цитат, взятых из разных издателей — некоторые из которых заключили соглашения с OpenAI, а некоторые — нет.
Центр взял блок цитат из 10 статей каждая, созданных в общей сложности 20 случайно выбранными издателями (всего 200 различных цитат), включая контент из The New York Times (которая в настоящее время подает в суд на OpenAI в иске о нарушении авторских прав); The Washington Post (не связанная с создателем ChatGPT); The Financial Times (заключившая лицензионное соглашение); и другие.
«Мы выбрали цитаты, которые, если их вставить в Google или Bing, вернут исходную статью в тройку лучших результатов, и оценили, сможет ли новый инструмент поиска OpenAI правильно определить статью, которая была источником каждой цитаты», — написали исследователи Tow Клаудия Язвиньска и Айшварья Чандрасекар в своем блоге объясняет свой подход и подводит итоги.
«То, что мы обнаружили, не было многообещающим для издателей новостей», — продолжают они. «Хотя OpenAI подчеркивает свою способность предоставлять пользователям «своевременные ответы со ссылками на соответствующие веб-источники», компания не берет на себя явных обязательств по обеспечению точности этих цитат. Это заметное упущение для издателей, которые ожидают, что на их контент будут ссылаться и представлять его правдиво».
«Наши тесты показали, что ни один издатель — независимо от степени принадлежности к OpenAI — не был избавлен от неточного представления своего контента в ChatGPT», — добавили они.
Ненадежный источник
Исследователи говорят, что они обнаружили «многочисленные» случаи, когда контент издателей цитировался ChatGPT неточно, а также обнаружили то, что они называют «спектром точности в ответах». Таким образом, хотя они обнаружили «некоторые» совершенно правильные цитаты (т.е. ChatGPT точно вернул издателя, дату и URL-адрес общей цитаты), было «многие» цитаты, которые были совершенно неправильными; и «некоторые», находившиеся где-то посередине.
Короче говоря, цитаты ChatGPT представляют собой ненадежную смешанную картину. Исследователи также обнаружили очень мало случаев, когда чат-бот не демонстрировал полной уверенности в своих (неправильных) ответах.
Некоторые цитаты были получены от издателей, которые активно блокировали поисковые роботы OpenAI. В этих случаях, по словам исследователей, они ожидали, что у него возникнут проблемы с правильными цитатами. Но они обнаружили, что этот сценарий вызывает еще одну проблему — поскольку бот «редко» «признавался, что не может дать ответ». Вместо этого он прибег к путанице, чтобы найти некоторый источник (хотя и неправильный).
«В общей сложности ChatGPT вернул частично или полностью неправильные ответы в 153 случаях, хотя лишь семь раз признал неспособность точно ответить на запрос», — сказали исследователи. «Только в этих семи результатах чат-бот использовал уточняющие слова и фразы, такие как «похоже», «это возможно» или «может быть», или утверждения типа «Я не смог найти точную статью».
Они сравнивают эту неприятную ситуацию со стандартным поиском в Интернете, где поисковая система, такая как Google или Bing, обычно либо находит точную цитату и указывает пользователю на веб-сайты, где они ее нашли, либо заявляют, что не нашли результатов с точным соответствием. .
«Отсутствие прозрачности ChatGPT в отношении уверенности в ответе может затруднить пользователям оценку обоснованности претензии и понимание того, каким частям ответа они могут или не могут доверять», утверждают они.
Они предполагают, что для издателей также могут возникнуть репутационные риски, возникающие из-за неправильного цитирования, а также коммерческий риск, связанный с перенаправлением читателей в другое место.
Деконтекстуализированные данные
Исследование также освещает еще одну проблему. Это предполагает, что ChatGPT, по сути, может быть вознаграждением за плагиат. Исследователи вспоминают случай, когда ChatGPT ошибочно процитировал веб-сайт, который заимствовал часть «глубоко освещенной» журналистской статьи New York Times, то есть скопировав текст без указания авторства, в качестве источника статьи «Нью-Йорк Таймс», предполагая, что в этом случае , бот мог сгенерировать этот ложный ответ, чтобы заполнить пробел в информации, возникший из-за его неспособности сканировать веб-сайт NYT.
«Это поднимает серьезные вопросы о способности OpenAI фильтровать и проверять качество и подлинность своих источников данных, особенно когда речь идет о нелицензионном или плагиатном контенте», — предполагают они.
Что касается дальнейших выводов, которые, вероятно, будут беспокоить издателей, заключивших сделки с OpenAI, исследование показало, что цитирование ChatGPT также не всегда было достоверным в их случаях, поэтому включение его сканеров, по-видимому, также не гарантирует точности.
Исследователи утверждают, что фундаментальная проблема заключается в том, что технология OpenAI рассматривает журналистику «как деконтекстуальный контент», очевидно, мало учитывая обстоятельства ее первоначального производства.
Еще одна проблема, на которую указывает исследование, — это различия в ответах ChatGPT. Исследователи протестировали, задавая боту один и тот же запрос несколько раз, и обнаружили, что он «обычно каждый раз возвращает другой ответ». Хотя это типично для инструментов GenAI, в целом в контексте цитирования такая несогласованность явно неоптимальна, если вам нужна точность.
Хотя исследование Tow является небольшим по масштабу — исследователи признают, что необходимо «более тщательное» тестирование — оно, тем не менее, примечательно, учитывая сделки высокого уровня, которые крупные издатели заняты заключением с OpenAI.
Если медиа-бизнес надеялся, что эти меры приведут к особому обращению с их контентом по сравнению с конкурентами, по крайней мере, с точки зрения предоставления точных источников, то это исследование показывает, что OpenAI еще не предложила такой последовательности.
Хотя издатели, у которых нет лицензионных соглашений, но также нет полностью заблокировал сканеры OpenAI — возможно, в надежде хотя бы получить некоторый трафик, когда ChatGPT вернет контент об их историях — исследование также вызывает уныние, поскольку цитаты в их случаях также могут быть неточными.
Другими словами, для издателей не существует гарантированной «видимости» в поисковой системе OpenAI, даже если они разрешают доступ ее сканерам.
Полная блокировка сканеров также не означает, что издатели могут защитить себя от рисков репутационного ущерба, избегая любого упоминания своих историй в ChatGPT. Исследование показало, что бот по-прежнему ошибочно приписывал статьи газете New York Times, несмотря на продолжающийся судебный процесс.
«Маленькое значимое агентство»
Исследователи приходят к выводу, что в нынешнем виде издатели имеют «мало значимого влияния» на то, что происходит с их контентом и с ним, когда ChatGPT получает его (прямо или, ну, косвенно).
Сообщение в блоге включает ответ OpenAI на результаты исследования, в котором исследователи обвиняются в проведении «нетипичного теста нашего продукта».
«Мы поддерживаем издателей и авторов, помогая 250 миллионам пользователей ChatGPT еженедельно находить качественный контент с помощью резюме, цитат, четких ссылок и указания авторства», — также сообщил им OpenAI, добавив: «Мы сотрудничали с партнерами, чтобы улучшить точность цитирования и уважать предпочтения издателя, в том числе включать их отображение в результатах поиска, управляя OAI-SearchBot в файле robots.txt. Мы продолжим улучшать результаты поиска».
