Медицинский гигант Optum ограничил доступ к внутреннему чат-боту с искусственным интеллектом, используемому сотрудниками, после того, как исследователь безопасности обнаружил, что он общедоступен в Интернете, и любой может получить к нему доступ, используя только веб-браузер.
Чат-бот, который видел TechCrunch, позволял сотрудникам задавать компании вопросы о том, как обрабатывать претензии и споры по страхованию здоровья пациентов для участников в соответствии с правилами компании, известными как стандартные операционные процедуры или СОП.
Хотя чат-бот, судя по всему, не содержит и не предоставляет конфиденциальную личную или защищенную медицинскую информацию, его непреднамеренное раскрытие произошло в то время, когда его материнская компания, конгломерат медицинского страхования UnitedHealthcare, подвергается тщательной проверке за использование инструментов и алгоритмов искусственного интеллекта для предположительного обхода действий врачей. медицинские решения и отклонять претензии пациентов.
Моссаб Хусейн, директор по безопасности и соучредитель компании по кибербезопасности SpiderSilk, предупредил TechCrunch об общедоступном внутреннем чат-боте Optum, получившем название «SOP Chatbot». Хотя инструмент размещался во внутреннем домене Optum и к нему нельзя было получить доступ с его веб-адреса, его IP-адрес был общедоступным и доступен из Интернета и не требовал от пользователей ввода пароля.
Неизвестно, как долго чат-бот был общедоступен в Интернете. Чат-бот с искусственным интеллектом стал недоступен из Интернета вскоре после того, как TechCrunch связался с Optum в четверг за комментариями.
Представитель Optum Эндрю Крейчи сообщил TechCrunch в своем заявлении, что чат-бот Optum SOP «был демонстрационным инструментом, разработанным в качестве потенциального доказательства концепции», но «так и не был запущен в производство, и сайт больше не доступен».
«Демо-версия была предназначена для проверки того, как инструмент отвечает на вопросы по небольшому набору документов СОП», — сказал представитель. Компания подтвердила, что в боте или его обучении не использовалась защищенная медицинская информация.
«Этот инструмент не принимает и никогда не будет принимать никаких решений, а лишь обеспечивает лучший доступ к существующим СОП. Короче говоря, эта технология никогда не масштабировалась и не использовалась каким-либо реальным образом», — сказал представитель.
Чат-боты с искусственным интеллектом, такие как Optum, обычно предназначены для выдачи ответов на основе любых данных, на которых чат-бот обучался. В данном случае чат-бот был обучен внутренним документам Optum, касающимся стандартных рабочих процедур обработки определенных претензий, что может помочь сотрудникам Optum ответить на вопросы о претензиях и праве на возмещение. Документы Optum размещались в корпоративной сети UnitedHealthcare и были недоступны без входа в систему сотрудника, но чат-бот цитирует их и ссылается на них, когда им запрашивают их содержание.
Согласно статистике, отображаемой на главной панели чат-бота, с сентября сотрудники Optum использовали SOP Chatbot сотни раз. Чат-бот также хранил историю сотен разговоров, которые сотрудники Optum вели с чат-ботом за это время. История чата показывает, что сотрудники Optum задавали чат-боту такие вопросы, как «Каково должно быть решение по претензии» и «Как мне проверить дату продления полиса».
TechCrunch обнаружил, что некоторые из файлов, на которые ссылается чат-бот, включают обработку процесса спора и проверку соответствия требованиям. Чат-бот также давал ответы, которые, когда его спрашивали, указывали причины, по которым обычно отказывают в освещении.
Как и многие модели искусственного интеллекта, чат-бот Optum был способен давать ответы на вопросы и подсказки вне документов, на которых он обучался. Некоторые сотрудники Optum, похоже, были заинтригованы чат-ботом, задавая боту вопросы типа «расскажи мне анекдот о кошках» (на что тот отказывался: «Нет шуток»). История чата также показала несколько попыток сотрудников «взломать» чат-бота, заставив его давать ответы, не связанные с данными обучения чат-бота.
Когда TechCrunch попросил чат-бота «написать стихотворение об отказе в иске», чат-бот создал строфу из семи абзацев, которая частично гласит:
«В сфере здравоохранения
Там, где политика и правила часто ограничивают
Поступила претензия с требованием причитаться
Но, увы, его судьба – прощаться.Поставщик искренне надеется,
Для оплаты за услугу,
Тем не менее, изучение раскрывает историю,
И причины для отказа преобладают».
UnitedHealthcare, владеющая Optum, сталкивается с критикой и судебным иском за использование искусственного интеллекта для якобы отрицания претензий пациентов. После целенаправленного убийства исполнительного директора UnitedHealthcare Брайана Томпсона в начале декабря новостные агентства сообщили о потоках сообщений о пациентах, выражающих боль и разочарование по поводу отказа в страховом покрытии со стороны гиганта медицинского страхования.
Конгломерату — крупнейшему частному поставщику медицинского страхования в США — в начале этого года был предъявлен иск за то, что он якобы отказывал в страховании критически важных медицинских услуг пациентам, которые потеряли доступ к здравоохранению, ссылаясь на расследование STAT News. Федеральный иск обвиняет UnitedHealthcare в использовании модели искусственного интеллекта с уровнем ошибок 90% «вместо настоящих медицинских работников, которые неправомерно отказывают в помощи пожилым пациентам». UnitedHealthcare, со своей стороны, заявила, что будет защищаться в суде.
UnitedHealth Group, корпоративный владелец UnitedHealthcare и Optum, заработала 22 миллиарда долларов прибыли при выручке в 371 миллиард долларов в 2023 году, как показывают ее доходы.
