В Google говорят, что у их нового семейства моделей искусственного интеллекта есть любопытная особенность: способность «идентифицировать» эмоции.
Анонсированное в четверг семейство моделей PaliGemma 2 может анализировать изображения, позволяя ИИ создавать подписи и отвечать на вопросы о людях, которых он «видит» на фотографиях.
«PaliGemma 2 генерирует подробные, контекстно-зависимые подписи к изображениям», — написал Google в сообщении в блоге, опубликованном TechCrunch, — «выходя за рамки простой идентификации объекта и описывая действия, эмоции и общее повествование сцены».
Распознавание эмоций не работает «из коробки», и PaliGemma 2 необходимо настроить для этой цели. Тем не менее, эксперты, с которыми беседовал TechCrunch, были встревожены перспективой появления общедоступного детектора эмоций.
«Меня это очень беспокоит», — сказала TechCrunch Сандра Вахтер, профессор этики данных и искусственного интеллекта в Оксфордском институте Интернета. «Мне кажется проблематичным предполагать, что мы можем «читать» эмоции людей. Это все равно, что просить совета у Волшебного шара-восьмерки».
В течение многих лет как стартапы, так и технологические гиганты пытались создать ИИ, который мог бы распознавать эмоции для самых разных задач: от обучения продажам до предотвращения несчастных случаев. Некоторые утверждают, что достигли этого, но наука стоит на шаткой эмпирической почве.
Большинство детекторов эмоций основаны на ранних работах Пола Экмана, психолога, который предположил, что у людей есть шесть общих эмоций: гнев, удивление, отвращение, удовольствие, страх и печаль. Однако последующие исследования поставили под сомнение гипотезу Экмана, продемонстрировав, что существуют серьезные различия в том, как люди разного происхождения выражают свои чувства.
«Обнаружение эмоций в общем случае невозможно, потому что люди испытывают эмоции сложным образом», — рассказал TechCrunch Майк Кук, научный сотрудник Университета Королевы Марии, специализирующийся на искусственном интеллекте. «Конечно, мы думаем, что можем сказать, что чувствуют другие люди, глядя на них, и многие люди на протяжении многих лет тоже пытались это сделать, например, шпионские агентства или маркетинговые компании. Я уверен, что в некоторых случаях абсолютно возможно обнаружить некоторые общие означающие, но мы никогда не сможем полностью «решить» эту проблему».
Неудивительным последствием является то, что системы обнаружения эмоций, как правило, ненадежны и подвержены влиянию предположений их создателей. В исследовании MIT 2020 года исследователи показали, что модели, анализирующие лица, могут развивать непреднамеренное предпочтение определенным выражениям, например улыбке. Более поздние исследования показывают, что модели эмоционального анализа приписывают лицам чернокожих людей больше негативных эмоций, чем лицам белых.
Google заявляет, что провела «обширное тестирование» для оценки демографических предубеждений в PaliGemma 2 и обнаружила «низкий уровень токсичности и ненормативной лексики» по сравнению с отраслевыми стандартами. Но компания не предоставила полный список использованных тестов и не указала, какие типы тестов проводились.
Единственный тест, который раскрыл Google, — это FairFace, набор фотографий десятков тысяч людей. Компания утверждает, что PaliGemma 2 получила хорошие оценки на FairFace. Но некоторые исследователи раскритиковали этот тест как показатель предвзятости, отметив, что FairFace представляет лишь несколько расовых групп.
«Интерпретация эмоций — это довольно субъективный вопрос, который выходит за рамки использования наглядных пособий и тесно связан с личным и культурным контекстом», — сказала Хейди Клааф, главный научный сотрудник AI Now Institute, некоммерческой организации, которая изучает социальные последствия искусственного интеллекта. интеллект. «Помимо искусственного интеллекта, исследования показали, что мы не можем определять эмоции только по чертам лица».
Системы обнаружения эмоций вызвали гнев зарубежных регулирующих органов, которые стремились ограничить использование этой технологии в контекстах повышенного риска. Закон об искусственном интеллекте, основной законодательный акт ЕС в области искусственного интеллекта, запрещает школам и работодателям использовать детекторы эмоций (но не правоохранительным органам).
Самые большие опасения по поводу открытых моделей, таких как PaliGemma 2, которые доступны на нескольких хостах, включая платформу разработки искусственного интеллекта Hugging Face, заключаются в том, что ими будут злоупотреблять или использовать не по назначению, что может привести к реальному вреду.
«Если эта так называемая «эмоциональная идентификация» построена на псевдонаучных предположениях, есть серьезные последствия в том, как эта возможность может быть использована для дальнейшей — и ложной — дискриминации маргинализированных групп, например, в правоохранительных органах, кадровом обеспечении, пограничном управлении и и так далее», — сказал Хлааф.
Отвечая на вопрос об опасностях публичного выпуска PaliGemma 2, представитель Google заявил, что компания поддерживает свои тесты на «репрезентативный вред», поскольку они связаны с визуальными ответами на вопросы и субтитрами. «Мы провели тщательную оценку моделей PaliGemma 2 в отношении этики и безопасности, включая безопасность детей и безопасность контента», — добавили они.
Наблюдатель не уверен, что этого достаточно.
«Ответственные инновации означают, что вы думаете о последствиях с первого дня входа в лабораторию и продолжаете делать это на протяжении всего жизненного цикла продукта», — сказала она. «Я могу придумать множество потенциальных проблем (с такими моделями), которые могут привести к антиутопическому будущему, где ваши эмоции будут определять, получите ли вы работу, кредит и поступите ли вы в университет».
