Генеративный ИИ имеет множество хорошо задокументированных злоупотреблений: от написания научных статей до копирования художников. И теперь, похоже, это проявляется в операциях государственного влияния.
Согласно недавнему отчету базирующейся в Массачусетсе компании по анализу угроз Recorded Future, одной из недавних кампаний «весьма вероятно» помогли коммерческие продукты для генерации голоса на базе искусственного интеллекта, в том числе технологии, публично выпущенные популярным стартапом ElevenLabs.
В докладе описывается связанная с Россией кампания, призванная подорвать поддержку Украины Европой, получившая название «Операция «Подрез»», в ходе которой широко использовалась закадровая речь, генерируемая искусственным интеллектом, в фейковых или вводящих в заблуждение «новостных» видеороликах.
Видео, ориентированные на европейскую аудиторию, среди прочего, содержали нападки на украинских политиков как коррумпированных или ставили под сомнение полезность военной помощи Украине. Например, в одном видео рекламировалось, что «даже глушители не могут спасти американские танки «Абрамс»», имея в виду устройства, используемые американскими танками для отклонения приближающихся ракет, что подкрепляло точку зрения о том, что отправка высокотехнологичной бронетехники на Украину бессмысленна.
В отчете говорится, что создатели видео «весьма вероятно» использовали голосовой ИИ, в том числе технологию ElevenLabs, чтобы сделать свой контент более легитимным. Чтобы убедиться в этом, исследователи Recorded Future отправили клипы в собственный классификатор речи AI ElevenLabs, который предоставляет возможность каждому «определить, был ли аудиоклип создан с помощью ElevenLabs», и получили совпадение.
ElevenLabs не ответила на запросы о комментариях. Хотя Recorded Future отметила вероятное использование нескольких коммерческих инструментов генерации голоса на базе искусственного интеллекта, она не назвала никаких других, кроме ElevenLabs.
Полезность генерации голоса с помощью искусственного интеллекта была непреднамеренно продемонстрирована организаторами кампании влияния, которые – довольно небрежно – выпустили несколько видеороликов с реальными человеческими голосами, которые имели «заметный русский акцент». Напротив, закадровый голос, сгенерированный ИИ, говорил на нескольких европейских языках, таких как английский, французский, немецкий и польский, без иностранного акцента.
По данным Recorded Future, искусственный интеллект также позволил быстро выпустить вводящие в заблуждение клипы на нескольких языках, на которых говорят в Европе, таких как английский, немецкий, французский, польский и турецкий (кстати, все языки, поддерживаемые ElevenLabs).
Recorded Future приписал эту деятельность Агентству социального дизайна, российской организации, на которую правительство США наложило санкции в марте этого года за управление «сетью из более чем 60 веб-сайтов, которые выдавали себя за подлинные новостные организации в Европе, а затем использовали фиктивные аккаунты в социальных сетях, чтобы усилить вводящую в заблуждение информацию». содержание поддельных веб-сайтов». Все это делалось «от имени правительства Российской Федерации», заявили тогда в Госдепартаменте США.
Общее влияние кампании на общественное мнение в Европе было минимальным, заключил Recorded Future.
Это не первый случай, когда продукты ElevenLabs обвиняются в неправильном использовании. По данным Bloomberg, технология компании легла в основу звонка робота, выдававшего себя за президента Джо Байдена, который призывал избирателей не выходить на улицу и голосовать во время первичных выборов в январе 2024 года, пришла к выводу компания по обнаружению голосового мошенничества, по данным Bloomberg. В ответ ElevenLabs заявила, что выпустила новые функции безопасности, такие как автоматическая блокировка голосов политиков.
ElevenLabs запрещает «несанкционированное, вредоносное или вводящее в заблуждение выдачу себя за другое лицо» и заявляет, что для обеспечения этого использует различные инструменты, такие как автоматическая и ручная модерация.
ElevenLabs пережила взрывной рост с момента своего основания в 2022 году. Недавно ее ARR выросла до $80 млн с $25 млн меньше, чем годом ранее, и вскоре может быть оценена в $3 млрд, как ранее сообщал TechCrunch. В число его инвесторов входят Андреессен Горовиц и бывший генеральный директор Github Нат Фридман.
