Parment.ai, ведущая платформа для общения и ролевой игры с персонажами, сгенерированными AI, представила свою предстоящую модель генерации видео Avatarfx во вторник. Доступная в закрытой бета-версии, модель анимирует персонажей платформы в различных стилях и голосах, от персонажей, похожих на человека до 2D мультфильмов животных.
Avatarfx отличается от конкурентов, таких как Sora Openai, потому что это не исключительно генератор текста к Video. Пользователи также могут генерировать видео из ранее существовавших изображений, позволяя пользователям анимировать фотографии реальных людей.
Сразу же очевидно, что этот вид технологий может быть использован для злоупотреблений-пользователи могут загружать фотографии знаменитостей или людей, которых они знают в реальной жизни, и создать реалистично выглядящие видео, в которых они делают или говорят что-то компрометирующее. Технология для создания убедительных глубоких чертов уже существует, но включает ее в популярные потребительские продукты, такие как персонаж. AI только усугубляет потенциал для ее использования безответственно.
Мы обратились к персонажу.ai для комментариев.
Характер.ai уже сталкивается с проблемами с безопасностью на своей платформе. Родители подали судебные иски против компании, утверждая, что ее чат-боты поощряют своих детей к себе, чтобы убить себя или убить своих родителей.
В одном случае четырнадцатилетний мальчик умер по самоубийству после того, как он, по сообщениям, установил одержимые отношения с ботом ИИ на характере. Незадолго до своей смерти он открыл ИИ о том, чтобы иметь мысли о самоубийстве, и ИИ побудил его выполнить этот акт, согласно судебным заявкам.
Это экстремальные примеры, но они показывают, как люди могут эмоционально манипулировать чат -ботами ИИ только через текстовые сообщения. С включением видео отношения, которые люди имеют с этими персонажами, могут чувствовать себя еще более реалистичными.
Характер.ai ответил на обвинения против него, создав родительский контроль и дополнительные гарантии, но, как и в случае любого приложения, элементы управления эффективны только тогда, когда они фактически используются. Часто дети используют технологии так, как их родители не знают.
