OpenAI сократила время и ресурсы, которые он тратит на тестирование безопасности своих мощных моделей искусственного интеллекта, вызывая обеспокоенность тем, что его технология вытесняется без достаточных гарантий.
Сотрудники и сторонние группы недавно получили всего несколько дней для проведения «оценки», и термин, данное тестам для оценки рисков и эффективности моделей, на последних крупных языковых моделях Openai по сравнению с несколькими месяцами ранее.
Согласно восьми человек, знакомыми с процессами тестирования Openai, тесты стартапа стали менее тщательными, с недостаточным временем и ресурсами, посвященными определению и смягчению рисков, поскольку стартап в 300 млрд долларов подвергается давлению, чтобы быстро выпустить новые модели и сохранить свое конкурентное преимущество.
«У нас было более тщательное тестирование на безопасность, когда (технология) было менее важным»,-сказал один человек, в настоящее время тестируя предстоящую модель O3 O3, предназначенную для сложных задач, таких как решение проблем и рассуждения.
Они добавили, что по мере того, как LLM становятся более способными, «потенциальная вооружение» технологии увеличивается. «Но поскольку на это больше требований, они хотят быстрее.
По словам людей, знакомых с этим вопросом, Crunch был обусловлен «конкурентным давлением», так как Openai участвует в гонках с крупными технологическими группами, такими как Meta и Google, и стартапы, включая Xai Elon Musk, чтобы заработать на передовых технологиях.
Глобального стандарта для испытаний на безопасность искусственного интеллекта не существует, но с конца этого года Закон об искусственном интеллекте ЕС заставит компании провести тесты безопасности на своих самых мощных моделях. Ранее группы ИИ, в том числе OpenAI, подписали добровольные обязательства с правительствами в Великобритании и США, чтобы позволить исследователям в институтах безопасности ИИ проходить тестирование моделей.
OpenAI стремится выпустить свою новую модель O3 уже на следующей неделе, предоставив некоторым тестерам менее недели для их проверки безопасности, по словам людей, знакомых с этим вопросом. Эта дата выпуска может быть подлежит изменению.
Ранее Openai разрешал несколько месяцев для испытаний на безопасность. Для GPT-4, который был запущен в 2023 году, у тестеров было шесть месяцев для проведения оценки до того, как они были выпущены, по словам людей, знакомых с этим вопросом.
Один человек, который проверил GPT-4, сказал, что некоторые опасные возможности были обнаружены всего через два месяца в тестировании. «Они просто не приоритет общественной безопасности», — сказали они о текущем подходе Openai.
«Нет никаких регулирования, в которых говорится, что (компании) должны информировать общественность обо всех страшных возможностях … а также они находятся под сильным давлением, чтобы гоноваться друг с другом, поэтому они не собираются делать их более способными»,-сказал Даниэль Кокотаджло, бывший исследователь Openai, который в настоящее время возглавляет некоммерческий проект Futures AI.
Ранее OpenAI стремился создать индивидуальные версии своих моделей для оценки потенциального неправильного использования, например, может ли его технология помочь сделать биологический вирус более трансмиссивным.
Подход включает в себя значительные ресурсы, такие как сборка наборов данных специализированной информации, такой как вирусология, и подача ее модели для обучения ее в технике, называемой тонкой настройкой.
Но OpenAI сделал только ограниченным образом, решив точно настроить более старую, менее способную модель, а не более мощную и продвинутую.
Отчет о безопасности и производительности стартапа на O3-Mini, ее меньшей модели, опубликованной в январе, ссылается на то, как его более ранняя модель GPT-4O смогла выполнить определенную биологическую задачу только в том случае, когда он настраивается. Тем не менее, OpenAI никогда не сообщал, как его более новые модели, такие как O1 и O3-Mini, также будут забить, если они будут настраивать.
«Это отличный Openai, установивший такую высокую планку, посвященной тестированию индивидуальных версий своих моделей. Но если это не выполняет эту обязательства, общественность заслуживает знать», — сказал Стивен Адлер, бывший исследователь безопасности Openai, который написал блог по этой теме.
«Не проведение таких тестов может означать OpenAI, а другие компании по искусству недооценивают наихудшие риски их моделей», — добавил он.
Люди, знакомые с такими тестами, сказали, что они несут огромные затраты, такие как найм внешних экспертов, создание конкретных наборов данных, а также использование внутренних инженеров и вычислительной мощности.
Openai заявила, что повысил эффективность в своих процессах оценки, включая автоматические тесты, которые привели к сокращению сроков. Он добавил, что не было согласованного рецепта для таких подходов, как точная настройка, но было уверено, что его методы были лучшими, которые он мог сделать, и были сделаны прозрачными в своих отчетах.
Он добавил, что модели, особенно для катастрофических рисков, были тщательно протестированы и смягчены для безопасности.
«У нас есть хороший баланс того, как быстро мы движемся и насколько мы тщательны», — сказал Йоханнес Хайдеке, глава отдела систем безопасности.
Еще одна проблема заключалась в том, что тесты безопасности часто не проводятся на окончательных моделях, выпущенных для общественности. Вместо этого они выполняются на более ранних так называемых контрольных точках, которые впоследствии обновляются для повышения производительности и возможностей, при этом «почти финальные» версии, ссылаемые в отчетах о безопасности системы Openai.
«Плохая практика выпустить модель, которая отличается от той, которую вы оценили», — сказал бывший технический сотрудник Openai.
Openai сказал, что контрольно -пропускные пункты были «в основном идентичны» к тому, что было запущено в конце.
