Бывший инженер Google и влиятельный исследователь искусственного интеллекта Франсуа Шолле становится соучредителем некоммерческой организации, которая помогает разрабатывать тесты, которые будут проверять искусственный интеллект на «человеческом уровне».
Некоммерческую организацию ARC Prize Foundation возглавит Грег Камрадт, бывший технический директор Salesforce и основатель студии продуктов искусственного интеллекта Leverage. Камрадт будет президентом и членом правления.
«(Мы) превращаемся… в полноценный некоммерческий фонд, который будет действовать как полезная полярная звезда в отношении общего искусственного интеллекта», — написал Шолле в сообщении на веб-сайте некоммерческой организации. (Общий искусственный интеллект — расплывчатый термин, но под ним обычно понимают ИИ, который может выполнять большинство задач, доступных человеку.) «(Мы) пытаемся стимулировать прогресс, увеличивая (разрыв) в базовых человеческих способностях».
Фонд ARC Prize Foundation расширит ARC-AGI, тест, разработанный Шолле для оценки того, может ли система ИИ эффективно приобретать новые навыки за пределами данных, на которых она обучалась.
В 2019 году Шолле представила ARC-AGI, сокращение от «Абстрактный и логический корпус для общего искусственного интеллекта». Многие системы искусственного интеллекта могут успешно сдать экзамены на олимпиаде по математике и найти потенциальные решения задач на уровне докторской степени. Но до этого года самый эффективный ИИ мог решить лишь чуть менее трети задач ARC-AGI.
«В отличие от большинства передовых тестов ИИ, мы не пытаемся измерить риск ИИ с помощью сверхчеловеческих экзаменационных вопросов», — написал Шолле в своем посте. «Будущие версии теста ARC-AGI будут сосредоточены на сокращении разрыва (человеческих возможностей) до нуля».
ARC-AGI состоит из задач, похожих на головоломки, в которых ИИ должен сгенерировать правильную сетку «ответов» из набора квадратов разного цвета. Проблемы были созданы для того, чтобы заставить ИИ адаптироваться к новым проблемам, с которыми он раньше не сталкивался.
В июне прошлого года Шолле и соучредитель Zapier Майк Кнуп объявили конкурс на создание искусственного интеллекта, способного превзойти ARC-AGI. Неизданная модель o3 от OpenAI была первой, получившей квалификационный балл, но только благодаря необычайной вычислительной мощности.
Шолле ясно дал понять, что у ARC-AGI есть недостатки — многие модели смогли добиться высоких результатов методом грубой силы — и что он не верит, что o3 обладает интеллектом человеческого уровня.
«(П)ранние данные позволяют предположить, что предстоящий тест (преемник ARC-AGI) по-прежнему будет представлять собой серьезную проблему для o3, потенциально снижая его оценку до менее 30% даже при высоких вычислительных нагрузках (в то время как умный человек все равно сможет набрать более 95% без какой-либо подготовки)», — заявил Шолле в своем заявлении в декабре прошлого года. «Вы узнаете, что общий искусственный интеллект уже здесь, когда создание задач, простых для обычных людей, но сложных для ИИ, станет просто невозможным».
Кнооп говорит, что в этом году планируется запустить тест ARC-AGI второго поколения одновременно с новым соревнованием. Некоммерческая организация также приступит к разработке третьего издания ARC-AGI.
Еще неизвестно, как Фонд премии ARC отреагирует на критику, с которой Шолле столкнулся за переоценку ARC-AGI как ориентира на пути к достижению AGI. Само определение ОИИ сейчас является предметом жарких споров; один из сотрудников OpenAI недавно заявил, что AGI «уже» достигнут, если определить AGI как ИИ, «лучше, чем большинство людей в большинстве задач».
Интересно, что генеральный директор OpenAI Сэм Альтман заявил в декабре, что компания намерена сотрудничать с командой ARC-AGI для создания будущих тестов. В сегодняшнем заявлении Шолле не сообщил никакой информации о возможном партнерстве.
