Openai, как и многие лаборатории ИИ, думает, что тесты ИИ сломаны. Он говорит, что хочет исправить их с помощью новой программы.
Программа, называемая программой Poneers Openai, будет сосредоточена на создании оценок для моделей искусственного интеллекта, которые «устанавливают планку на то, как выглядит хорошо», как это было в сообщении Openai в сообщении в блоге.
«Поскольку темпы принятия ИИ ускоряются в разных отраслях, необходимо понимать и улучшать его влияние на мир», — продолжила компания в своем посте. «Создание эвал, специфичных для домена, является одним из способов, чтобы лучше отражать реальные варианты использования, помогая группам оценить производительность модели в практических средах с высокими ставками».
Как показывает недавнее противоречие с краудсорсинговой эталоной LM Arena и Meta Maverick Model, в наши дни трудно узнать, что именно отличает одну модель от другой. Многие широко используемые показатели ИИ измеряют эффективность по эзотерическим задачам, таким как решение математических задач на уровне доктора. Другие могут быть гамед или плохо соответствовать предпочтениям большинства людей.
В рамках программы Pioneers OpenAI надеется создать ориентиры для конкретных доменов, таких как юридические, финансы, страхование, здравоохранение и бухгалтерский учет. В лаборатории говорится, что в ближайшие месяцы она будет работать с «несколькими компаниями» для разработки индивидуальных тестов и в конечном итоге публично разделять эти критерии, а также «отраслевые» оценки.
«Первая когорта будет сосредоточена на стартапах, которые помогут заложить основы программы Pionai Pioneers», — написал Openai в сообщении в блоге. «Мы выбираем несколько стартапов для этой первоначальной когорты, каждая из которых работает над высокими ценами, применяемыми вариантами использования, когда ИИ может оказать реальное воздействие».
По словам Openai, компании в программе также будут иметь возможность работать с командой Openai для создания улучшений моделей с помощью подкрепления Fine Tuning, метода, которая оптимизирует модели для узкого набора задач.
Большой вопрос заключается в том, будет ли сообщество ИИ охватить тесты, чье создание финансировалось OpenAI. OpenAI поддержал финансовые усилия в финансовом отношении и разработала свои собственные оценки. Но партнерство с клиентами для выпуска тестов искусственного интеллекта может рассматриваться как этический мост слишком далеко.
