Во время недавнего появления в прессе генеральный директор Openai Сэм Альтман сказал, что за последние несколько лет он наблюдал «IQ» ИИ быстро улучшенного.
«Очень грубо, мне кажется — это не точнее, это просто атмосфера или духовный ответ — каждый год мы перемещаем одно стандартное отклонение IQ», — сказал Альтман.
Альтман не первый, кто использует IQ, оценку интеллекта человека, в качестве эталона для AI прогресса. Влияние ИИ в социальных сетях дало модели тесты IQ и оценили результаты.
Но многие эксперты говорят, что IQ является плохой мерой возможностей модели — и вводящей в заблуждение.
«Может быть очень заманчиво использовать те же меры, которые мы используем для людей для описания возможностей или прогресса, но это все равно, что сравнивать яблоки с апельсинами», — сказала TechCrunch Сандра Вахтер, исследователь, изучающий технологии и регулирование в Оксфорде.
В своих комментариях в прессе Альтман приравнивал IQ с интеллектом. Все же тесты IQ являются относительными — не объективными — показателями определенный виды интеллекта. Существует некоторый консенсус, что IQ является разумным испытанием логики и абстрактных рассуждений. Но это не измеряется практичный Интеллект — зная, как заставить вещи работать — и в лучшем случае это снимок.
«IQ — это инструмент для измерения человеческих возможностей — оспариваемых, не менее — основанный на том, как ученые считают, что человеческий интеллект выглядит», — отметил Вахтер. «Но вы не можете использовать ту же меру для описания возможностей ИИ. Автомобиль быстрее, чем люди, а подводная лодка лучше в дайвингах. Но это не означает, что автомобили или подводные лодки превосходят человеческий интеллект. Вы имеете в курсе одного аспекта производительности с человеческим интеллектом, что гораздо сложнее ».
Чтобы преуспеть в тесте IQ, происхождение которого некоторые историки отслеживают евгенику, широко дискредитированную научную теорию о том, что люди могут быть улучшены благодаря селективному размножению, у игрока тестирования должны быть сильная рабочая память и знание западных культурных норм. Конечно, это предлагает возможность для предвзятости, поэтому один психолог назвал IQ -тесты «идеологически коррупционными механическими моделями» интеллекта.
То, что модель может преуспеть в тесте IQ, указывает больше на недостатки теста, чем производительность модели, по словам OS Keyes, кандидата в докторскую степень в Вашингтонском университете, изучающем этический ИИ.
«(Эти) тесты довольно просты в игре, если у вас практически бесконечное количество памяти и терпения», — сказал Киз. «Тесты IQ — это очень ограниченный способ измерения познания, чувства и интеллекта, что мы знали до того, как до изобретения самого цифрового компьютера».
У AI, вероятно, также есть несправедливое преимущество в тестах IQ, учитывая, что модели имеют огромное количество памяти и интернализованные знания в их распоряжении. Часто модели обучаются общедоступным веб -данным, а Интернет полон примеров вопросов, взятых из тестов IQ.
«Тесты, как правило, повторяют очень похожие шаблоны — довольно надежный способ повышения IQ — это попрактиковаться в прохождении тестов IQ, что по сути является тем, что делала каждая (модель)», — сказал Майк Кук, научный сотрудник King's College London, специализирующийся на искусственном интеллекте Полем «Когда я чему -то узнаю, я не попадаю в свой мозг с идеальной ясностью 1 миллион раз, в отличие от ИИ, и я не могу обработать его без шума или потери сигнала».
В конечном счете, IQ-тесты-предвзятыми, какими бы они ни были, были разработаны для людей, добавил Кук-предназначенные как способ оценки общих способностей решения проблем. Они неуместны для технологии, которая подходит к решению проблем, совершенно иначе, чем люди.
«Ворона может использовать инструмент для восстановления лакомства из коробки, но это не значит, что она может поступить в Гарвард», — сказал Кук. «Когда я решаю проблему математики, мой мозг также борется со своей способностью правильно читать слова на странице, чтобы не думать о покупках, которые мне нужно делать по дороге домой, или если сейчас слишком холодно в комнате Полем Другими словами, человеческие мозги борются с гораздо большим количеством вещей, когда они решают проблему — любую проблему вообще, IQ -тесты или иным образом — и они делают это с гораздо меньшей помощью (чем AI) ».
Все это указывает на необходимость лучших тестов искусственного интеллекта, рассказала Heidy Khlaaf, руководитель AI Institute Institute, рассказала TechCrunch.
«В истории вычислений мы не сравнивали вычислительные способности с людьми людей именно потому, что природа вычислений означает, что системы всегда могли выполнять задачи, уже за пределами человеческих способностей», — сказал Хлааф. «Эта идея о том, что мы напрямую сравниваем эффективность систем с человеческими способностями, является недавним явлением, которое сильно оспаривается, и то, что окружает противоречие постоянно расширяющихся-и движущихся критериев, создаваемых для оценки систем ИИ».
