В четверг OpenAI выпустила чат-бота, который стоит 200 долларов в месяц, и сообщество ИИ не совсем знало, что с ним делать.
Новый план компании ChatGPT Pro предоставляет доступ к «режиму o1 pro», который, по словам OpenAI, «использует больше вычислений для получения лучших ответов на самые сложные вопросы». Усовершенствованная версия модели рассуждения o1 OpenAI, режим o1 pro должен отвечать на вопросы, связанные с наукой, математикой и программированием, более «надежно» и «всесторонне», говорит OpenAI.
Почти сразу люди начали просить его нарисовать единорогов:
Я попросил ChatGPT o1 Pro Mode создать SVG-изображение единорога.
(Это модель, к которой вы получаете доступ за 200 долларов в месяц) pic.twitter.com/h9HwY3aYwU
— Рамми (@rammydev) 5 декабря 2024 г.
И спроектируем компьютер «на базе краба»:
Наконец-то ставим o1-pro в его окончательный вариант использования. pic.twitter.com/nX4JAjx71m
— Итан Моллик (@emollick) 6 декабря 2024 г.
И поэтично рассуждать о смысле жизни:
Я только что подписался на подписку OpenAI за 200 долларов в месяц.
Ответьте на вопросы, и я опубликую их в этой теме. pic.twitter.com/oTQxbPxnoP— Гаррет Скотт 🕳 (@thegarrettscott) 5 декабря 2024 г.
Но многие люди на X, похоже, не были убеждены, что ответы в режиме o1 pro были ну, ну, на уровне 200 долларов.
«Поделился ли OpenAI какими-либо конкретными примерами подсказок, которые не работают в обычном o1, но работают в o1-pro?» — спросил британский ученый-компьютерщик Саймон Уиллисон. «Я хочу увидеть хоть один конкретный пример, показывающий его преимущество».
Это разумный вопрос; в конце концов, это самая дорогая подписка на чат-бот в мире. У услуги есть и другие преимущества, такие как снятие ограничений по скорости и неограниченный доступ к другим моделям OpenAI. Но 2400 долларов в год — это не мелочь, и ценностное предложение режима o1 pro, в частности, остается неясным.
Поиск случаев отказа не занял много времени. Режим O1 Pro борется с судоку, и его сбивает с толку шутка об оптической иллюзии, очевидная для любого человека.
o1 и o1-pro оба здесь потерпели неудачу, вероятно, все же из-за ограничений зрения (то же самое и с судоку) pic.twitter.com/O9boSv7ZGt
— Тибор Блахо (@btibor91) 5 декабря 2024 г.
Внутренние тесты OpenAI показывают, что режим o1 pro лишь немного лучше стандартного o1 при решении задач по программированию и математическим вычислениям:
OpenAI провела «более строгую» оценку по тем же тестам, чтобы продемонстрировать последовательность режима o1 pro: модель считалась решившей вопрос только в том случае, если она давала правильный ответ четыре раза из четырех. Но даже в этих тестах улучшения не были значительными:
Генеральный директор OpenAI Сэм Альтман, который однажды написал, что OpenAI находится на путь «В сторону интеллекта, слишком дешевого для измерения», в четверг был вынужден несколько раз уточнить, что ChatGPT Pro не подходит большинству людей.
«Большинство пользователей будут очень довольны o1 на уровне (ChatGPT) Plus!» — сказал он на X. «Почти всем будет лучше всего обслуживаться на нашем бесплатном уровне или уровне Plus».
Так для кого это? Есть ли на самом деле люди, готовые платить 200 долларов в месяц за то, чтобы задавать игрушечные вопросы типа «Напишите эссе из трех абзацев о клубнике, не используя букву «е»» или «решите эту олимпиадную задачу по математике»? Смогут ли они с радостью расстаться со своими кровно заработанными деньгами без особой гарантии, что стандартный o1 не сможет удовлетворительно ответить на те же вопросы?
Я спросил Амита Талвалкара, доцента кафедры машинного обучения в Карнеги-Меллон и венчурный партнер Amplify Partners, по его мнению. «Мне кажется большим риском поднять цену в десять раз», — сказал он TechCrunch по электронной почте. «Я думаю, что всего через несколько недель мы гораздо лучше поймем потребность в этой функциональности».
Ученый-компьютерщик Калифорнийского университета в Лос-Анджелесе Гай Ван ден Брук был более откровенен в своей оценке. «Я не знаю, имеет ли смысл такая цена, — сказал он TechCrunch, — и станут ли дорогие модели рассуждения нормой».
o1 «лучше большинства людей справляется с большинством задач», потому что да, люди существуют исключительно в амнестических бестелесных многоповоротных чат-интерфейсах https://t.co/zbLY2BG5pQ
— Эйдан Маклау (@aidan_mclau) 6 декабря 2024 г.
Щедрое мнение состоит в том, что это маркетинговая ошибка. Описание режима o1 pro как лучшего решения «самых сложных проблем» мало что говорит потенциальным клиентам. Равно как и расплывчатые заявления о том, что модель может «думать дольше» и демонстрировать «интеллект». Как отмечает Уиллисон, без конкретных примеров этих якобы улучшенных возможностей трудно вообще оправдать платить больше, не говоря уже о десятикратной цене.
Насколько я могу судить, целевой аудиторией являются эксперты в специализированных областях. OpenAI заявляет, что планирует предоставить нескольким медицинским исследователям из «ведущих учреждений» бесплатный доступ к ChatGPT Pro, который будет включать режим o1 pro. Ошибки имеют большое значение в здравоохранении, и, как отметил на X Боб МакГрю, бывший главный научный сотрудник OpenAI, повышенная надежность, возможно, является главным преимуществом режима o1 pro.
Немного поиграл с o1 и o1-pro.
Они очень хорошие и немного странные. Большую часть времени они также не подходят большинству людей. Вам действительно нужно решить определенные трудные проблемы, чтобы извлечь из этого пользу. Но если у вас есть такие проблемы, это очень важно.
— Итан Моллик (@emollick) 5 декабря 2024 г.
МакГрю также отметил, что режим o1 pro является примером того, что он называет «навесом интеллекта»: пользователи (и, возможно, создатели модели) не знают, как получить пользу от любого «дополнительного интеллекта» из-за фундаментальных ограничений простого текстового интерфейса. . Как и в случае с другими моделями OpenAI, единственный способ взаимодействия с режимом o1 pro — через ChatGPT, и, по мнению МакГрю, ChatGPT не идеален.
Однако верно и то, что 200 долларов устанавливают высокие ожидания. И, судя по первым отзывам в социальных сетях, ChatGPT Pro не является провалом.
