Всего через неделю после того, как DeepSeek выпустила свою модель AI R1 «Рассуждение», которая привела рынки в тиззи — исследователи в обнимании лица пытаются повторить модель с нуля в том, что они называют «открытыми знаниями».
Объятие главы исследования Leandro von Werra и несколько инженеров компании запустили Open-R1, проект, который стремится создать дубликат R1 и открытый исходный коэффициент всех своих компонентов, включая данные, используемые для его обучения.
Инженеры сказали, что они были вынуждены действовать по философии выпуска «черного ящика» Deepseek. Технически, R1 является «открытым» в том смысле, что модель допустимо лицензирована, что означает, что ее можно развернуть в основном без ограничений. Тем не менее, R1 не «с открытым исходным кодом» по общепринятому определению, потому что некоторые из инструментов, используемых для его построения, окутаны загадкой. Как и многие высокопоставленные компании ИИ, Deepseek не хочет раскрывать свой секретный соус.
«Модель R1 впечатляет, но нет открытых наборов данных, деталей эксперимента или доступных промежуточных моделей, что затрудняет репликацию и дальнейшие исследования»,-сказал TechCrunch, что Эли Бакуш, один из инженеров с обнимающими лицами в проекте Open-R1. «Полная полная архитектура R1 с открытым исходным кодом-это не только прозрачность-это раскрытие его потенциала».
Не так открыто
Deepseek, китайская лаборатория ИИ, частично финансируемая количественным хедж -фондом, выпустил R1 на прошлой неделе. На ряде критериев R1 совпадает — и даже превосходит — производительность модели рассуждения OPEAI O1.
Будучи моделью рассуждений, R1 эффективно проверяет факты, что помогает ей избежать некоторых ловушек, которые обычно сбивают модели. Модели рассуждений занимают немного больше времени-обычно до минуты дольше-чтобы прийти к решениям по сравнению с типичной моделью, не являющейся рычагом. Плюсом является то, что они, как правило, более надежны в таких областях, как физика, наука и математика.
R1 ворвался в основное сознание после приложения Deepseek's Chatbot, которое обеспечивает бесплатный доступ к R1, поднялся на вершину диаграмм Apple App Store. Скорость и эффективность, с которой был разработан R1 — Deepseek выпустил модель всего через несколько недель после того, как Openai выпустил O1 — заставили многих аналитиков и технологов Уолл -стрит задаться вопросом, смогут ли США поддерживать свое лидерство в гонке ИИ.
Проект Open-R1 меньше обеспокоен доминированием ИИ, чем «полностью открыть черный ящик модельной обучения»,-сказал Бакуш TechCrunch. Он отметил, что, поскольку R1 не был выпущен с учебным кодом или инструкциями по обучению, сложно подробно изучить модель — гораздо меньше направить его поведение.
«Управление набором и процессом данных имеет решающее значение для развертывания модели ответственно в конфиденциальных областях», — сказал Бакуш. «Это также помогает в понимании и устранении смещений в модели. Исследователи требуют больше, чем фрагменты (…), чтобы раздвинуть границы того, что возможно ».
Шаги к репликации
Целью проекта Open-R1 является воспроизведение R1 в течение нескольких недель, частично полагаясь на научный кластер Hugging Face, специализированный сервер исследований с 768 графическими процессорами NVIDIA H100.
Инженеры -инженеры с обнимающимися лицами планируют использовать научный кластер, чтобы создать наборы данных, аналогичные тем, которые DeepSeek, используемые для создания R1. Чтобы построить тренировочный трубопровод, команда обращается за помощью к ИИ и более широким техническим сообществам по обниманию лица и GitHub, где проводится проект Open-R1.
«Мы должны убедиться, что мы внедрим алгоритмы и рецепты (правильно)», — сказал фон Верра, — но это то, что усилия сообщества идеально подходят для решения, где вы получаете как можно больше взглядов на проблему ».
Уже есть большой интерес. Проект Open-R1 набрал 10 000 звезд всего за три дня на GitHub. Звезды — это способ для пользователей GitHub указать, что им нравится проект или считают его полезным.
По словам Бакуш, если проект Open-R1 будет успешным, исследователи искусственного интеллекта смогут построить на вершине тренировочного трубопровода и работать над разработкой моделей рассуждений с открытым исходным кодом. Он надеется, что проект Open-R1 не только даст сильную репликацию с открытым исходным кодом R1, но и основу для лучших моделей.
«Вместо того, чтобы быть игрой с нулевой суммой, разработка с открытым исходным кодом сразу приносит пользу всем, включая The Frontier Labs и модельных поставщиков, поскольку все они могут использовать одни и те же инновации»,-сказал Бакуш.
В то время как некоторые эксперты по искусственному искусству выразили обеспокоенность по поводу возможности злоупотребления ИИ с открытым исходным кодом, Бакуш считает, что преимущества перевешивают риски.
«Когда рецепт R1 был воспроизведен, любой, кто может арендовать некоторые графические процессоры, может построить свой собственный вариант R1 с помощью собственных данных, еще больше рассеяв технологию», — сказал он. «Мы очень рады недавним выпускам с открытым исходным кодом, которые укрепляют роль открытости в ИИ. Это важный сдвиг для области, который меняет повествование о том, что только несколько лабораторий способны добиться прогресса, и этот открытый исходный код отстает ».
