Это неделя для небольших моделей ИИ, кажется.
В четверг AI2, некоммерческий исследовательский институт ИИ, выпустил OLMO 2 1B, модель на 1 миллиард параметра, которую утверждает AI2, превосходит модели аналогичного размера от Google, Meta и Alibaba на нескольких эталонах. Параметры, иногда называемые весами, являются внутренними компонентами модели, которая направляет ее поведение.
OLMO 2 1B доступен по разрешающей лицензии Apache 2.0 на платформе AI DEV, обнимающего лицо. В отличие от большинства моделей, OLMO 2 1B может быть воспроизведен с нуля; AI2 предоставил наборы кода и данных (OLMO-MIX-1124, Dolmino-Mix-1124), используемые для его разработки.
Небольшие модели могут быть не такими способными, как их коллеги -бегемот, но, что важно, они не требуют мусорального оборудования для запуска. Это делает их гораздо более доступными для разработчиков и любителей, борющихся с ограничениями более низких и потребительских машин.
За последние несколько дней было множество небольших модельных запуска, от семейства PHI 4 Microsoft PHI 4 до 2,5 Omni 3B от QWEN. Большинство из них — и Olmo 2 1B — могут легко работать на современном ноутбуке или даже на мобильном устройстве.
AI2 говорит, что OLMO 2 1B обучался наборе данных из 4 триллионов токенов из общедоступных, сгенерированных AI и созданных вручную источников. Токены — это необработанные кусочки моделей данных, проглатывающие и генерирующие — 1 миллион токенов эквивалентны около 750 000 слов.
На эталонном измерении арифметических рассуждений GSM8K, OLMO 2 1B баллы лучше, чем Google Gemma 3 1B, Meta's Llama 3.2 1B и QWEN Alibaba 2,5 1,5B. OLMO 2 1B также затмевает производительность этих трех моделей на Trildfulqa, тестирование для оценки фактической точности.
Мероприятие TechCrunch
Беркли, Калифорния
|
5 июня
Забронируйте сейчас
Однако AI2 предупреждает, что OLMO 2 1B несет риски. Как и все модели искусственного интеллекта, он может создавать «проблемные выходы», включая вредное и «конфиденциальное» содержание, говорится в организации, а также фактически неточные заявления. По этим причинам AI2 рекомендует развернуть OLMO 2 1B в коммерческих условиях.
