Исследователи Microsoft утверждают, что они разработали крупнейшую 1-битную модель ИИ, также известную как «Bitnet», на сегодняшний день. Названный Bitnet B1.58 2B4T, он открыто доступен по лицензии MIT и может работать на процессорах, включая Apple M2.
Биттаны — это по существу сжатые модели, предназначенные для работы на легком оборудовании. В стандартных моделях веса, значения, которые определяют внутреннюю структуру модели, часто являются Квантовые, чтобы модели работали хорошо на широком спектре машин. Квантование веса снижает количество битов — самые маленькие единицы, которые могут обрабатывать компьютер — необходимые для представления этих весов, что позволяет моделям работать на чипах с меньшим количеством памяти, быстрее.
Bitnets квантовые веса всего за три значения: -1, 0 и 1. Теоретически, что делает их гораздо более эффективными памятью и вычислительными, чем большинство моделей сегодня.
Исследователи Microsoft говорят, что Bitnet B1.58 2B4T — это первый BitNet с 2 миллиардами параметров, «параметры» в значительной степени являются синонимом «веса». Исследователи утверждают, что обучение на наборе данных из 4 токенов — эквивалент около 33 миллионов книг, по одной оценке — Bitnet B1.58 2B4T превосходит традиционные модели аналогичных размеров.
Bitnet B1.58 2B4T не подметает пол моделями соперника 2 миллиарда параметра, но, по-видимому, он имеет свои собственные. Согласно тестированию исследователей, модель превосходит Meta's Llama 3.2 1B, Google Gemma 3 1B и QWEN Alibaba 2,5 1,5B на критериях, включая GSM8K (коллекция задач математики на уровне классов) и PIQA (которые проверяют физические навыки причинах общих причин).
Возможно, более впечатляюще, Bitnet B1.58 2B4T является более быстрым, чем другие модели его размера — в некоторых случаях, вдвое больше — при использовании доли памяти.
Однако есть улов.
Достижение этой производительности требует использования пользовательской структуры Microsoft, bitnet.cpp, которая в настоящее время работает только с определенным оборудованием. В списке поддерживаемых чипов отсутствуют графические процессоры, которые доминируют в ландшафте инфраструктуры ИИ.
Это все, что может сказать, что биттаны могут иметь обещание, особенно для устройств с ограниченными ресурсами. Но совместимость — и, скорее всего, останется — большая точка прилипания.
