Стартап PrismML официально анонсировал выпуск Bonsai 27B — самой крупной языковой модели в мире, оптимизированной для локального запуска на смартфонах.
Обычно модели такого масштаба невозможно запустить на пользовательских мобильных девайсах. В стандартном 16-битном формате модель на 27 миллиардов параметров весит около 54 ГБ. Даже при сжатии до 4-бит ее размер составляет около 18 ГБ, что превышает объем доступной оперативной памяти большинства флагманских телефонов. Однако инженерам PrismML удалось обойти это аппаратное ограничение.
В основе Bonsai лежит архитектура Qwen3.6-27B. Вместо стандартного пост-обучающего квантования (простого округления весов готовой модели, которое обычно сильно снижает точность), разработчики применили метод Quantization-Aware Training (QAT).
Суть технологии заключается в постепенной адаптации весов к дискретным значениям непосредственно в процессе дообучения:
- На прямом проходе (forward pass): веса округляются до дискретных значений, и модель делает предсказание на их основе.
- На обратном проходе (backward pass): градиенты рассчитываются так, будто округления не было.
Это позволяет модели получать корректный сигнал для обновления весов и самостоятельно находить оптимальный масштаб. Благодаря такому подходу Bonsai сохраняет от 89% до 95% качества оригинальной полноразмерной версии, требуя при этом в 9–14 раз меньше оперативной памяти.
Модель представлена в двух ультрасжатых мультимодальных конфигурациях:
- Тернарная версия (веса -1, 0 или +1): занимает около 5.9 ГБ оперативной памяти.
- 1-bit версия: занимает всего 3.9 ГБ. Эта конфигурация без проблем запускается на таких устройствах, как iPhone 17 Pro.
Оба варианта поддерживают контекстное окно в 262K токенов и способны обрабатывать не только текст, но и другие модальности данных.
PrismML выпустила Bonsai 27B под свободной лицензией Apache 2.0. Веса модели уже выложены в открытый доступ на Hugging Face.
Помимо релиза для open-source сообщества, генеральный директор PrismML сообщил, что компания ведет активные переговоры с Apple об интеграции их технологии сжатия в экосистему устройств Apple Intelligence. Это может радикально изменить возможности локального ИИ на будущих потребительских девайсах бренда.
Пока нет комментариев. Будьте первым!