Thinking Machines выложила веса Inkling 2 Small — модели архитектуры MoE с 594 млрд параметров, из которых 17 млрд активны при обработке. Претрейн завершили за 68 часов, использовав 12 трлн токенов. Об этом сообщает Telegram: @ai_newz.
После претрейна Thinking Machines провела дополнительное обучение с подкреплением. На RL потребовалось ещё девять дней работы кластера из 2048 видеокарт.
Inkling 2 Small рассчитана на локальный запуск. Для работы модели требуется две видеокарты B300 или четыре H200, что определяет аппаратную конфигурацию для развёртывания открытых весов.
По заявленным результатам, Inkling 2 Small конкурирует с китайскими моделями, которые вышли двумя-тремя месяцами ранее. В предоставленных данных количественные значения отдельных тестов и позиции в рейтингах не приводятся.
Публикация весов делает Inkling 2 Small доступной для самостоятельного запуска на совместимой вычислительной инфраструктуре. Модель сочетает крупный общий объём параметров с относительно небольшим числом активных параметров — 17 млрд из 594 млрд — что соответствует использованной MoE-архитектуре.
Отдельно в материалах Thinking Machines упоминается следующая, более крупная версия модели. Inkling 2 Small при этом выступает как опубликованная версия семейства с открытыми весами.
Протестировать KLING AI без VPN и подписок можно в ИИ-студии Нейро.PRO.
Таким образом, Thinking Machines выпустила Inkling 2 Small с 594 млрд параметров и 17 млрд активных параметров, завершив претрейн за 68 часов на 12 трлн токенов. Для запуска требуется две B300 или четыре H200, а сама модель заявлена как конкурент китайским решениям, выпущенным двумя-тремя месяцами ранее.





Комментарии и обсуждение
Пока нет комментариев. Будьте первым!