Mistral представила открытую модель Mistral Large 4 на 1 трлн параметров

Французский стартап Mistral AI представил новую модель с открытыми весами Mistral Large 4 (ML4), получившую кодовое имя «Le Chonk», сообщает Quartz. Архитектура нейросети насчитывает 1 трлн параметров, а разработчики позиционируют ее как европейскую альтернативу в глобальной конкуренции с американскими и китайскими системами.

По заявлению компании, по совокупности бенчмарков ML4 опережает все открытые модели, созданные за пределами Китая. При этом в Mistral признали, что в задачах написания программного кода модель пока уступает некоторым закрытым флагманским решениям, а финальный этап обучения с подкреплением (RL) еще продолжается.

Нейросеть обучали с нуля на протяжении двух месяцев на кластере из 4000 ускорителей Nvidia Grace Blackwell в собственных европейских дата-центрах компании. Модель поддерживает более 160 языков, включая все официальные языки Евросоюза.

Mistral делает отдельный акцент на применении модели в сфере информационной безопасности. Как отметил сооснователь и главный научный сотрудник стартапа Гийом Лампл, доступность открытых весов позволит предприятиям и госорганам эффективнее выстраивать защиту от атак, использующих уязвимости и джейлбрейки закрытых систем.

В настоящее время ML4 доступна разработчикам и корпоративным клиентам через API в Mistral Studio в режиме ограниченного превью. Публичный релиз весов запланирован на 27 октября.

Недавно Mistral закрыла раунд финансирования Серии D на сумму 3 млрд евро во главе с Samsung Electronics, в результате чего оценка компании превысила 21 млрд евро. Дополнительно стартап привлек 830 млн долларов заемных средств на строительство инфраструктуры во Франции и Швеции с целью довести совокупную мощность дата-центров до 200 МВт к концу 2027 года.