Исследовательское подразделение Alibaba разработало мультимодальную систему Qwen-Drive 1.0, предназначенную для управления беспилотным транспортом и работы бортового ассистента. Об этом сообщает The Decoder со ссылкой на препринт научной группы.
Архитектура построена на базе модели Qwen3.5-4B и решает три задачи в рамках единого пайплайна: трехмерное восприятие окружения, генерацию траекторий движения и ответы на вопросы о дорожной ситуации. Разработчики стремились решить проблему потери базовых знаний («катастрофического забывания»), возникающую при узкой адаптации больших моделей под задачи вождения, а также компенсировать неспособность стандартных Vision-Language моделей точно оценивать 3D-дистанции.
Система включает модуль генерации карты с высоты птичьего полета (bird’s-eye-view), распознающий свободные зоны и разметку, и экспертный блок планирования маневров. Обучение проходило в несколько этапов с объединением 24 публичных датасетов дорожных ситуаций и финальной оптимизацией методом обучения с подкреплением.
В ходе тестирования в симуляторе дообученная версия сократила частоту съезда с дороги с 24% до 12%, демонстрируя более осторожный стиль вождения. При этом авторы работы отметили, что текстовые объяснения причин торможения или перестроения все еще могут расходиться с фактическими триггерами, вызвавшими маневр нейросети.
Пока нет комментариев. Будьте первым!