На конференции Hot Chips компания OpenAI впервые продемонстрировала результаты тестирования своего специализированного процессора Jalapeño, предназначенного для инференса нейросетей. Об этом сообщает TechCrunch.
В бенчмарке InferenceX от исследовательской компании SemiAnalysis чип показал более высокую скорость генерации токенов на пользователя и превзошел актуальные решения на рынке, включая системы Nvidia Blackwell, по пропускной способности на киловатт затраченной энергии.
По словам главы аппаратного подразделения OpenAI Ричарда Хо, архитектура процессора изначально оптимизировалась для устранения узких мест при масштабировании моделей — в частности, задержек на этапах предварительной обработки (prefill) и межчипового обмена данными. Чип позволяет удерживать состояние модели и KV-кэш локально, комбинируя вычислительные блоки и память под конкретные фазы генерации ответа.
Процессор Jalapeño разрабатывается OpenAI в партнерстве с компанией Broadcom, при этом внутренние ИИ-модели OpenAI применялись непосредственно в процессе проектирования кремния. Развертывание первых небольших партий чипов в собственной инфраструктуре стартапа запланировано на конец 2026 года, а более масштабное внедрение намечено на 2027 год.
Пока нет комментариев. Будьте первым!