GitHub объявил о запуске публичного превью функции Computer Use для Copilot. Возможность прямого управления десктопными приложениями стала доступна в приложении GitHub Copilot и через интерфейс командной строки (CLI) на операционных системах macOS и Windows.
Новый инструмент позволяет ассистенту считывать визуальный контекст экрана, распознавать элементы управления, нажимать кнопки, вводить и редактировать текст, использовать горячие клавиши, а также прокручивать страницы и перетаскивать объекты. В компании отмечают, что функция в первую очередь ориентирована на автоматизацию рабочих процессов в устаревшем ПО и программах с графическим интерфейсом, у которых нет готовых API, поддержки CLI или интеграций по протоколу MCP.
Перед выполнением действий в сторонних приложениях Copilot запрашивает подтверждение пользователя. Список программ с постоянным доступом можно редактировать или сбрасывать в настройках безопасности. На macOS для работы инструмента требуется выдать системные разрешения на запись экрана и доступ к универсальному доступу (Accessibility). Корпоративные администраторы также могут принудительно отключить функцию в настройках организации.
По заявлению разработчиков, Computer Use лучше всего справляется со структурированными сценариями — например, сбором уведомлений из браузера, обновлением данных в презентациях или переносом информации между несколькими независимыми десктопными окнами.
Пока нет комментариев. Будьте первым!