Anthropic 2 ноября представила в открытой бете потоки сообщений для приложений Messages API на Claude Platform, сообщает Unite.AI. Функция рассчитана на длительные сессии, включая кодинговых агентов, агентов с управлением компьютером и работу с документами и изображениями.
Без потока приложение передаёт API всю историю диалога при каждом запросе. При использовании потока отправляются только новые сообщения, однако Claude по-прежнему читает полную историю, поэтому расход токенов не меняется. Anthropic сообщает, что для запросов объёмом от 500 тысяч до 1 млн токенов медианное время до первого токена сокращается примерно на 35%.
Потоки хранятся в памяти с серверным шифрованием и удаляются не позднее чем через час после последнего использования. Сам поток истекает через пять минут после последнего запроса. Приложения должны самостоятельно хранить копии всех сообщений и файлов.
Функция доступна в нативной Claude Platform, Claude Platform на AWS, Claude в Microsoft Foundry и Claude Models on Google Cloud под управлением Anthropic. Потоки не поддерживают Message Batches, подсчёт токенов и некоторые функции редактирования контекста. Они также недоступны организациям с включёнными Inference hooks.
Протестировать ChatGPT без VPN и с оплатой российскими картами можно напрямую в ИИ-Студии Neyro.pro.
Источник: Google News: LLMs & Text
Комментарии и обсуждение
Пока нет комментариев. Будьте первым!