Технології 3 хв читання Автор: Гліб Черненко
Anthropic запустила Message Threads, Claude відповідає на довгі діалоги швидше на 35%
Anthropic у публічній бета-версії запустила функцію Message Threads для Claude API. Вона дозволяє передавати лише нові зміни в розмові замість всієї історії, що прискорює відповіді на довгому контексті.
Компанія Anthropic запустила в публічній бета-версії функцію Message Threads для Messages API на платформі Claude. Раніше з кожним запитом доводилося надсилати всю історію розмови. Тепер передаються лише зміни від попереднього повідомлення. Про це повідомляє блог Anthropic.
Суть нововведення полягає в тому, що замість повного повтору діалогу на кожному кроці сервер зберігає потік і отримує лише новий вміст. Потік зберігається в пам’яті в зашифрованому вигляді між запитами та автоматично завершується після п’яти хвилин бездіяльності. Це означає, що розробнику не потрібно щоразу відправляти весь попередній текст, а сервер сам підтримує контекст між запитами, доки з’єднання активне.
За даними Anthropic, для запитів обсягом від 500 тисяч до мільйона токенів час до першого токена (time to first token) скорочується приблизно на 35%. Цей показник важливий для сценаріїв, де модель має обробити великий обсяг інформації перед початком відповіді. Чим довша історія взаємодії, тим відчутнішим стає виграш, адже раніше саме передача і повторна обробка величезного контексту на кожному кроці займали основний час. Водночас компанія не наводить у повідомленні даних про прискорення для коротших розмов, тож про них тут не йдеться.
Найбільше від функції, за словами компанії, виграють три групи застосувань: агенти для програмування, агенти, що керують комп’ютером (computer use), і сценарії, у яких обробляється багато документів або зображень. Для агентів, які працюють у циклі з десятками послідовних кроків, зменшення затримки на кожному кроці накопичується і помітно впливає на загальну тривалість завдання.
Варто уточнити, що вартість токенів залишається колишньою. Claude, як і раніше, опрацьовує повну історію розмови, тож економія стосується швидкості відповіді, а не обсягу оплачуваного контексту. Для бізнесу це означає, що рахунок за використання не зменшиться автоматично, а виграш полягає в тому, що відповідь надходить швидше.
Message Threads доступні на платформі Claude, а також через AWS, Microsoft Foundry та Google Cloud. Технічні подробиці Anthropic виклала в документації, де описано порядок роботи з потоками та умови їх завершення. Нагадаємо, що нещодавно Claude і Codex почали блокувати запити на реверс-інжиніринг, і за порушення правил користувач може втратити акаунт. Тож нові інструменти для розробників з’являються одночасно з дедалі суворішими умовами використання платформи.
Джерело: highload.tech
8
