Технології 4 хв читання Автор: Валентин Петренко
OpenAI відкрила Decisions API для майже миттєвих рішень ШІ
OpenAI зробила загальнодоступним Decisions API, який скорочує час ухвалення рішень штучним інтелектом з 1–3 секунд до 100–180 мілісекунд. Інструмент уже тестують Datadog, Ramp і Speak, а на ринку йому протистоїть стартап TypeSafe зі своєю системою Jev.
OpenAI відкрила широкий доступ до Decisions API — нового інструменту, який дає змогу штучному інтелекту ухвалювати рішення за мілісекунди. Про це повідомив керівник продуктового напряму API в OpenAI Нікунд Ханда. За його словами, компанія побачила успіх аналогічних розробок на ринку і швидко створила власну версію.
Моделі ухвалення рішень, які ще називають рішеннями першої системи, дозволяють ШІ швидко обирати з наявних варіантів і надавати оцінку впевненості у своєму виборі. Розробники програмного забезпечення зазначають, що такі інструменти здатні замінювати звичайні мовні моделі в багатьох робочих процесах, працюючи значно швидше та з меншими витратами.
Головним досягненням Decisions API стала саме швидкість: час обробки запиту вдалося скоротити з 1–3 секунд до 100–180 мілісекунд. Замість побудови спеціально відкаліброваної моделі команда OpenAI переконфігурувала ChatGPT Luna для прискорення обробки запитів і зниження витрат. У майбутньому компанія планує додати спеціалізоване навчання, хоча наразі класичні можливості Luna успішно виконують поставлені завдання.
Запуск Decisions API вже доступний для всіх клієнтів. OpenAI також додала нові голосові та візуальні можливості й оптимізувала роботу інструменту. Під час початкових випробувань компанії Datadog, Ramp і Speak використовували новий API для заміни попередніх моделей OpenAI з вищою пропускною здатністю. Зокрема, у сервісі мовних репетиторів Speak час між діями вдалося скоротити з 1,4 секунди до 0,13 секунди. Сама OpenAI також задіяла продукт для покращення чутливості голосового асистента Dots.
Попри швидкий запуск, на ринку рішень для ШІ вже є помітні конкуренти. OpenAI планує охопити сегмент, де значну перевагу займає стартап TypeSafe зі своєю системою Jev. Генеральний директор TypeSafe Діогу Алмейда скептично ставиться до стандартних бенчмарків і радить компаніям тестувати моделі на власних робочих сценаріях. Водночас TypeSafe нещодавно опублікувала власний рейтинг і представила оновлену версію Jev із підтримкою зображень та умовної логіки.
Однозначної відповіді, якою має бути ідеальна модель для ухвалення рішень, наразі немає. Оптимальний баланс між якістю, вартістю, точністю прогнозів і швидкістю роботи залежить від конкретних завдань. У публічних тестах AIM System One Index та Artificial Analysis Decision Index лідирують D1 Ultra від Liquid і Elephant-1 від Base Lab. Оновлена Jev також залишається серед конкурентоспроможних моделей, тоді як рішення OpenAI посідають інші позиції в рейтингах. За кількістю запитів на OpenRouter моделі TypeSafe поки залишаються найпопулярнішими.
Окремий інтерес становить бенчмарк JevMan, у якому ШІ керує грою Pac-Man. Остання версія Jev очолює цей рейтинг, оскільки гра вимагає від моделі постійно ухвалювати швидкі й ризиковані рішення на кожному перехресті — буквально за кілька сотень мілісекунд.
Перевагою рішень від OpenAI залишається розширена мультимодальність. Зокрема, модель Luna демонструє високу потужність і краще калібрування у завданнях з класифікації зображень. У майбутньому розробники хочуть ще більше скоротити час відгуку — до 60 мілісекунд. Це дасть змогу обробляти через API практично кожен окремий кадр відеопотоку. Зі зростанням швидкості та зниженням вартості такі інструменти стають доступнішими й відкривають нові сценарії використання ШІ, які раніше були надто повільними або дорогими.
8
