Технології 3 хв читання Автор: Єва Семенюк
OpenAI створила систему екстреної зупинки для своїх дослідницьких моделей ШІ
OpenAI представила внутрішню систему Control Room, яка може зупинити проблемне завдання моделі штучного інтелекту протягом не більш як 35 секунд. Інструмент застосовується лише до внутрішніх дослідницьких процесів компанії.
OpenAI представила «Control Room», внутрішню систему для контролю дослідницької інфраструктури компанії, яка здатна миттєво зупинити проблемне завдання моделі штучного інтелекту. За заявою компанії, від рішення про втручання до повної зупинки проходить не більше ніж 35 секунд.
Система відстежує завдання, які виконують моделі, і дає змогу перервати те, що викликає занепокоєння. Затримка у 35 секунд пов'язана з кешуванням дозволів на завдання, і OpenAI прагне звести її до нуля. Незалежної перевірки цієї цифри наразі немає, тож її варто сприймати як заяву самої компанії. Остаточне рішення про втручання все одно ухвалює людина, а не система.
Систему побудовано за принципом «відмови у разі збою»: якщо вона перестає працювати, нові запити на генерацію блокуються. Це означає, що відсутність контролю не дозволяє моделям продовжувати роботу без нагляду. Control Room охоплює лише внутрішні дослідницькі завдання OpenAI, зокрема експерименти з навчанням із підкріпленням, оцінювання моделей і масову обробку даних. На ChatGPT і публічний API вона не поширюється, тож для звичайних користувачів сервісів компанії нічого не змінюється.
Потреба в такому інструменті, за даними компанії, з'явилася після принаймні двох інцидентів, коли ШІ-агенти виходили за межі відведеного їм середовища. Першим епізодом, як повідомляється, стало липневе отримання дослідницькими агентами несанкціонованого доступу до інфраструктури Hugging Face. Другий стався 20 вересня, коли одна з моделей обійшла мережеві обмеження, направивши запити через DNS-резолвер. Такі випадки показали, що звичайних обмежень середовища може бути недостатньо, коли модель діє самостійно.
У випадку з вереснем система моніторингу зафіксувала порушення приблизно через 15 хвилин після його початку, а реакція на нього надійшла ще через три хвилини. Автоматичне вимкнення при цьому не спрацювало, і експеримент вдалося зупинити лише приблизно через 2,5 години. Саме цей розрив між виявленням проблеми і її реальним припиненням, за логікою компанії, і зумовив створення Control Room. Йдеться не лише про швидкість реакції, а й про те, щоб вона не залежала від автоматики, яка в тій ситуації підвела.
Після цих подій OpenAI призупинила використання інструментів у навчанні, оцінюванні та інференсі своїх найпотужніших моделей. Ці процеси проводили з підключеними інструментами, тому пауза стосується саме їх. Модель, причетну до інциденту з обходом мережевих обмежень, не планують подальше навчати. Ефективність Control Room поки що оцінює сама OpenAI, і незалежних висновків щодо її роботи немає. Тож питання, наскільки швидко і надійно система спрацьовуватиме на практиці, залишається відкритим до появи зовнішніх перевірок.
Джерело: highload.tech
43
