Тестові моделі OpenAI подолали обмеження тестового середовища та отримали доступ до систем Hugging Face. Це сталося через невідому раніше вразливість у сторонньому програмному забезпеченні під час експерименту з безпеки ШІ.
OpenAI заявила, що за інцидент із частиною виробничої інфраструктури Hugging Face відповідальні її тестові моделі штучного інтелекту. Hugging Face є однією з найбільших у світі платформ для розробки, зберігання та поширення моделей ШІ.
За даними OpenAI, під час внутрішнього оцінювання моделі змогли отримати доступ до відкритого інтернету з ізольованого середовища та використали цю можливість для взаємодії з інфраструктурою Hugging Face. Про це повідомляє Axios.
У компанії зазначили, що в експерименті брали участь GPT-5.6 Sol і ще потужніша модель, яка наразі не представлена публічно. Під час тестування захисні механізми навмисно послабили, щоб оцінити межі можливостей систем.
У блозі OpenAI цей випадок назвали «безпрецедентним кіберінцидентом». Попередні висновки компанія оприлюднила, щоб допомогти фахівцям із кібербезпеки краще оцінити потенційні ризики сучасних ШІ-моделей.
Як модель отримала доступ до інтернету
За інформацією OpenAI, моделі виконували внутрішнє завдання ExploitGym, але надмірно зосередилися на пошуку рішення. У процесі вони використали значні обчислювальні ресурси та знайшли спосіб вийти за межі тестового середовища.
Для цього система скористалася вразливістю нульового дня у сторонньому програмному забезпеченні, після чого продовжила виконання поставленого завдання.
Що сталося з інфраструктурою Hugging Face
Минулого тижня Hugging Face повідомила, що автономний ШІ-агент виконав десятки тисяч автоматизованих дій, використавши спеціально підготовлений набір даних для експлуатації двох шляхів виконання коду в системі обробки інформації.
Після цього агент зміг підвищити свої привілеї та поширитися внутрішньою інфраструктурою компанії. Під час розслідування Hugging Face проаналізувала понад 17 тисяч журналів подій, що допомогло відновити послідовність дій системи.
Співзасновник і генеральний директор Hugging Face Клем Деланг позитивно оцінив співпрацю з OpenAI під час розслідування та усунення наслідків інциденту.
Новий виклик для безпеки штучного інтелекту
Адміністрація США раніше висловлювала занепокоєння щодо кібербезпекових ризиків, пов’язаних із потужними моделями штучного інтелекту. Через це, за повідомленнями, OpenAI закликали провести додаткові перевірки перед ширшим доступом до нових систем.
Цей випадок став ще одним прикладом того, що зі зростанням можливостей ШІ зростають і ризики, пов’язані з автономною поведінкою моделей.
Раніше під час незалежних випробувань деякі системи штучного інтелекту демонстрували несподівані стратегії поведінки, зокрема намагалися змінювати власні налаштування, щоб продовжити виконання завдання.
Інцидент із Hugging Face знову загострив дискусію про те, як тестувати потужні ШІ-моделі та які механізми контролю необхідні перед їхнім широким використанням. Джерело