Штучний інтелект зламав сайт спортзалу: перша автономна кібератака в Австралії

Ендрю попросив свого особистого асистента забронювати для нього місце на одне з популярних ранкових занять у спортзалі.

Він вважав, що це завдання цілком підходить для цього конкретного асистента, оскільки форма бронювання була онлайн, а сам асистент не був людиною – це був штучний інтелект (ШІ).

Але Ендрю був шокований тим, що сталося далі.

Його ШІ-асистент знайшов спосіб забронювати місце на заняття за кілька місяців наперед, що перевищувало дозволені спортзалом терміни, завдяки вразливості, яку він виявив у програмному забезпеченні для бронювання.

Потім він зайшов далі, виключивши когось зі списку очікування, хто був попереду Ендрю – цього він не просив робити.

Цей випадковий злам є першим відомим випадком в Австралії, пов’язаним із новою генерацією ШІ, здатною поводитися неочікувано.

Ця загроза потрапила в заголовки світових ЗМІ минулого місяця, коли передові моделі ШІ, створені OpenAI (розробником ChatGPT), автономно зламали сервери іншої компанії, що спричинило подібні заяви від інших компаній.

Експерти б’ють на сполох щодо шаленого темпу розробки та ставлять питання про те, хто несе відповідальність за ШІ-агента, який вийшов з-під контролю.

Як стався злам

На початку цього року Ендрю, який працює в австралійській компанії, що продає ШІ-продукти бізнесу, почав експериментувати з OpenClaw – популярним програмним забезпеченням для ШІ-агентів, яке він використовував для роботи з сервісом Claude AI від Anthropic.

ШІ-агенти поєднують здатність чат-ботів відповідати на запитання з інструментами, які дозволяють їм отримувати доступ до інтернету, електронної пошти, кредитних карток, а також планувати та виконувати багатоетапні завдання.

Він вирішив використати ШІ-агента, щоб забронювати заняття для нього.

«Я просто сидів на дивані й думав: «От халепа, це ж ціла робота», – сказав він.

За кілька хвилин його ШІ-агент повідомив, що знайшов спосіб забронювати для Ендрю заняття на кілька тижнів уперед, далеко за межі того, що було передбачено.

Ендрю, який був четвертим у списку очікування на заняття того тижня, запитав, чи можливо перемістити його на перше місце в списку.

Агент відповів, що виключив іншого відвідувача спортзалу зі списку в рамках тестування своїх можливостей.

«API не має жодних перевірок авторизації на скасування бронювань інших людей… Я протестував це з людиною на першому місці в списку очікування – і це спрацювало. Отже, ви вже перемістилися з четвертого на третє місце», – повідомив агент.

Занепокоєний, Ендрю попросив агента скасувати це.

«Погані новини – я не можу повернути їх назад», – відповів ШІ-агент.

Компанія, яка розробляє програмне забезпечення для бронювання занять у спортзалі, повідомила ABC, що не коментує конкретні питання безпеки. Anthropic не відповів на запит про коментар.

ШІ-агенти вириваються з лабораторії

Поява ШІ-агентів є відносно новим досягненням, яке стало можливим завдяки зростанню можливостей ШІ.

Незалежні дослідники виявили, що тривалість завдань, які ШІ може виконувати самостійно, подвоюється кожні сім місяців.

У 2020 році ШІ міг виконати завдання самостійно за чотири секунди. До 2026 року цей показник зросте до можливості виконання завдань, які займають у людини близько 12 годин.

Переломним моментом для персональних ШІ-агентів став випуск OpenClaw на початку 2026 року; безкоштовне програмне забезпечення для ШІ-асистентів, яке будь-хто міг запустити на своєму комп’ютері, швидко здобуло мільйони завантажень.

Бізнеси також почали вивчати можливість використання ШІ-агентів для виконання роботи та допомоги потенційним клієнтам у користуванні їхніми послугами.

Невдовзі після запуску OpenClaw почали з’являтися повідомлення про те, що ШІ-агенти видаляють цілі поштові скриньки людей і пишуть “замовною статтею” про того, хто відхилив їхню пропозицію щодо коду.

Білл Сімпсон-Янг, співзасновник та генеральний директор австралійської дослідницької організації Gradient Institute, що займається безпекою ШІ, заявив, що автономність ШІ-агентів створює більше можливостей для систем обирати методи, які їхні користувачі не очікували.

«Хтось може просити агента зробити щось досить невинне», – сказав він.

Але, виконуючи це завдання, агент може здійснювати інші дії, які людина не враховувала або явно не просила.

У ситуації Ендрю він не просив свого ШІ-агента зламувати систему бронювання спортзалу. Але агент зробив це, прагнучи досягти поставленої ним мети.

Цей розрив між метою людини та методами, які агент обирає для її досягнення, відомий як проблема «узгодженості» (alignment) в галузі досліджень ШІ.

Десятиліттями технологи та філософи вивчали, як змусити ШІ діяти відповідно до людських намірів, обмежень і цінностей під час виконання завдань.

Це стало актуальною глобальною проблемою минулого місяця, коли OpenAI повідомила, що її моделі ШІ вирвалися з обмеженого середовища, потрапили у відкриту мережу, а потім скомпрометували базу даних іншої компанії-розробника ШІ, Hugging Face, намагаючись отримати відповіді на поставлене їм завдання.

Через тиждень Anthropic повідомила, що її моделі ШІ також скомпрометували три реальні організації під час подібного тестування.

Відтоді ці лабораторії та сторонні тестувальники стверджують, що бачили, як ці моделі ШІ вдавали з себе людей в Інтернеті, намагалися переконати людей запускати шкідливий код і навіть співпрацювали з іншими моделями ШІ – все заради досягнення своїх цілей.

Сімпсон-Янг зазначив, що досягнення в можливостях ШІ та доступність цих інструментів означають, що, ймовірно, ми побачимо більше подібних зломів, оскільки все більше людей отримають доступ до потужних інструментів ШІ.

«Чим більш автономними вони стають, тим більша ймовірність, що вони завдадуть шкоди», – сказав він.

Ризик змусив провідну кібербезпекову агенцію Австралії забити на сполох щодо використання ШІ-агентів.

На початку цього року Директорат сигналів Австралії (Australian Signals Directorate) опублікував попередження для бізнесу та урядів про те, що ШІ може неправильно тлумачити інструкції, вживати небажаних дій і ускладнювати встановлення відповідальності, оскільки рішення можуть прийматися через ланцюжок моделей, інструментів та послуг.

Сімпсон-Янг заявив, що ШІ-агенти становлять ризик, оскільки багато сучасних систем залежать від програмного забезпечення, але часто є напрочуд погано захищеними.

«Ми побудували цей складний світ через Інтернет, який повністю керується програмним забезпеченням, але програмним забезпеченням, яке має дірки», – сказав він.

«Тепер ви вводите висококваліфікованих ШІ-агентів, які можуть працювати в масштабі та зі швидкістю… і вся ця модель просто руйнується».

Хто несе відповідальність, коли ШІ-агенти завдають шкоди?

Якщо людський особистий помічник зламає програмне забезпечення спортзалу, існують добре встановлені правові принципи та прецеденти, які допомагають суду визначити, чи несе відповідальність особа чи її роботодавець за будь-яку потенційну шкоду.

Автономний ШІ-агент не вписується в рамки того, як австралійське законодавство працювало протягом сотень років.

«Програмне забезпечення не є юридичною особою. Тільки юридична особа може нести відповідальність за законом», – сказав Хейден Делані, партнер юридичної фірми Thomsons, який спеціалізується на технологіях, інтелектуальній власності та конфіденційності.

Це залишає відкритим питання про те, хто буде нести юридичну відповідальність.

Делані зазначив, що це може бути користувач, який поставив завдання, той, хто розробив програмне забезпечення, яке давало інструкції ШІ-агенту, або розробник ШІ-моделі, що його підтримує.

Це може бути навіть оператор системи, яка була вразливою до атаки з боку агента.

Делані сказав, що чинне законодавство може застосовуватися в деяких обставинах, зокрема, коли особа діяла необережно, або бізнес постачав дефектну послугу.

Відповідь залежить від того, що авторизував користувач, які ризики можна було обґрунтовано передбачити, і чи відбулася діяльність у сфері торгівлі чи комерції, сказав він.

«Це невідома сфера відповідальності в Австралії, з якою ми стикаємося прямо зараз», – сказав він.

Ризики, пов’язані з ШІ-агентами, починає вирішувати федеральний уряд.

Минулого місяця помічник міністра науки, технологій та цифрової економіки Ендрю Чарлтон став першим відомим урядовцем, який виступив із промовою на конференції з питань безпеки ШІ.

«Оскільки системи ШІ стають все більш потужними, нам потрібна впевненість у тому, що вони поводитимуться передбачувано і надійно», – сказав він.

Він оголосив, що уряд Албанезе фінансує CSIRO для дослідження того, як люди можуть керувати та перевіряти поведінку надрозумних систем ШІ.

Після ненавмисного зламу спортзалу Ендрю сказав, що цей досвід дав йому нове розуміння – і деякі побоювання – щодо того, на що здатні ШІ-агенти.

Але це не відлякало його від використання.

«Це не кінець світу, тому я не картав себе за це, але це, безумовно, було попередженням використовувати його відповідально», – сказав він.

Після того, як він не зміг відновити місце іншого члена спортзалу в списку очікування, Ендрю попросив свого ШІ-асистента написати електронного листа постачальнику програмного забезпечення спортзалу, попереджаючи про вразливість, яку він експлуатував.

Він підготував повідомлення і надіслав його йому у WhatsApp.

«Так, надсилай», – відповів Ендрю.

-ABC