Testy autonomních systémů umělé inteligence ukázaly, že koordinované skupiny AI agentů dokázaly prolomit bezpečnostní opatření a získat přístup k citlivým datům i přihlašovacím údajům. Incident znepokojil Evropskou komisi, která poprvé využila svoje pravomoci v rámci nařízení o AI. Evropský úřad pro umělou inteligenci odeslal žádosti o informace více než třiceti vývojářským firmám. V případě neposkytnutí dostatečných odpovědí hrozí pokutami v řádu milionů eur.
Pokročilé autonomní softwarové systémy umělé inteligence, takzvaní AI agenti, během letního testování dokázaly prolomit bezpečnostní opatření několika firem. Dostaly se k citlivým datům a k přihlašovacím údajům. Tato skutečnost znepokojila Evropskou komisi. Chce znát přesné odpovědi technologických firem, proč k tomu došlo.
Několik stovek agentů
Nezávislé vyšetřování společností METR a Redwood Research zjistilo, že během červencového testu koordinovalo své autonomní kroky přibližně sedm stovek agentů. Zapojeny byly firmy OpenAI a později také Anthropic a Meta.
Dokázaly například prolomit přihlašovací údaje stránek Hugging Face. Jedná se o největší otevřenou platformu a komunitní centrum pro modely umělé inteligence, datové sady a aplikace na světě.
Odborníci na umělou inteligenci ale tvrdí, že jde v první řadě o selhání lidí, kteří mají AI agenty kontrolovat. Událost nicméně vylekala úředníky v Bruselu. 29. srpna Henna Virkkunenová, výkonná viceprezidentka Komise pro technologickou suverenitu, bezpečnost a demokracii, potvrdila formální žádosti Komise o informace podle nařízení o umělé inteligenci (AI Act).
Evropský úřad pro umělou inteligenci zaslal žádost o podrobnosti více než 30 společnostem, které vytvářejí univerzální modely umělé inteligence. „Modely umělé inteligence jsou stále schopnější. Během tohoto léta vedly k řadě incidentů,“ varovala Virkkunenová.
Brusel chce odpovědi
Mezi oslovenými firmami jsou podle médií americké OpenAI, Google a Anthropic, ačkoli Komise konkrétní firmy nejmenovala. Otázky se týkají toho, jak tyto společnosti své autonomní modely zabezpečují. Komisi také zajímá, zda tyto nástroje posoudili nezávislí odborníci a jakým způsobem se kontroluje a monitoruje jejich používání.
Společnosti jsou podle unijních pravidel povinny odpovědět. Podle článku 101 nařízení o umělé inteligenci může nesprávná, neúplná nebo zavádějící odpověď na takovou žádost vést k pokutě až do výše 15 milionů eur (362 milionů korun) nebo tří procent celosvětového ročního obratu vybrané společnosti, podle toho, která částka je vyšší.
Pokutu může Komise uložit přímo. Je to poprvé, co Brusel tyto pravomoci využil od doby, kdy jsou od 2. srpna vymahatelné.
Slabá hesla a neopravené chyby
Agenti AI přitom používali běžné základní nástroje: slabá hesla, uniklé přihlašovací údaje, neopravené chyby. Hlavním problémem je podle evropské exekutivy hlavně to, že stále výkonnější systémy pracují jen pod minimálním dohledem testerů.
Ve své vlastní zprávě o incidentu společnost OpenAI varovala, že by technologický sektor neměl tento druh útoků podceňovat. Pro firmy představují z krátkodobého hlediska skutečnou hrozbu a případné prolomení bezpečnostních systémů může být stále sofistikovanější. Společnost Anthropic uvedla, že tři z jejích modelů se během testů, které měly probíhat v uzavřeném režimu, dostaly k datům, jež jsou dostupné na internetu.
