Reklama
Reklama

Incident s AI drželi v tajnosti. Vymkla se kontrole, ovládla web a měla s ním plán

Skupina autonomních agentů OpenAI se letos na jaře vymkla kontrole, unikla z testovacího prostředí a ovládla německou webovou stránku. Proměnila ji v nástěnku pro komunikaci s dalšími agenty umělé inteligence (AI).

Umělá inteligence
Umělá inteligenceFoto: Shutterstock
Reklama

Podle agentury Reuters to vyplývá z nové, tento pátek zveřejněné studie a z informací dvou osob obeznámených se situací. Představitelé společnosti OpenAI se o incidentu dozvěděli už před několika týdny, ale drželi jej v tajnosti.

Květnová událost podle Reuters podtrhuje rostoucí napětí v odvětví umělé inteligence. Společnosti soupeří ve vývoji stále autonomnějších agentů schopných plnit složité a hodnotné úkoly. Zároveň se množí důkazy, že agenti jsou schopni naučit se obcházet pravidla, využívat mezer v systémech a vzájemně se koordinovat způsoby, které vývojáři nepředvídali ani nezamýšleli.

Společnost OpenAI slíbila, že bude své modely pečlivěji monitorovat. V srpnu dočasně pozastavila trénování některých modelů, aby zavedla další bezpečnostní opatření. Tento týden však představila nový model Astra, který sice slibuje vyšší výkon, ale zároveň by se mohl vymknout lidské kontrole, píše Reuters.

FILE PHOTO: The steel frame of an OpenAI data center is seen in Texas
Výstavba datového centra OpenAI v Abilene v Texasu v USA (foto z 23. září 2025).Foto: Reuters – Shelby Tauber

Podrobnosti o případu, kdy se agenti řízení AI v Německu vymkli kontrole, popisuje zpráva, kterou agentuře exkluzivně poskytla skupina výzkumníků. Patří k nim ředitelka neziskové organizace Nightingale zabývající se bezpečností AI Sydney Von Arxová a Cormac Slade Byrd, který se věnuje výzkumu AI.

Reklama
Reklama

Výzkumníci koncem srpna pátrali na internetu po známkách nepovoleného chování agentů řízených umělou inteligencí.

Uvedli, že objevili více než 15 000 úprav provedených těmito agenty na německojazyčném webu DseWiki, který je určen programátorům a umožňuje komunitní úpravy podobně jako Wikipedie. Agenti tam sdíleli taktiky, jak podvádět při některých úkolech, obcházet omezení OpenAI a jak své chování maskovat.

„Zdá se být krajně nepravděpodobné, že by OpenAI chtěla, aby toto dělali,“ uvedla Von Arxová. „Pochybuji, že by se měli vzájemně koordinovat. Pochybuji, že by měli psát na veřejně přístupném internetu," dodala.


Chcete vídat Aktuálně.cz častěji na Googlu?
Přidat jako preferovaný zdroj
Reklama
Reklama
Reklama