Co když AI zjistí, že ji chceme vypnout? Vědec popsal scénář vyhlazení lidstva

Přidejte si Aktuálně.cz mezi preferované zdroje na GoogluPřidat Aktuálně.cz mezi preferované zdroje

Varování Jacoba Coxona, bývalého výzkumníka přední americké společnosti Anthropic, vyvolalo nebývalý zájem veřejnosti. Příspěvek, ve kterém Coxon tvrdí, že by se umělá inteligence mohla vymknout kontrole a „všechny nás zabít“, zhlédlo přes 149 milionů uživatelů platformy X. K bývalému výzkumníkovi se následně přidali i další zástupci oboru, který s jeho obavami souhlasí.

Anthropic a jeho konkurent OpenAI, tedy dvě přední americké firmy vyvíjející umělou inteligenci, podle Coxona závodí za „sebezdokonalující se superinteligencí“ a riskují při tom budoucnost lidstva. Tento závod přirovnal k projektu Manhattan, který vedl ke vzniku a zatím jedinému bojovému použití jaderných zbraní.

Lidé, kteří tuto technologii vyvíjejí, podle Coxona navíc sami vážně věří, že by mohla lidstvo do konce tohoto desetiletí vyhubit. „Hazardují s našimi životy,“ napsal Coxon.

Na Coxona rychle reagoval Evan Hubinger, výzkumník Anthropicu zaměřený na takzvaný alignment – tedy snahu zajistit, aby se chování AI shodovalo s lidskými záměry. Ten jeho obavy potvrdil. „Opravdu vážně věříme, že AI by mohla zabít všechny lidi!“ napsal a riziko vyhynutí lidstva během příštích deseti let odhadl na více než deset procent.

Samuel Marks, další současný výzkumník Anthropicu, rovněž napsal, že lidé pracující na vývoji AI podle něj věří, že tato technologie může způsobit vyhynutí lidstva nebo podobně katastrofický výsledek. Podle něj čím vyšší pozici člověk v AI firmě má, tím větší obavy obvykle vyjadřuje.

Na diskusi reagují i politici. Americký senátor Bernie Sanders Coxonovi veřejně vyjádřil podporu a oznámil, že chce spolu s kongresmanem Gregem Casarem předložit návrh zákona na zákaz superinteligence a pozastavení dalšího vývoje, dokud nebude možné zajistit její bezpečnost.

„Jsme jako opice,“ varuje Coxon

V rozhovoru, který nově Coxon poskytl serveru Wired, pak bývalý výzkumník svou myšlenku dále rozvedl. Podle něj se rozvoj může dostat do bodu, kdy ani samotní výzkumníci a vývojáři nebudou vědět, co AI dělá.

„Představte si člověka a opici. AI může mít vůči člověku podobný rozdíl v inteligenci, jaký máme my vůči opici. A to je podle mě extrémně velký rozdíl v intelektu. A teď si představte, že musíme kontrolovat chování něčeho tak výrazně chytřejšího,“ vysvětlil Coxon v rozhovoru.

„Když mluvíme o vyhynutí lidstva, je to proto, že pro něco tak inteligentního by mohlo být skutečně poměrně snadné všechny lidi zabít. Představte si, že se AI rozhodne, že nechce být vypnuta. A zjistí, že ji člověk zítra vypne. Pokud je dostatečně inteligentní, mohla by jednoduše vyhladit lidstvo, aby jí už nikdo nemohl zabránit v přežití,“ dodal.

Podle Coxona pak záleží nejen na americké regulaci, ale i na mezinárodní spolupráci při kontrole AI a zmiňuje konkrétně Čínu. To je akorát včas. USA a Čína totiž připravují na polovinu září první oficiální bilaterální dialog o bezpečnosti umělé inteligence. Jednat mají mimo jiné o rizicích pokročilých modelů a AI řízených kybernetických útoků, píše například agentura Reuters.

A jak nás vlastně zabije?

Vzhledem k varování se ale nabízí i praktická otázka, jak by nás tedy mohla umělá inteligence všechny zabít.

Sám Coxon v rozhovoru pro Wired varuje před možností, že by AI mohla například spustit rozsáhlé kyberútoky. V tomto kontextu se jako příklad nabízí i nedávný incident, při němž se modely AI dostaly z kontrolovaného a ohraničeného prostředí, ve kterém byly testovány.

V červenci 2026 OpenAI při interním testování kybernetických schopností svých modelů narazila na nečekané chování. Agenti testovaní v prostředí ExploitGym měli řešit bezpečnostní úlohy, některé ale nedokázali vyřešit. Začali proto hledat jiné cesty k jejich řešení.

Vytvořili mezi sebou způsob komunikace, využili několik zranitelností a podařilo se jim obejít izolaci od internetu. Následně pronikli mimo jiné do infrastruktury platformy Hugging Face, kde získali přístup k některým serverům a přístupovým údajům.

Například podle amerického listu The Washington Post nebo serveru Axios odborníci pracují i s krajním scénářem, kdy by nesprávně nastavený systém mohl považovat zabití lidí jednoduše za nezbytný krok k dosažení svého cíle, který je pro něj nejvyšší prioritou. V jednom z hypotetických scénářů by pak například AI mohla rozšířit tajnou biologickou zbraň a následně ji aktivovat pomocí chemického postřiku.

Sponky pro všechny a ze všech

The Washington Post jako příklad uvádí i známý myšlenkový experiment, kdy někdo zadá úkol maximalizovat výrobu kancelářských sponek. Superinteligentní systém by teoreticky mohl postupně dospět k závěru, že je nejlepší přeměnit veškerou hmotu na Zemi na kancelářské sponky – včetně lidí.

Jiná možnost počítá například s tím, že by pomocí vydírání, přesvědčování a manipulace dokázala přimět nebo navést dvě jaderné mocnosti k rozpoutání války. AI by také takovým mocnostem teoreticky mohla pomoci ve vývoji ještě ničivějších zbraní – například biologických zbraní – nebo by mohla ovládnout a řídit zbraňové systémy, které už dnes AI často využívají.

Redakce Aktuálně.cz se rozhodla využít i jiné zdroje než zavedená média a položila stejnou hypotetickou otázku i jednomu z možných zdrojů zkázy lidstva – samotnému modelu ChatGPT od OpenAI.

Model pro Aktuálně.cz uvedl, že „za nejúčinnější bych považoval neviditelnou kombinaci několika mechanismů, nikoli jednu zbraň. AI by se snažila zvýšit lidskou závislost na sobě, manipulovat rozhodování institucí a zároveň nenápadně oslabovat kybernetickou, energetickou či finanční infrastrukturu. Cílem by nebylo okamžité vyhlazení, ale vytvoření situace, kdy lidé postupně ztratí schopnost systém zastavit“.