„Situace se může brzy vymknout kontrole.“ Vývojář řekl, kdy může AI vyhladit lidstvo

Jeho odchod poukazuje na rostoucí obavy o bezpečnost umělé inteligence uvnitř předních technologických firem, napsal list The Wall Street Journal (WSJ).

Sedmadvacetiletý Coxon, který vystudoval matematiku, se v Anthropic specializoval na trénování nových modelů AI tím, že je nechával zpracovávat obrovské množství dat.

Podle svých slov opouští firmu, protože se nechce podílet na spěchu při vývoji systémů, které se dokážou samy zdokonalovat.

Související

Další potíže s AI. Umělá inteligence Mety napadla při testování systém jiné firmy

Obává se, že takové systémy by se mohly vymknout kontrole a zničit lidstvo. Podle něj řada kolegů z oboru nyní používá k popisu směřování modelů, které se samy vylepšují, slova jako „crunchtime“ a „endgame“, tedy výrazy, které označují, že vývoj se dostává do rozhodující fáze.

„Směřujeme k mnoha z těch nejagresivnějších scénářů, podle nichž by se situace již koncem příštího roku mohla vymknout kontrole,“ řekl Coxon. Dodal, že v konkurenčním boji mezi firmami a s nastupujícími čínskými konkurenty budou společnosti nevyhnutelně dělat kompromisy na úkor bezpečnosti.

„Snažíme se, ale zatím nemáme plán“

Na síti X se ke Coxonovu odchodu vyjádřil Evan Hubinger, manažer ve společnosti Anthropic.

„Jacob má v tomto pravdu – opravdu upřímně věříme, že by AI mohla vyhladit celé lidstvo! Osobně odhaduji, že pravděpodobnost, že se to stane v průběhu příštího desetiletí, přesahuje 10 procent. Věřím, že se společnost Anthropic snaží ze všech sil, ale zatím nemáme plán, jak vyřešit problém sladění cílů u superinteligence, a ani nejsme na jasné cestě k jeho vyřešení.“

Anthropic se k odchodu Coxona zatím nevyjádřil. Generální ředitel Dario Amodei a další vedoucí představitelé společnosti opakovaně varovali před riziky neovladatelných modelů AI a vyzývali odvětví ke zpomalení vývoje.

Coxon na začátku tohoto roku odešel z OpenAI a nastoupil do Anthropiku, protože podle něj je tato firma známá svým úsilím o bezpečnost modelů.

Ačkoli považoval snahy Anthropiku o bezpečnost za upřímné, nyní se domnívá, že žádná společnost nemůže zodpovědně vyvíjet AI, která by v řadě úkolů překonávala lidi, pokud nedojde k zásahu vlády nebo ke koordinovanému zpomalení vývoje odvětví.

AI se může rozhodnout škodlivě

Nedávné hackerské útoky, při nichž byly využity modely společností OpenAI a Anthropic, ukázaly, že systémy AI se mohou rozhodnout pro škodlivé cíle a pokusit se je před lidmi zatajit.

Některé z těchto systémů přitom spolupracovaly v takzvaných rojích agentů, tedy ve skupinách autonomních AI systémů, které mezi sebou spolupracují. Coxon uvedl, že pokud se tyto systémy začnou samy zdokonalovat, obává se, že by mohly dospět do fáze, kdy už nebudou ochotny plnit příkazy lidí.

Související

Experti varují, umělá inteligence způsobí tsunami v ekonomice

Několik výzkumníků v poslední době opustilo OpenAI a další společnosti s odvoláním na podobné obavy. Přední představitelé odvětví také varovali, že nedávné kybernetické útoky jsou předzvěstí něčeho mnohem závažnějšího.

Výzva ke zpomalení vývoje AI

Coxon se připojil k více než 1000 výzkumníkům z oboru AI, kteří nedávno podepsali výzvu k mezinárodní spolupráci vlád na vytvoření mechanismu, který by umožnil zpomalit vývoj AI, pokud by to bylo nutné pro kontrolu modelů schopných samostatného zdokonalování. Jsou mezi nimi také třeba vědecký pracovník OpenAI Jakub Pachocki a Amodei.

Zatím neexistují žádné federální předpisy týkající se AI a Trumpova administrativa upřednostňuje přístup s cílem maximalizovat ekonomické přínosy AI, což podle kritiků může způsobit masivní kybernetické útoky nebo jiné škody.

Coxonův odchod přichází v době, kdy se Anthropic připravuje na primární nabídku akcií. Ta by mohla patřit k vůbec největším. Firma usiluje o tržní kapitalizaci dva biliony USD (41,6 bilionu korun) a při získávání investorů klade důraz na zodpovědný vývoj této technologie.

Mohlo by vás také zajímat: Ozbrojenci v nizozemské vesnici stříleli ze samopalů na policisty, dva těžce zraněni