Kvůli pandemii covidu a hrozbě rozšíření ruské invaze na Ukrajinu v jadernou válku žijeme v době, kdy si řada lidí uvědomuje, že tady lidstvo nemusí být věčně. Lze říct, že jsme blíže zániku, než jsme byli třeba před třemi lety?
To si nemyslím. Nedávné katastrofy lidem spíše připomněly, že rizika existují. Covid měl k existenčnímu riziku daleko, ale ukázal, jak silně jsou státy na podobné události nepřipravené. Válka zase ukazuje, že náš každodenní svět je méně stabilní, než si často myslíme. Ve větším ohrožení než předtím ale nejsme.
Globálními riziky, která mohou zničit lidstvo, se zabýváte na Oxfordské univerzitě a nyní i v Praze. Co tedy podle vás v současnosti lidstvo ohrožuje nejvíce?
Řada rizik, která lidi napadnou jako první, je velmi nepravděpodobná. Například taková srážka s velkým asteroidem. Ty máme alespoň zhruba zmapované, takže víme, že riziko srážky je velmi malé.
Co naopak roste, jsou rizika spojené s technologiemi. Vychází nám, že v příštích desítkách let je pro nás největším rizikem možné nezvládnutí vývoje umělé inteligence.
Miliardář a podnikatel Elon Musk před časem řekl, že umělá inteligence představuje větší riziko pro lidstvo než jaderná válka. Souhlasil byste s tímto výrokem?
S tím bych souhlasil.
To může být pro řadu lidí překvapivé. Nebezpečí umělé inteligence přece jenom působí jako klišé z hollywoodských filmů.
Přesně to je jeden z problémů našeho oboru. Lidé si umělou inteligenci spojují se sci-fi. Ovšem to, že se o něčem točí hollywoodské filmy, ještě neznamená, že ten problém reálně neexistuje. I o globální pandemii se točily katastrofické filmy a pak přišel covid. Ačkoli způsob zpracování samozřejmě reálný moc nebývá.
Jak si můžeme hrozbu spojenou s rozvojem umělé inteligence představit? Počítám s tím, že ne jako střílející roboty.
Střílející roboti to samozřejmě nebudou. Vzal bych to z jiného úhlu pohledu. Jedním z důvodů, proč se stal člověk na planetě dominantním, je jeho inteligence. A nejen to, dokáže také například spolupracovat ve velkých skupinách a sdílet své myšlenky.
Když se ovšem na vývoj lidstva podíváte z pohledu šimpanze nebo mamuta, tak pro ně se v jeden moment začalo dít něco, čemu přestali rozumět. Dnes si lidé šimpanze dovedou ochočit nebo jej zabít ohromným množstvím způsobů, kterým už vůbec nerozumí. Šimpanz nechápe, co se stalo, když ho zasáhne uspávací injekce.
A do podobného stavu bychom se mohli dostat i my ve chvíli, kdy ztratíme kontrolu nad umělou inteligencí.
Jak k něčemu takovému vůbec dojdeme? Vymyslíme stroj, který v něčem předčí člověka?
Stroje, které něco dělají lépe než lidé, vytváříme už dlouho. Například kalkulačka umí násobit dlouhá čísla lépe než já. Ale samozřejmě řeší jen velmi úzký problém. Co se však mění: algoritmy začínají konkurovat lidem ve věcech, které jsou důležité pro jejich dominantní roli na planetě - například výzkum, řízení korporací. Lze si představit, že část tohoto časem nahradí algoritmy. A ty budou pro lidi čím dál méně srozumitelné.
Vývoj se pak bude postupně zrychlovat, takže si můžete představit svět, kdy 10 procent světové ekonomiky bude tvořit umělá inteligence. A pak se můžeme dostat do stavu, kdy budou mít lidé minimální vliv na budoucnost a rozhodování bude spíše algoritmické.
Myslíme si, že je nadpoloviční pravděpodobnost příchodu transformativní umělé inteligence v období nízkých desítek let. Je to něco, čeho se dožijeme. Riziko, že bychom mohli během desítek let vyhynout kvůli umělé inteligenci, není zanedbatelné.
Jak by nás tato umělá inteligence mohla ohrozit?
Dost se bráním popsat jeden nějaký konkrétní scénář. Pokud je nějaký systém mnohem inteligentnější než já, tak logicky dovede vyvinou způsoby, jak mě omezit nebo ohrozit, které si ani nedovedu představit.
Část lidí, kteří se riziky umělé inteligence zabývají, si myslí, že někdo zapojí rozsáhlý systém, ten nějak unikne a velmi rychle nad ním ztratíme kontrolu. Mohlo by se pak stát i to, že budeme všichni najednou mrtví a nebudeme vědět proč.
Já osobně si spíš myslím, že pravděpodobnější je nějaká plynulá ztráta kontroly. Nenastane nic radikálního, ale spíš se dostaneme do stavu, kdy nebudeme rozumět tomu, co se se světem děje, a nebudeme mít možnost to ovlivnit. Nebo budeme mít najednou představu o nějakém nereálném obrazu světa, ve kterém budeme spokojení a nebudeme si stěžovat, ale o ničem nebudeme rozhodovat.
Když vám ale popíšu nějaký velmi konkrétní scénář, tak byste namítl, že něčemu takovému se dá zabránit předem nebo to jde snadno vyřešit. Jenomže to je ten problém, který jsem popisoval před chvílí. Jenom bychom se tady bavili jako dva šimpanzi, kteří si také ani nedovedou představit většinu způsobů, jak je mohou lidé ohrozit.
Řešení, která jsme si nepředstavovali
Proč by nám ale umělá inteligence měla chtít ublížit? Platí představa z hollywoodských filmů, že bude zlá?
Ne, to si nepředstavujeme. Spousta lidí má tendenci si uměle inteligentní systémy moc zlidšťovat, že budou zlé a podobně. Reálná obava je spíš z toho, že ze svého pohledu budou plnit nějaké zadání, které jsme jim dali, ale mohou to udělat způsobem, který jsme si nepředstavovali.
Příkaz si tedy špatně vyloží?
Ne, spíše ho třeba provedou doslova nebo úplně jinak, než jsme mysleli. Anebo bude mít řešení nějaké nečekané vedlejší efekty.
Absurdní příklad: představte si černou krabičku, které řeknete, že chcete, aby byli všichni šťastní. A krabička si řekne, že štěstí je korelát (souvztažnost, pozn. red.) nějakých chemikálií v mozku, a vymyslí způsob, jak všem dát injekci s nějakými chemikáliemi. Všichni pak budeme v nějakém stavu šťastného opojení pod vlivem nějakých látek. Jenže to asi není úplně to, co jsme chtěli.
Takových příkladů najdeme spoustu už dnes. Představte si, že chcete, aby vám jednoduchý program z dřívek sestavil věž, a tak mu zadáte, aby bylo jedno dřívko po patnácti vteřinách v určité výšce. To zní jako dobře specifikovaný problém. Místo očekávatelné věže ale systém sestrojí katapult, kdy se dřívka nějakým zajímavým způsobem zřítí, jedno z nich vyletí nahoru a přesně v době měření se dostane na zadanou výšku. Systém tedy zadání splnil, jenom prohledal větší prostor řešení, než jsme si představovali.
Jiný příklad by byl třeba algoritmus, který na nějaké internetové platformě dostane zadání zařídit, aby lidští uživatelé na stránce trávili co nejvíce času a podle toho jim zobrazoval obsah. Hypotetický vedlejší efekt tohoto může být třeba politická radikalizace.
Jan Kulveit (39)
- Český vědec, zabývá se problematikou globálních rizik
- Vystudoval obor Teoretická fyzika na Univerzitě Karlově
- Od roku 2018 působí na Institutu budoucnosti lidstva Oxfordské univerzity
- Od ledna vede vlastní výzkumnou skupinu v Centru pro teoretická studia, které je společným pracovištěm Univerzity Karlovy a Akademie věd
- Je členem Spolku pro efektivní altruismus, který se zaměřuje na řešení globálních problémů pomocí vědeckých a racionálních metod
Problém je tedy spíš v našich příkazech?
Část problému je spíš v tom, že neumíme dost dobře specifikovat, co chceme. Když zadáváme úkol člověku, máme podobné porozumění světu i podobné schopnosti. To u umělé inteligence neplatí.
Hrozí také, že by umělou inteligenci někdo zneužil?
Ano, i to se může stát. To, že nějaký člověk dá systému nebezpečné zadání, se nám možná představuje snadněji.
Jak se dají tyto problémy vyřešit?
Nabízí se několik řešení. Pokud systém například zjistí, že si není jistý, že to, co navrhuje, považuje za bezpečné, mohli bychom po něm chtít, ať to s námi probere. Ale zde je zase problém, aby tyto systémy byly kompetitivní. Když si představíte programy, které obchodují na burze, tak část z nich obchoduje extrémně rychle. Pak není reálné, že by to člověk zkontroloval, protože na to potřebuje půl hodiny.
Také se můžeme více snažit lépe rozumět tomu, co se v těch strojích děje.
Takže ačkoli jsme tyto stroje sami vymysleli, tak jim dost dobře nerozumíme?
Víme, co se tam děje na mikroúrovni. Víme, jak se systémy učí. Když se změní jedno číslo v řadě, tak víme, jak se změní ta další. Jenže těch čísel jsou třeba desítky miliard. Stejně tak máme nějakou představu o tom, jak funguje neuron, a máme mapy sítě tisíců neuronů. To nám ale moc neřekne o úrovni myšlenek.
Dokážeme poznat moment, kdy už bude hrozit, že se nám umělá inteligence vymkne z rukou? Nebo nebudeme nic tušit, pak jednou někdo zapojí počítač do zásuvky a všichni umřeme?
Na tom se v oboru neshodneme. Víme, že nás naše současné technologie tímto způsobem neohrozí. Technologie, které budeme mít za půl roku taky ne. Ale nevíme, jestli poznáme, až takové technologie mít budeme.
V minulosti jste uvedl, že by se do výzkumu rizik umělé inteligence mělo investovat podobně jako například do zkoumání klimatické změny.
Ano, v tomto kontextu jde o opravdu podceňovaný problém. Neříkám, že se v tomto ohledu neděje nic. Ale když si vezmete, kolik mentální kapacity lidstva se spotřebuje na věc typu algoritmického zobrazování reklamy, tak je ten problém velice podceněný. Lidstvo by se na to určitě mělo více zaměřit a zamyslet se například právě nad tím, co může být signálem nebezpečí.
Veřejnost vás může znát spíše jako jednoho z expertů skupiny MeSES, která během covidu radila se zvládáním pandemie. Poučilo se podle vás lidstvo z pandemie?
Na příští pandemii by lidstvo reagovalo určitě lépe. Nevím ovšem, jestli se nějak poučilo ohledně věcí, které by snížily riziko, že pandemie vůbec vypukne. Čekal bych, že lidstvo bude jako celek o něco rozumnější a bude investovat do toho, jak co nejdříve odhalit nová onemocnění. Jenže to se děje daleko méně, než by se hodilo.
Bohužel politická reprezentace často směřuje k těm řešením, která jsou vidět. Něco se stane a následuje silná reakce. Část nejlepších reakcí ale vypadá tak, že se na první pohled nic neděje. Dobrá požární bezpečnost nevypadá jen tak, že někam nastoupí masivní jednotka, která začne hasit obří požár, ale spíš tak, že ani nezačne hořet. A podobná věc hrozí i problému s umělou inteligencí.
