Praha - Umělá inteligence blafuje a umí na člověka připravit léčku. Má něco, čemu lze říkat intuice, a díky ní dokáže porazit nejlepší světové hráče pokeru. Zpráva o tomto přelomu, který se dle některých odborníků neměl umělé inteligenci nikdy podařit, vzbudila po světě rozruch. Ještě více potěšující zprávou pro českou vědu je, že za programem stojí i tři čeští vědci.
Využití umělé inteligence se schopností blafovat je veliké. Podobný program, který porazil pokerové hráče, by mohl vyjednávat různé dohody, od ubytování v hotelu po miliardové kontrakty. Využití by našel i v medicíně a další dlouhé řadě jiných oborů.
Mezi autory programu DeepStack jsou Martin Schmid a Matěj Moravčík z Matematicko-fyzikální fakulty Univerzity Karlovy. Třetím členem českého týmu je Viliam Lisý z Centra umělé inteligence na ČVUT. "Na Albertské univerzitě v Kanadě program rok připravovalo 10 lidí," říká Viliam Lisý. "Tři z nich byli z českých univerzit. O podílu jejich práce svědčí i to, že kybernetikové z matematicko-fyzikální fakulty jsou v citacích uvádění na prvních místech." Ve čtvrtek zamířil článek českých vědců i do jedné z nejprestižnějších světových publikací Science.
Hra s neúplnou informací
Poker představuje hru, která - na rozdíl od šachů - není jen o kombinačních schopnostech a paměti, ale do značné míry také o intuici, psychologii a štěstí. Nevypočitatelnost výsledků prohlubuje i významná role náhody zabudovaná v pravidlech.
Odborníci o pokeru mluví jako o hře s nekompletními informacemi, ve které hráči během hry nemají k dispozici stejné informace a stejný pohled na hru, protože část karet zůstane až do konce skrytá. To je důvod, proč se počítači podařilo nad lidským velmistrem (Garry Kasparovem) zvítězit už roku 1997, zatímco poker představoval mnohem obtížnější výzvu a někteří odborníci dokonce věřili, že vítězství stroje nad člověkem v této hře není možné.
"Algoritmus DeepStacku je přelomový, protože se nám podařilo přenést myšlenky, které byly klíčové ve hrách s úplnou informací, do světa her s neúplnou informací," uvádí Martin Schmid. "Dosud nebylo jasné, zda je podobný přístup vůbec možný."
DeepStack umožňuje vypočítat vhodnou strategii pro situaci v pokeru, až když nastane, tedy bez nutnosti uvažovat o celé hře předem naráz, což dosud byl převládající přístup.
Úspěch byl možný především tím, že v programu se uplatnily prvky umělé inteligence a schopnost učit se na základě využití principu neuronových sítí. Jde o síť vzájemně propojených prvků, která se učí tak, že (velmi zjednodušeně řečeno) kladná odezva na vykonanou akci posiluje použité struktury sítě. Podobně jako se děje při učení v lidském mozku.
V případě DeepStacku jde o takzvanou hlubokou neuronovou síť, která vyhodnocuje jednotlivé pokerové informace, jde tedy o jistou formu intuice, kterou algoritmus využívá pro správná rozhodnutí.
Uplatnění proti hackerům i cukrovce
Uplatnění těchto postupů se zdaleka netýká jen hazardních her; strategie se hodí například ve finančnictví, nejrůznějších druzích vyjednávání, v medicíně, ve válečnictví nebo při řešení bezpečnostních problémů.
"V reálných situacích se jednotlivé strany jen velmi zřídka rozhodují na základě úplných a totožných informací," vysvětluje Michael Bowling z Albertské univerzity, který tým vedl. "Proto je pokrok v řešení her s neúplnou informací zásadní pro praktické informace," dodává.
"Algoritmus je možné použít například při hledání strategie v takzvaných extenzivních hrách," upřesňuje Viliam Lisý. "Jde o hry, v nichž se dvě strany snaží o protichůdné cíle. Příkladem v praxi je třeba střetnutí hackera s administrátorem počítačové sítě, kde neúplnost informace spočívá v tom, že ani jeden z nich nemá informace o tom, co ten druhý ví. Podobnou úlohu představují nejrůznější kontrolní mechanismy, například revizor versus černý pasažér. V medicíně zase třeba dávkování inzulínu, kdy na jedné straně je dávka účinné látky v injekci, na druhé straně složité procesy v těle."
Využití v politice, mezinárodních konfliktech nebo ve vojenství by bylo podle Viliama Lisého složitější: "V pokeru jsou jednoduchá pravidla, zatímco v těchto případech do hry vstupuje mnohem více faktorů. Sestavení modelu by tedy bylo mnohem obtížnější a výsledky méně jisté."
"Podobně jako v případě člověka, musí i DeepStack svoji intuici trénovat hraním mnoha pokerových partií," říká Matěj Moravčík. "Naše síť v průběhu učení viděla miliony pokerových situací," upřesňuje.
Při tréninku vědci používali superpočítač, který hrál sám proti sobě. Tak se hluboká neuronová síť učila. "V samotném turnaji ale program běžel na běžné grafické kartě se stejným výkonem, jaký má doma každý milovník počítačových her," říká Lisý.
Stroje proti karbaníkům
DeepStack dosáhl svého historického vítězství při pokerovém turnaji v prosinci 2016 proti výběru třiatřiceti profesionálů ze 17 zemí, které do boje s ním vyslala Mezinárodní federace pokeru. Hrálo se v dvouhráčovém no-limit Texas Hold´em pokeru. Každý z nich měl možnost s počítačem během 4 týdnů sehrát 3000 her. Všechny dohrálo jen 11 hráčů - a každého z nich program porazil i individuálně. Pouze v jednom případě výhra nebyla statisticky průkazná.
První týmy vyvíjející neživé hráče pokeru vznikly na špičkových univerzitách teprve před několika lety, protože úkol se dlouho zdál být příliš složitý. Vědci z University of Alberta, Carnegie Mellon University, University of Auckland a také z Neo Poker Laboratory to ale nedělali kvůli výhrám v turnajích (které se často pohybují v milionech dolarů - rekordní výhra Jerryho Yanga z roku 2007 dosáhla úctyhodných 59 784 954 dolarů), ale jako výzvu pro vývoj umělé inteligence.
První turnaj kybernetických hráčů pokeru se uskutečnil roku 2005 pod názvem World Series of Poker Robots - kde jinde než v Las Vegas. Tehdy šlo ještě spíš o předvedení programů, které nehrály proti lidem - ale o 10 let později už si robotičtí gambleři troufli i na živé hráče. Na turnaji The 2015 Brain vs AI sice ještě nevyhráli, ale program Claudico z Carnegie Mellon si nevedl špatně. Jeho autoři loni vyvinuli i program Libratus, který si vedl úspěšně proti trojici profesionálních hráčů na dalším ročníku stejné soutěže.
