Omylem zatčeni umělou inteligencí. Když o vaší vině může rozhodnout chybující algoritmus

Chybná identifikace předmětu umělou inteligencí a následná lidská rozhodnutí proměnila běžný večer v traumatizující konfrontaci.

Není to ojedinělý exces tohoto typu. V červenci téhož roku policisté s pistolemi v rukou zatkli Angelu Lippsovou, babičku z Tennessee, zatímco hlídala svá čtyři vnoučata. Software pro rozpoznávání obličeje ji nesprávně spojil s podvodnými trestnými činy v Severní Dakotě, kterou přitom nikdy nenavštívila. Přesto strávila ve vězení pět měsíců a propuštěna byla až na Štědrý den.

Související

Uživatelé už nedokážou rozeznat realitu. Deepfakes námi manipulují, varují experti

Případů, kdy na základě omylu umělé inteligence byli zadrženi, a někdy dokonce dlouhé měsíce vězněni lidé, zmapoval americký list Washington Post celkem osm. A dost možná jich bude víc. Jak totiž novináři zjistili, z 23 zkoumaných policejních útvarů jich 15 zadrželo lidi, kteří byli identifikováni umělou inteligencí jako podezřelí, aniž by zkoumali, zda existují jakékoli jiné nezávislé důkazy spojující je s trestným činem.

I stroj se může splést

Jak je možné, že k podobným přešlapům dochází? Kámen úrazu spočívá v diametrálním rozdílu mezi tím, k čemu byla technologie rozpoznávání obličejů navržena a jak je reálně využívána v terénu. Téměř každá oficiální policejní směrnice, stejně jako metodické příručky technologických firem, výslovně uvádí, že výsledky generované umělou inteligencí mají sloužit výhradně jako nezávazná vyšetřovací stopa, nikoli jako samostatný důvod k zatčení.

Algoritmus neurčuje identitu pachatele s absolutní jistotou; pouze na základě matematických modelů porovnává geometrii obličeje a nabízí seznam osob s nejvyšší procentuální shodou.

Analýza The Washington Post nicméně ukazuje, že většina policejních oddělení běžně využívá umělou inteligenci jako hlavní a usvědčující důkaz. Detektivové často nepodnikají žádné další kroky, aby prověřili, zda se vytipovaný člověk mohl v době činu na místě nacházet.

Související

Sedmnáctiletý Ukrajinec vyvinul dron na rozpoznávání min. Získal za něj světovou cenu

Jakmile počítač „ukáže prstem“ na konkrétní tvář z databáze, vyšetřování se de facto uzavírá a pravděpodobnost vypočítaná umělou inteligencí je v soudních síních a policejních protokolech prezentována jako nezvratný fakt.

Proč kriminalisté tak snadno podléhají verdiktům softwaru? Odborníci tento fenomén nazývají automatizačním zkreslením – lidé mají přirozenou tendenci důvěřovat rozhodnutím elektronických systémů a považovat je za objektivnější než lidský úsudek.

V momentě, kdy systém rozpoznávání obličejů policistovi nezobrazí pouze samotnou tvář, ale doprovodí ji i biografickými údaji (například trestní minulostí dotyčného), dochází navíc k takzvanému potvrzovacímu zkreslení.

Detektiv, který zjistí, že daná osoba byla před pěti lety zadržena za drobný delikt, přestane hledat jiné podezřelé a veškeré své úsilí zaměří pouze na shromažďování indicií, které teorii o vině podporují. Tento proces navíc infikuje i následné tradiční vyšetřovací metody.

Související

34:58

Velkou hrozbou je naše lenost. Odborník řekl, co by nenechal dělat umělou inteligenci

Pokud policie ukáže fotografii vygenerovanou AI očitému svědkovi v rámci rekognice, pak svědek, často ovlivněn autoritou policie a sugestivním výběrem, chybné určení potvrdí. Tím se kruh uzavírá: uměle vytvořený omyl stroje je legitimizován lidským svědectvím, které by bez prvotního zásahu AI vůbec nevzniklo.

Rasistická AI?

Jak ukazují výsledky studie zveřejněné loni v časopise Psychological Trauma, existují tři hlavní proměnné, které u technologie rozpoznávání obličejů zvyšují pravděpodobnost falešných výsledků. Ukázalo se, že s rostoucím objemem srovnávací databáze stoupá riziko nalezení náhodné vizuální shody.

Studie také prokázala, že algoritmy často chybují při identifikaci příslušníků etnických menšin, zejména osob s tmavou pletí. Souvisí to s tím, že byly trénovány primárně na fotografiích lidí s pletí bílou. Konečně za třetí spolehlivost systému dramaticky snižuje špatná kvalita zdrojové fotografie.