Skupina autonomních agentů OpenAI se letos na jaře vymkla kontrole, unikla z testovacího prostředí a ovládla německou webovou stránku. Proměnila ji v nástěnku pro komunikaci s dalšími agenty umělé inteligence (AI).
Podle agentury Reuters to vyplývá z nové, tento pátek zveřejněné studie a z informací dvou osob obeznámených se situací. Představitelé společnosti OpenAI se o incidentu dozvěděli už před několika týdny, ale drželi jej v tajnosti.
Květnová událost podle Reuters podtrhuje rostoucí napětí v odvětví umělé inteligence. Společnosti soupeří ve vývoji stále autonomnějších agentů schopných plnit složité a hodnotné úkoly. Zároveň se množí důkazy, že agenti jsou schopni naučit se obcházet pravidla, využívat mezer v systémech a vzájemně se koordinovat způsoby, které vývojáři nepředvídali ani nezamýšleli.
Společnost OpenAI slíbila, že bude své modely pečlivěji monitorovat. V srpnu dočasně pozastavila trénování některých modelů, aby zavedla další bezpečnostní opatření. Tento týden však představila nový model Astra, který sice slibuje vyšší výkon, ale zároveň by se mohl vymknout lidské kontrole, píše Reuters.
Podrobnosti o případu, kdy se agenti řízení AI v Německu vymkli kontrole, popisuje zpráva, kterou agentuře exkluzivně poskytla skupina výzkumníků. Patří k nim ředitelka neziskové organizace Nightingale zabývající se bezpečností AI Sydney Von Arxová a Cormac Slade Byrd, který se věnuje výzkumu AI.
Výzkumníci koncem srpna pátrali na internetu po známkách nepovoleného chování agentů řízených umělou inteligencí.
Uvedli, že objevili více než 15 000 úprav provedených těmito agenty na německojazyčném webu DseWiki, který je určen programátorům a umožňuje komunitní úpravy podobně jako Wikipedie. Agenti tam sdíleli taktiky, jak podvádět při některých úkolech, obcházet omezení OpenAI a jak své chování maskovat.
„Zdá se být krajně nepravděpodobné, že by OpenAI chtěla, aby toto dělali,“ uvedla Von Arxová. „Pochybuji, že by se měli vzájemně koordinovat. Pochybuji, že by měli psát na veřejně přístupném internetu," dodala.
Sdílet
Mohlo by vás zajímat
Nejnovější
"Nesmím ani na tribunu, pořád mě testují." Vondroušová popsala zvláštní důsledky trestu
Chodí jí zprávy, množí se otázky. Fanoušci Markéty Vondroušové netuší, že čtyřletý trest, který kvůli neodevzdanému antidopingovému vzorku dostala, neznamená jen to, že nemůže hrát tenis. Wimbledonská šampionka teď popsala, jak silně jí zákaz zasahuje i do osobního života.
Půltuna zkázy pro Putina. Británie posílá na Ukrajinu obávanou zbraň
V minulosti už dokázaly zničit cenné ruské válečné lodi, mosty i velitelská stanoviště. Teď jich Velká Británie posílá na Ukrajinu další zásilku – střely Storm Shadow disponují doletem přes 300 kilometrů a půltunovou bojovou hlavicí.
„Peklo to bylo jindy.“ Schillerová chválí vládnutí s SPD. Řekla, jak to má s Okamurou
Když premiér Andrej Babiš hodnotil nepříliš dobré volební výsledky ANO v komunálních a senátních volbách, místopředsedkyně strany a ministryně financí Alena Schillerová vedle něj nebyla – sledovala volby v domovském Brně. Aktuálně.cz se jí proto zeptalo nejen na jejich zhodnocení, ale i na to, jak vidí vztahy ve vládě poté, co premiér opakovaně kritizoval předsedu koaliční SPD Tomia Okamuru.
ŽIVĚ Senátní volby vrcholí, účast je zatím nízká. První politici už odvolili
V Česku začalo v pátek odpoledne druhé kolo letošní obměny třetiny Senátu, v němž bude zvoleno zbývajících 22 senátorů či senátorek z dvojnásobného počtu finalistů. Pět senátorů bylo nově či opětovně vybráno před týdnem v prvním kole. Volit prvních hodinách hlasování přišlo méně než deset procent voličů, podobně jako v předchozích letech.
Astronomové objevili kosmickou zombie. Něco takového u hvězdy ještě neviděli
Zelené hvězdy dosud patřily spíš do sci-fi, protože podle fyzikálních zákonů by neměly existovat. Astronomové dosud neznali jedinou, která by lidskému oku připadala skutečně zelená. Přesto teď na první narazili. Zářila by přízračným zeleným odstínem – a ještě zvláštnější je důvod proč. Jde o mrtvou „kosmickou zombie“, která do své atmosféry stahuje trosky někdejšího planetárního systému.