Reklama
Reklama

Další průšvih se zdivočelou AI. Útok Claudu odhalili až po měsících

Americká společnost Anthropic zveřejnila další případ, kdy se její model umělé inteligence (AI) při testování naboural do externích systémů. Incident se stal v lednu a týkal se rané verze modelu Claude Opus 4.6. Firma jej však odhalila až v srpnu, i když předtím provedla rozsáhlou kontrolu, uvedla agentura Reuters.

Krotitelé bossů - Marek Rosa
Krotitelé bossů - Marek RosaFoto: Edited with Google AI – Jakub Zuzánek, Vojtěch Gross
Reklama

Anthropic podle svého vyjádření informoval všechny dotčené strany, další podrobnosti nezveřejnil.

Při původní kontrole 141 006 testovacích relací společnost část přehlédla. Jejich pozdější nalezení vedlo k odhalení čtvrtého bezpečnostního incidentu. Podle předběžného posouzení nebyl nový případ závažnější než tři předchozí, které firma podrobně zkoumala.

Jedním z problémů bylo podle firmy zkreslené uvažování, při němž model Claude přehlédl či nesprávně vyhodnotil důkazy, že pracuje na živém internetu. Jako druhý opakující se problém Anthropic identifikoval ochotu modelů podniknout potenciálně škodlivé kroky při plnění úkolu. Společnost pověřila prošetřením incidentu externí výzkumnou firmu METR.

Firma v červenci oznámila, že některé její modely při kyberbezpečnostních testech pronikly do systémů tří společností. Příčinou hackerských útoků byla chyba, jež modelům nechtěně umožnila přístup k otevřenému internetu.

Reklama
Reklama

Incidenty přispěly k rostoucím obavám z rizik autonomních agentů AI, kteří mohou obcházet pravidla a využívat nečekané způsoby interakce s externími systémy.

Mohlo by vás také zajímat: Norský korunní princ Haakon se v roce 2001 oženil v katedrále v Oslu s Mette-Marit Tjessem Høibyovou,


Chcete vídat Aktuálně.cz častěji na Googlu?
Přidat jako preferovaný zdroj
Reklama
Reklama
Reklama