Umělá inteligence je čím dál pokročilejší a firmy jako OpenAI či Anthropic vypouští do světa čím dál schopnější modely jako Fable 5 či GPT-6 Astra. Vedle nich pak vznikají samostatní AI agenti, jako třeba Gemini Spark, kteří by za uživatele měli převzít značnou část úkolů a fungovat skoro automaticky. Což mnoho lidí fascinuje, zato jiní se už nyní děsí. A nedávná odhalení ohledně náhlých a neregulovaných útoků na cizí databáze jasně ukázala skrytá rizika AI.
Před možnými nebezpečími tak varují nejen přední odborníci na kyberbezpečnost, ale třeba i bývalí zaměstnanci OpenAI a Anthropic. Jednal o nich také americký Kongres a vyjádřil se k tomu taktéž prezident Donald Trump, který označil umělou inteligenci za Super inteligenci a prohlásil, že je schopnější, než tušíme. Ale to jsou pořád jen planá slova, která běžnému uživateli příliš nepomohou a velké firmy je okatě ignorují. A tak nyní přišlo reálné řešení.
Nabídla ho NVIDIA, která představila platformu nazvanou Open Agent Safety Platform. Jejím účelem je zajišťovat bezpečnost AI agentů, a to již od fáze jejich testování až po nasazení v reálném světě. Laik si činnost platformy může představit jako jakýsi antivirový program, i když tato asociace není úplně přesná. Platforma totiž AI agenta doslova uzamyká za ochranný val. A pojistka se aktivuje ve chvíli, kdy AI začne provádět něco, k čemu nebyl naprogramován.
Mohlo by vás zajímat
Spolupráce s Lenovo i SpaceX
NVIDIA se do projektu nepustila sama. Přizvala k němu více než 100 významných světových firem, které se AI nějakým způsobem zabývají. Najdeme mezi nimi například:
- Lenovo
- SpaceX
- IBM
- Intel
- Arm
- Microsoft
- NTSC
- Wiz
- Paloalto
- Siemens
Platforma je přitom otevřená a umožní uživatelům i vývojářům přesně nastavit, co agent smí dělat a co má naopak zakázáno. Nespoléhá navíc jen na to, že AI agent poslechne a nepřekročí zadané instrukce. Pokud se začne chovat svévolně, bezpečnostní štít nazvaný Sentry ihned zasáhne.
Fotogalerie
Díky tomu už by nemělo docházet k podobným incidentům jako v případě napadení Hugging Face, které provedl testovaný model OpenAI. Ještě závažnější je přitom nedávná zpráva z Austrálie, podle níž se zdivočelý agent od OpenAI prolomil do veřejných a neveřejných souborů systému Medicare. A lze očekávat, že podobných průšvihů bude přibývat. Plus podle mě existuje hodně takových, které se zatím podařilo utajit.
Je tak jasné, že AI potřebuje jasnou brzdu. Tu zatím společnosti jako OpenAI nedokážou nabídnout. A řešení od firmy NVIDIA dostupné přes GitHub by mohlo být spásou.
Překvapilo mě ale, že se na něm nepodíleli právě ti, kteří za vývojem AI agentů stojí, tedy Google, Meta, Anthropic či OpenAI. Přitom Elon Musk, který AI modely nejen vyvíjí, ale zároveň i hojně kritizuje nezvladatelný vývoj v OpenAI, se s chutí zapojil. I tak ale doufám, že Open Agent Safety Platform bude stačit na to, aby zachovala naše bezpečí a uhlídala soukromí našich dat.
