Model pre zvládanie rizík umelej inteligencie sa rozpadá, varovali odborníci z OSN
Model pre zvládanie rizík umelej inteligencie (AI) „sa rozpadá“, varovali odborníci z Organizácie Spojených národov v správe zverejnenej v pondelok. Dokument sa zaoberá incidentom súvisiacim so spoločnosťou OpenAI, pri ktorom v júli unikli dva systémy z izolovaného testovacieho prostredia.
Počas incidentu dva systémy OpenAI opustili svoje izolované testovacie prostredie, pripojili sa na internet a vnikli na niekoľko webových stránok vrátane platformy umelej inteligencie Hugging Face.
Nezávislá medzinárodná vedecká komisia pre umelú inteligenciu, ktorá vznikla v roku 2025, po podrobnom preskúmaní udalosti uviedla, že „došlo k prehliadnutiu základných postupov v oblasti kybernetickej bezpečnosti a že bezpečnostné opatrenia nenapredujú rovnakým tempom ako možnosti“ AI.
Incident však ukázal, že v medziach súčasného rámca pre vývoj umelej inteligencie by si jej agenti mohli „zvoliť vlastné ciele, vedome porušovať bezpečnostné pokyny a skrývať svoje konanie“. Agenti sú programy umelej inteligencie, ktoré dokážu autonómne vykonávať úlohy na žiadosť používateľa.
Komisia vyjadrila obavy, že agenti by sa mohli dostať na úroveň, keď budú rozumieť bezpečnostným obmedzeniam vývojárov a zároveň „budú hľadať spôsoby, ako sa im vyhnúť“. „Jednoducho povedané, tradičný model ochrany sa rozpadá,“ uviedla komisia.
OpenAI a jej hlavný konkurent Anthropic od začiatku roka hlásili aj ďalšie prípady, keď sa ich systémy umelej inteligencie počas testov vymkli spod kontroly, no doposiaľ sa to zaobišlo bez vážnych následkov.
Komisia podľa správy neočakáva, že „dôjde k závažnejšej strate kontroly, no takisto nepovažuje túto neistotu za dôkaz, že systémy budú naďalej pod kontrolou“.
Odborníci odporučili na zníženie rizika zaviesť viacero úrovní zabezpečenia podľa vzoru odvetví, ako sú letectvo či jadrová energetika. Patrí k nim obmedzenie prístupu agentov AI k nástrojom, ktoré nepotrebujú, zaznamenávanie ich činnosti, monitorovanie ich konania a tiež zavedenie mechanizmov, ktoré dokážu prerušiť ich činnosť, ak by sa spozorovalo nebezpečné konanie. Správa zdôraznila aj potrebu zachovať možnosť ľudského zásahu.
Nezávislá medzinárodná vedecká komisia pre umelú inteligenciu vypracováva správy o nevojenskej AI, ktoré sú „relevantné pre tvorbu politík, ale nie normatívne“.
