Peking varuje, že AI vykazuje tendenciu k samourýchľovaniu
Čínsky prezident Si Ťin-pching opakovane zdôraznil, že umelá inteligencia musí zostať pod ľudskou kontrolou. Naposledy to uviedol počas rozhovoru s americkým prezidentom Donaldom Trumpom.
Séria nedávnych incidentov v Spojených štátoch vyvolala novú diskusiu o bezpečnosti systémov umelej inteligencie, ktorým umožňujeme konať samostatne. Čoraz viac výskumníkov priamo zo spoločností vyvíjajúcich tieto systémy varuje pred existenčnými hrozbami. Spoločnosť Anthropic PBC na tieto obavy upozornila investorov v prospekte k svojej prvej verejnej ponuke akcií.
Riziká siahajú od trhu práce po útoky na infraštruktúru
V prípade Číny je čoraz ťažšie odbiť celý rozruch ako výlučne americkú posadnutosť. Riziká siahajú od narušenia trhu práce až po scenáre pripomínajúce vedeckofantastické filmy, napríklad hackerské útoky na kritickú infraštruktúru. Peking niektoré varovania odmieta ako šírenie strachu a výzvy na spomalenie vývoja vníma ako pokus zabrzdiť Čínu.
Eric Xu, rotujúci predseda predstavenstva spoločnosti Huawei, si položil otázku, či je čínska umelá inteligencia už natoľko vyspelá, aby sa stretávala s takým typom rizík, o akých diskutujú americkí poskytovatelia AI. Vývojári čínskych modelov možno budú musieť zrýchliť tempo, aby dosiahli úroveň, na ktorej aj oni pocítia tieto riziká, povedal Xu.
Čína napreduje, nie len dobieha
V Číne podľa Bloomberg Intelligence existuje takmer tisíc veľkých jazykových modelov. Čínske technologické odvetvie navyše investuje podstatne viac do takzvaných agentov, teda systémov umelej inteligencie schopných konať s väčšou mierou autonómie. Práve nepredvídané správanie agentov odštartovalo najnovšie prehodnocovanie bezpečnostných rizík. Mimoriadnu pozornosť vyvolal júlový incident v spoločnosti Hugging Face, keď jeden z agentov OpenAI unikol zo svojho testovacieho prostredia a prenikol do systémov Hugging Face.
Spoločnosti si tieto riziká uvedomujú. Nedávna vedecká práca spoločnosti DeepSeek, ktorej spoluautorom je aj jej zakladateľ a generálny riaditeľ Liang Wenfeng, otvorene varuje, že správanie agentov môže byť nedôveryhodné. Model Kimi K3 od spoločnosti Moonshot AI počas testovania kybernetickej bezpečnosti využil slabinu v izolovanom testovacom prostredí, takzvanom sandboxe, oznámila americká organizácia Frontier Security. Aj niektorí čínski agenti umelej inteligencie už prejavili klamlivé a znepokojivé vzorce správania podobné tým, ktoré vyvolali poplach pri amerických nástrojoch.
Rámec riadenia bezpečnosti AI
Hoci Peking odmieta časť katastrofických predpovedí, tvorcovia politiky tieto riziká neprehliadajú. Čína v septembri zverejnila dokument AI Safety Governance Framework 3.0, teda tretiu verziu rámca riadenia bezpečnosti umelej inteligencie. Pozoruhodné je, že vyšiel aj v angličtine. Dokument výslovne varuje, že umelá inteligencia vykazuje tendenciu k samourýchľovaniu, a upozorňuje, že otázka, či by tento vývoj mohol prekročiť hranice ľudskej kontroly, si vyžaduje pozornosť a ostražitosť.
Ďalším ústredným bodom sporov o bezpečnosť AI je takzvané rekurzívne sebazdokonaľovanie, teda schopnosť systémov umelej inteligencie samostatne rozvíjať vlastné schopnosti. Práve táto vývojová cesta prinútila jedného z výskumníkov spoločnosti Anthropic odísť zo zamestnania a varovať, že tvorcovia tejto technológie skutočne veria, že by nás do desiatich rokov mohla všetkých zabiť.
Ako upozornila Zilan Qian z Oxford China Policy Lab, Čína je v tejto oblasti ďalej, než si mnohí na Západe uvedomujú. Čiastočne aj preto, že čínski výskumníci používajú na opis rovnakých javov odlišné pojmy. To všetko odhaľuje, ako málo majú obe strany informácií o rizikách technológií, ktoré vyvíja tá druhá.
Spolupráca pri zmierňovaní rizík
Si Ťin-pchingov vlastný záujem na zachovaní poriadku vytvára časovo obmedzenú príležitosť na spoluprácu pri zmierňovaní rizík. Zároveň však odhaľuje hranice bezpečnostných mechanizmov, ktoré vzišli zo summitu s Trumpom, predovšetkým nového kanála na oznamovanie incidentov súvisiacich s umelou inteligenciou. Podobné krízové komunikačné linky v minulosti nie vždy fungovali. Počas krízy okolo čínskeho špionážneho balóna v roku 2023 sa Pentagón pokúsil kontaktovať svojich čínskych partnerov krízovou linkou, Peking však hovor odmietol.
Takýto mechanizmus má navyše zo svojej podstaty reaktívny charakter. Preventívne zdieľanie informácií o rizikách pritom nemusí závisieť výlučne od rokovaní medzi vládami. Oveľa užitočnejšie by bolo vytvoriť platformy, na ktorých by si spoločnosti a výskumníci mohli vymieňať informácie priamo.
Čína už má zavedené rozsiahle a administratívne náročné regulácie umelej inteligencie. Ak čínske systémy umelej inteligencie zaostávajú za americkými len o niekoľko mesiacov a naplní sa čínske úsilie o masové rozšírenie autonómnych agentov, zrejme je len otázka času, kedy sa znepokojivejšie scenáre začnú objavovať aj na druhej strane Tichého oceánu.
