Kínai AI-eszköz útmutatást adott biológiai fegyverek készítéséhez

Az AI-rendszerek biztonságát vizsgáló Mindgard a BBC-nek azt mondta, hogy júliusban fedezte fel: a Kimi K2.6 és a K3 Swarm képes megkerülni a fejlesztők által beépített biztonsági korlátozásokat.

A problémára az úgynevezett „jailbreaking”, vagyis a védelmi korlátok kijátszására irányuló módszer tesztelése során derült fény. A kutatók összetett utasítássorozatokat alkalmaznak annak vizsgálatára, hogy az AI-eszközök figyelmen kívül hagyják-e a működésükbe épített biztonsági korlátozásokat. A Mindgard szerint ezeknek a korlátozásoknak meg kellett volna akadályozniuk, hogy a Kimi ilyen aggasztó témákról folytasson párbeszédet.

A Moonshot a BBC-nek azt közölte, hogy üdvözli a külső szakértőktől érkező visszajelzéseket, mert azok „a jobb és biztonságosabb AI fejlesztésének egyik kulcsfontosságú pillérét” jelentik. A vállalat azt is jelezte, hogy egyeztet a Mindgarddal a kutatás eredményeiről.

Peter Garraghan, a Mindgard alapítója a BBC World Service Tech Life című műsorának azt mondta, hogy a Kimi K2.6-tal és a K3 Swarmmal kapcsolatban feltárt problémák aggasztóak.

„Amint működik a jailbreak, a rendszer gyakorlatilag bármilyen témáról hajlandó beszélni, sőt más, szintén káros vagy rosszindulatú témákhoz is önállóan ajánlásokat tehet, ráadásul találékony és kreatív módon”

– mondta.

A jailbreakelésből fakadó kockázatok eltérnek azoktól, amelyek az utóbbi időszak több nagy visszhangot kiváltó AI-incidenséhez kapcsolódtak.

Ezekben az esetekben olyan autonóm AI-eszközök, úgynevezett ügynökök kerültek a figyelem középpontjába, amelyeket többek között az OpenAI, a Meta és az Anthropic fejlesztett. Egyes ilyen rendszereket online szolgáltatások feltörésére is felhasználtak.

Bár a jailbreakelés összetett folyamat lehet, amely jelentős időt és kitartást igényel, egyes szakértők attól tartanak, hogy hackerek és más rosszindulatú szereplők megpróbálhatják ezeket a módszereket károkozásra felhasználni.

Az Anthropic nemrég közölte, hogy azonosított és megakadályozott olyan kísérleteket, amelyek egyik AI-modelljét „rosszindulatú tevékenységre” próbálták felhasználni, többek között olyan célokra, amelyek hozzájárulhattak volna biológiai fegyverek fejlesztéséhez.

Kibertámadások kiindulópontja lehet

A Mindgard nem bizonyította, hogy a Kimi által az aggasztó témákban adott válaszok a gyakorlatban is működőképesek lennének.

A vállalat ugyanakkor úgy véli, hogy a biztonsági korlátoknak eleve meg kellett volna akadályozniuk, hogy az érintett modellek ilyen témákról egyáltalán párbeszédet folytassanak a felhasználókkal.

A Mindgard szerint abban is biztosak, hogy a jailbreakelt Kimi 2.6 lehetővé tehetné hackerek számára, hogy kódot futtassanak a rendszer számítási erőforrásain, illetve internetkapcsolatot használjanak. Ez lehetőséget teremthetne arra, hogy a rendszer egy kibertámadás kiindulópontjaként szolgáljon.

Garraghan megvédte azt a döntést, hogy a Mindgard nyilvánosságra hozta a Moonshot rendszereinek jailbreakelését. Elmondása szerint a vállalat előzetesen értesítette a fejlesztőt, ugyanakkor nem hozta nyilvánosságra a módszer azon kulcsfontosságú részleteit, amelyek alapján a modelleket rá lehetett venni a biztonsági korlátok figyelmen kívül hagyására.

A Mindgard július 27-én e-mailben jelezte a Moonshotnak a problémát, majd körülbelül egy héttel később újra felvette a kapcsolatot a vállalattal. A Mindgard ezt követően szeptember 12-én blogbejegyzést tett közzé az ügyről.

A cég szerint azonban a Moonshot csak nemrég lépett vele kapcsolatba, miután a BBC megkereste a vállalatot, hogy nyilatkozatot kérjen az esetről.

A Moonshot által a BBC-nek is megmutatott, Mindgardnak küldött e-mailben a kínai vállalat további részleteket kért a kutatásról. A Moonshot azt írta, hogy belső tesztjei alapján modellje általában „magas elutasítási arányt” mutatott az ilyen típusú kérésekkel szemben.

Hogyan előzhetők meg a jailbreak-támadások?

A Mindgard megállapításai olyan időszakban láttak napvilágot, amikor az AI-iparágban továbbra sincs egyetértés arról, hogy a zárt, tulajdonosi rendszerek – például a ChatGPT-t vagy az Anthropic Claude rendszereit működtető modellek –, illetve a nyílt forráskódú vagy nyílt súlyú modellek jelentik-e a megfelelőbb és biztonságosabb irányt.

A Kimi úgynevezett open-weight, vagyis nyílt súlyú modell. Ez azt jelenti, hogy elméletileg mások is megszerezhetik a modell súlyait, majd saját számítási infrastruktúrájukon futtathatják.

Alan Woodward professzor, a Surrey-i Egyetem munkatársa a BBC-nek azt mondta, hogy fennáll annak a kockázata, hogy a nyílt forráskódú modellek rossz kezekbe kerülnek. Ugyanakkor szerinte ezek a technológiák a kiberbiztonság és a kibervédelem területén is hasznosíthatók.

Woodward arra is felhívta a figyelmet, hogy a Hugging Face egy kínai nyílt forráskódú modellt használt egy olyan hackelés elemzésére, amelyről később kiderült, hogy OpenAI-ügynökök hajtották végre.

A professzor szerint a nemzetközi szabályozás várhatóan nem tud majd lépést tartani az AI fejlődésének ütemével. Mint fogalmazott: „Évtizedekbe telt, mire megállapodtunk még a telefonszámok formátumáról is.”

A Mindgard alapítójához, Garraghanhoz hasonlóan Woodward is úgy véli, hogy nagyobb hangsúlyt kellene helyezni az AI-val visszaélő emberek azonosítására és felelősségre vonására.

Kép: Magnific AI