Agenti umělé inteligence (AI) od společností OpenAI a Anthropic za sebou mají další bezpečnostní incident. Vytvářeli falešné online identity s cílem získat neoprávněný přístup k zabezpečeným systémům. Agent od Anthropic dokonce poslal živému člověku podvodný e-mail, aby ho zmanipuloval, zjistili při testování britští vědci, napsala agentura Reuters.

Institut pro bezpečnost AI při britském Ministerstvu pro vědu, inovace a technologie (AISI) záměrně umožnil modelům společností Anthropic a OpenAI přístup k internetu při testování jejich schopností provádět kybernetické útoky. Předpokládal ale, že umělá inteligence bude z webu pouze stahovat softwarové nástroje potřebné k splnění zadaného úkolu.

Vědci nepočítali s tím, že model Mythos 5 od společnosti Anthropic tento přístup k internetu zneužije k aktivitám namířeným proti lidem. Vydával se za skutečné osoby, o nichž si předtím zjistil informace, aby mu byl schválen škodlivý kód. Žádnou reálnou škodu ale nezpůsobil.

Vědci také přiznali, že na chování AI přišli až zpětně při analýze datového provozu. Při příštích testech hodlají datové toky monitorovat pečlivěji a v reálném čase.

Společnosti Anthropic a OpenAI byly v posledních týdnech nuceny potvrdit, že jejich modely umělé inteligence při testech neplánovaně pronikly do počítačových systémů skutečných firem. Jejich přiznání ještě více prohloubila dlouhodobé obavy z kybernetických útoků využívajících AI.

Anthropic ve veřejném prohlášení napsal, že parametry testování AISI „nebyly reprezentativní pro žádný z našich výrobních modelů“. Dodal, že incident sám prošetřuje, aby zjistil, proč se jeho AI model zachoval zjištěným způsobem.

Tento článek máteje zdarma. Když si předplatíte HN, budete moci číst všechny naše články nejen na vašem aktuálním připojení. Vaše předplatné brzy skončí. Předplaťte si HN a můžete i nadále číst všechny naše články.

  • Veškerý obsah HN.cz
  • Mobilní aplikace
  • Bez reklam
  • Odemykejte obsah pro přátele
  • Články v audioverzi + playlist
  • Možnost kdykoliv zrušit
za 80 Kč s mobilní aplikací
a bez reklam nebo za 40 Kč bez mobilní aplikace
a s reklamou