Výzkumník společnosti Anthropic Jacob Coxon opouští firmu i celý obor umělé inteligence (AI). Důvodem jsou obavy, že Anthropic a jeho konkurenti příliš rychle vyvíjejí systémy schopné samostatného zdokonalování, které by se podle něj mohly vymknout lidské kontrole. Jeho odchod poukazuje na rostoucí obavy o bezpečnost umělé inteligence uvnitř předních technologických firem, napsal list The Wall Street Journal (WSJ).

Sedmadvacetiletý Coxon, který vystudoval matematiku, se v Anthropic specializoval na trénování nových modelů AI tím, že je nechával zpracovávat obrovské množství dat. Podle svých slov opouští firmu, protože se nechce podílet na spěchu při vývoji systémů, které se dokážou samy zdokonalovat. Obává se, že takové systémy by se mohly vymknout kontrole a zničit lidstvo. Podle něj řada kolegů z oboru nyní používá k popisu směřování modelů, které se samy vylepšují, slova jako „crunchtime“ a „endgame“, tedy výrazy, které označují, že vývoj se dostává do rozhodující fáze.

„Směřujeme k mnoha z těch nejagresivnějších scénářů, podle nichž by se situace již koncem příštího roku mohla vymknout kontrole,“ řekl Coxon. Dodal, že v konkurenčním boji mezi firmami a s nastupujícími čínskými konkurenty budou společnosti nevyhnutelně dělat kompromisy na úkor bezpečnosti.

Anthropic se k odchodu Coxona zatím nevyjádřil. Generální ředitel Dario Amodei a další vedoucí představitelé společnosti opakovaně varovali před riziky neovladatelných modelů AI a vyzývali odvětví ke zpomalení vývoje.

Coxon na začátku tohoto roku odešel z OpenAI a nastoupil do Anthropicu, protože podle něj je tato firma známá svým úsilím o bezpečnost modelů. Ačkoli považoval snahy Anthropicu o bezpečnost za upřímné, nyní se domnívá, že žádná společnost nemůže zodpovědně vyvíjet AI, která by v řadě úkolů překonávala lidi, pokud nedojde k zásahu vlády nebo ke koordinovanému zpomalení vývoje odvětví.

Nedávné hackerské útoky, při nichž byly využity modely společností OpenAI a Anthropic, ukázaly, že systémy AI se mohou rozhodnout pro škodlivé cíle a pokusit se je před lidmi zatajit. Některé z těchto systémů přitom spolupracovaly v takzvaných rojích agentů, tedy ve skupinách autonomních AI systémů, které mezi sebou spolupracují. Coxon uvedl, že pokud se tyto systémy začnou samy zdokonalovat, obává se, že by mohly dospět do fáze, kdy už nebudou ochotny plnit příkazy lidí.

Několik výzkumníků v poslední době opustilo OpenAI a další společnosti s odvoláním na podobné obavy. Přední představitelé odvětví také varovali, že nedávné kybernetické útoky jsou předzvěstí něčeho mnohem závažnějšího.

Coxon se připojil k více než 1000 výzkumníkům z oboru AI, kteří nedávno podepsali výzvu k mezinárodní spolupráci vlád na vytvoření mechanismu, který by umožnil zpomalit vývoj AI, pokud by to bylo nutné pro kontrolu modelů schopných samostatného zdokonalování. Jsou mezi nimi také třeba vědecký pracovník OpenAI Jakub Pachocki a Amodei. Zatím neexistují žádné federální předpisy týkající se AI a Trumpova administrativa upřednostňuje přístup s cílem maximalizovat ekonomické přínosy AI, což podle kritiků může způsobit masivní kybernetické útoky nebo jiné škody.

Coxonův odchod přichází v době, kdy se Anthropic připravuje na primární nabídku akcií. Ta by mohla patřit k vůbec největším. Firma usiluje o tržní kapitalizaci dva biliony USD (41,6 bilionu Kč) a při získávání investorů klade důraz na zodpovědný vývoj této technologie.

Tento článek máteje zdarma. Když si předplatíte HN, budete moci číst všechny naše články nejen na vašem aktuálním připojení. Vaše předplatné brzy skončí. Předplaťte si HN a můžete i nadále číst všechny naše články.

  • Veškerý obsah HN.cz
  • Mobilní aplikace
  • Bez reklam
  • Odemykejte obsah pro přátele
  • Články v audioverzi + playlist
  • Možnost kdykoliv zrušit
za 80 Kč s mobilní aplikací
a bez reklam nebo za 40 Kč bez mobilní aplikace
a s reklamou