Anthropic laat Accenture AI-modellen controleren

Accenture wordt de eerste externe partij die als zogenoemde embedded evaluator bij Anthropic aan de slag gaat. Beide bedrijven verwachten de komende vijf jaar ieder minstens $1 miljard in het project te investeren.

Anthropic wil meer controle op snelle AI-ontwikkeling

Amodei presenteerde op 12 september een driestappenplan om de ontwikkeling van de krachtigste AI-systemen beter beheersbaar te maken. Volgens de Anthropic-CEO neemt de snelheid waarmee nieuwe modellen verbeteren sterk toe.

Een belangrijke reden is recursieve zelfverbetering. Dit betekent dat AI steeds beter kan helpen bij het ontwikkelen van nieuwe en krachtigere AI. Daardoor kan de vooruitgang verder versnellen.

Amodei vreest dat ontwikkelaars uiteindelijk onvoldoende tijd krijgen om nieuwe risico’s te begrijpen en passende veiligheidsmaatregelen te nemen.

Zijn eerste maatregel richt zich daarom op onafhankelijke controle. Externe onderzoekers moeten toegang krijgen die vergelijkbaar is met die van medewerkers, zodat ze modellen uitgebreid kunnen onderzoeken.

Accenture krijgt toegang tot Anthropic-modellen

Accenture wordt de eerste embedded evaluator van Anthropic. Dat betekent dat onderzoekers veel dichter bij de ontwikkeling van de modellen komen te staan dan bij een traditionele externe audit.

De onderzoekers gaan modellen evalueren, veiligheidsmaatregelen testen en zogenoemde red-teamtests uitvoeren. Bij red teaming proberen onderzoekers bewust zwakke plekken in een AI-systeem te vinden. Ze testen bijvoorbeeld of een model veiligheidsregels kan omzeilen of onverwacht gedrag vertoont.

Ook alignment speelt een belangrijke rol. Bij AI-alignment draait het om de vraag of een AI-model daadwerkelijk handelt volgens de doelen, instructies en veiligheidsregels die mensen eraan meegeven.

Hoe deze samenwerking precies gaat werken, staat nog niet volledig vast. Embedded evaluation is een relatief nieuwe aanpak en beide partijen moeten de praktische werkwijze nog verder ontwikkelen.

Investering loopt op tot minstens $2 miljard

De financiële omvang van het project is aanzienlijk. Anthropic en Accenture verwachten ieder minstens $1 miljard te investeren over een periode van vijf jaar.

Daarmee komt de gezamenlijke investering uit op minimaal $2 miljard.

Anthropic financiert het werk van Accenture voorlopig rechtstreeks. Het bedrijf erkent dat er nog geen goed systeem bestaat om volledig onafhankelijke AI-evaluaties structureel te financieren.

Op langere termijn ziet Anthropic meer mogelijkheden in gezamenlijke fondsen of financiering vanuit overheden. Voorlopig wil het bedrijf daar niet op wachten.

De directe financiering roept wel een belangrijke vraag op. Een externe evaluator moet onafhankelijk kunnen werken, terwijl Anthropic tegelijkertijd voor het onderzoek betaalt. De praktijk moet uitwijzen hoe goed die onafhankelijkheid kan worden gewaarborgd.

Meer onafhankelijke partijen moeten volgen

Accenture krijgt geen exclusieve positie. Anthropic wil de komende weken meer evaluatoren bekendmaken en met meerdere externe organisaties samenwerken.

Daarmee probeert het bedrijf de controle over zijn modellen over verschillende partijen te verspreiden.

Het voorstel van Amodei heeft ondertussen een bredere discussie binnen de AI-sector op gang gebracht. OpenAI-CEO Sam Altman en SpaceX-CEO Elon Musk reageerden positief op het idee om meer controle in te bouwen rond de ontwikkeling van zeer krachtige AI.

Nvidia-CEO Jensen Huang uitte juist kritiek. Volgens hem is extra regelgeving om de ontwikkeling van AI af te remmen niet nodig.

Waarom AI-veiligheid relevant is voor crypto

Voor crypto-investeerders lijkt de samenwerking tussen Anthropic en Accenture op het eerste gezicht misschien ver weg. Toch komen AI en crypto steeds dichter bij elkaar.

AI-agents kunnen bijvoorbeeld zelfstandig informatie verwerken, transacties voorbereiden en communiceren met blockchainapplicaties. Naarmate deze systemen meer financiële handelingen zelfstandig uitvoeren, neemt ook het belang van goede beveiliging toe.

Een fout in een chatbot heeft meestal beperkte financiële gevolgen. Een autonome AI-agent met toegang tot een wallet of handelsaccount vormt een ander risico. Onderzoek naar de betrouwbaarheid en controleerbaarheid van AI kan daardoor ook belangrijk worden voor toepassingen binnen crypto en decentralized finance.

Conclusie

Anthropic maakt van externe AI-controle een belangrijk onderdeel van zijn veiligheidsstrategie. Accenture krijgt uitgebreide toegang om modellen te testen, zwakke plekken te zoeken en veiligheidsmaatregelen te beoordelen.

De samenwerking is vooral interessant omdat embedded evaluation nog nauwelijks op grote schaal bestaat. Met een geplande gezamenlijke investering van minstens $2 miljard krijgt het concept direct een serieuze test.

Voor de bredere technologiesector, inclusief crypto, wordt de vraag steeds belangrijker hoe bedrijven krachtige en steeds autonomere AI-systemen veilig kunnen inzetten.

Veelgestelde vragen

Wat is een embedded evaluator?

Een embedded evaluator is een externe partij die uitgebreide toegang krijgt tot de AI-modellen en ontwikkelprocessen van een bedrijf. Hierdoor kan deze partij systemen grondiger testen dan bij een normale externe controle.

Waarom werkt Anthropic samen met Accenture?

Anthropic wil onafhankelijke onderzoekers eerder en intensiever betrekken bij de ontwikkeling van krachtige AI. Accenture gaat modellen testen, zwakke plekken zoeken en beoordelen of veiligheidsmaatregelen goed functioneren.

Hoeveel investeren Anthropic en Accenture?

Anthropic en Accenture verwachten ieder minstens $1 miljard te investeren gedurende de komende vijf jaar. De totale geplande investering bedraagt daarmee minimaal $2 miljard.