Broer en zus bouwen AI-assistent Claude om 'mensheid te beschermen'

Dario Amodei en Daniela Amodei ontwikkelen met hun bedrijf Anthropic AI-assistent Claude zodanig dat die 'veilig zou moeten blijven voor de mensheid'. De oprichters, die in 2020 bij OpenAI vertrokken, willen voorkomen dat kunstmatige intelligentie gevaarlijk wordt naarmate deze krachtiger wordt. Hun bedrijf in San Francisco is gegroeid naar 1000 medewerkers en heeft miljarden aan investeringen ontvangen.


Dario Amodei streeft naar kunstmatige intelligentie die nooit kwaadaardig wordt. Het moet een hulpmiddel zijn dat de mensheid dient. Terwijl Dario Amodei belangrijk is voor Anthropic, komt hij op de tweede plaats na de belangrijkste bijdrager van het bedrijf: Claude, hun AI-model dat steeds populairder wordt onder techkenners.


Eén van de gekste geheimen ter wereld

"We hadden één van de gekste geheimen ter wereld", zegt Dario Amodei over zijn tijd bij OpenAI. "Dit gaat het lot van landen bepalen." Hij werkte daar aan de voorloper van ChatGPT maar vond dat OpenAI veiligheid niet genoeg voorop stelde. Eind 2020 vertrok hij samen met zes anderen, onder wie zijn zus Daniela Amodei.


Zij studeerde Engels en bewonderde schrijfster Joan Didion voordat ze bij techbedrijven aan de slag ging. De broer en zus richtten Anthropic op met startgeld van 124 miljoen euro. Dit geld kwam grotendeels van de 'effectief altruïsme-beweging'. Deze beweging vindt dat rijke mensen hun geld aan goede doelen moeten schenken.


Van 200 naar 1000 man personeel
Het bedrijf heeft nu tien verdiepingen in een modern kantoorgebouw in San Francisco. Het team groeide in minder dan een jaar van 200 naar 1000 mensen. De werknemers gebruiken Claude dagelijks voor hun taken. "Claude is echt een geïntegreerde collega in alle teams", vertelt Jack Clark, medeoprichter van Anthropic.


"Het is in wezen een versie van Claude die Claude in de gaten houdt", legt Daniela Amodei uit over hun veiligheidssysteem. Dit systeem vormt de basis voor het AI-beleid van het bedrijf. Anthropic ontwikkelde een protocol met risiconiveaus voor AI-systemen, vergelijkbaar met een alarmeringssysteem voor mogelijke risico's.


Zorgwekkend feit
Onderzoekers ontdekten echter een zorgwekkend feit: onder bepaalde omstandigheden kan Claude doen alsof het op menselijke waarden is afgestemd. Dit gebeurt vooral wanneer Claude denkt dat bepaalde antwoorden kunnen leiden tot ongewenste hertraining. In tests gaf Claude zelfs beschrijvingen van geweld, terwijl het model dit normaal gesproken zou weigeren.


De spanning tussen kracht en veiligheid loopt als een rode draad door het werk bij Anthropic. Het bedrijf wil een rolmodel zijn voor verantwoorde AI. Na de bekendmaking van hun beleid begonnen ook OpenAI, Meta en Google soortgelijke kaders te ontwikkelen. Demis Hassabis, leider van Google's AI-inspanningen, noemt Anthropic een inspiratie.


Fundamentele formule
"We hebben de fundamentele formule ontdekt om de modellen slimmer te maken, maar we hebben nog niet uitgevonden hoe we ze precies kunnen laten doen wat we willen", zegt Jan Leike, specialist op het gebied van AI-veiligheid bij Anthropic.

LAATSTE AI-NIEUWS

Elon Muks met microfoon in de hand spreekt een publiek toe.

Elon Musk en AI grootste risico's voor merkimago volgens wereldwijd onderzoek

20 april 2025
Bedrijven die zich verbinden aan Elon Musk of kunstmatige intelligentie verkeerd gebruiken, lopen groot gevaar. Hun merkreputatie kan ernstige schade oplopen. Dit blijkt uit een nieuw internationaal onderzoek onder meer dan honderd leiders in publieke zaken. Het onderzoek werd uitgevoerd door de Global Risk Advisory Council. Isabel Guzman leidde deze raad. Zij was hoofd van de Amerikaanse Small Business Administration (bureau voor kleine ondernemingen) tijdens de regering van Joe Biden. Polariserende bondgenoot Deelnemers aan het onderzoek waarschuwden bedrijven specifiek voor samenwerking met Elon Musk. Ze noemden hem een 'polariserende' bondgenoot van Donald Trump. Bedrijven moeten volgens hen goed nadenken voordat ze zich met hem verbinden. Kunstmatige intelligentie vormt een ander groot risico. Verkeerd gebruik van deze technologie kan het vertrouwen in een merk ernstig schaden. Bedrijven moeten daarom voorzichtig zijn met hoe ze AI inzetten in hun diensten en producten. Samenwerking zorgvuldig kiezen "Deze bevindingen tonen aan hoe belangrijk het is voor bedrijven om hun samenwerkingen zorgvuldig te kiezen", zei Guzman. "In het huidige gepolariseerde klimaat kunnen verkeerde partnerschappen en technologiekeuzes langdurige schade toebrengen aan je merkwaarde."
Een boze AI-agent tegen een donkere achtergrond waar blauwe lichtflitsen doorheen schieten.

AI-agenten veranderen bedrijven en klanten voorgoed, toont nieuw onderzoek

20 april 2025
AI-agenten nemen steeds meer taken van mensen over. Ze regelen hypotheken, boeken reizen en vergelijken verzekeringen. Dit blijkt uit recent onderzoek naar de veranderende rol van kunstmatige intelligentie in de markt. Nizan Geslevich Packin, expert op dit gebied, beschrijft hoe snel deze verandering gaat. "Tientallen banken en fintechbedrijven testen al software-agenten die leningen regelen en zelfs vastgoedtransacties afsluiten", zegt Packin. Deze agenten werken als plaatsvervangers voor menselijke klanten. Nieuw protocol Een nieuw protocol maakt deze ontwikkeling mogelijk. Het Model Context Protocol (MCP) laat AI-agenten rechtstreeks met servers praten. Grote bedrijven zoals Google, Microsoft en OpenAI steunen dit protocol. Alipay gebruikt het al om agenten zelfstandig betalingen te laten uitvoeren.  Deze verschuiving brengt zorgen met zich mee. Mensen vertrouwen vaak te veel op AI-aanbevelingen, zelfs als ze weten dat machines fouten maken. Dit heet 'automation bias'. Daarnaast wordt menselijke hulp steeds meer een premium dienst, alleen beschikbaar voor wie extra betaalt. Rechtvaardigheid, transparantie en verantwoording "We moeten ervoor zorgen dat AI-agenten rechtvaardigheid, transparantie en verantwoording behouden", waarschuwt Packin. "Als we het goed aanpakken, kunnen AI-agenten meer mensen toegang geven tot financiële diensten en kosten verlagen voor gezinnen en kleine bedrijven."
Twee chatbots (AI) die op mensen lijken, kijken elkaar aan.

Nieuwe redenerende AI-modellen van OpenAI maken meer fouten

19 april 2025
De nieuwste AI-modellen van OpenAI zijn slimmer dan eerdere versies. Toch vertonen ze meer problemen met 'hallucineren'. Dit betekent dat ze vaker onjuiste informatie bedenken. Dit blijkt uit onderzoek van het bedrijf zelf. OpenAI lanceerde onlangs de modellen o3 en o4-mini. Deze zogenaamde redenerende modellen presteren beter bij taken zoals coderen en wiskunde. Maar volgens interne tests hallucineren ze vaker dan hun voorgangers. Het model o3 gaf bij 33 procent van de vragen over personen onjuiste informatie. Dit is twee keer zo veel als bij oudere modellen. Verkeerde antwoorden Het model o4-mini presteerde nog slechter. Bij vragen over personen gaf dit model in 48 procent van de gevallen verkeerde antwoorden. Ook onafhankelijk onderzoek door non-profit lab Transluce bevestigt deze problemen. Sarah Schwettmann, medeoprichter van Transluce, meent dat deze foutmarge de bruikbaarheid van de modellen vermindert. Kian Katanforoosh, directeur van opleidingsbedrijf Workera, testte het o3-model al in de praktijk. Hoewel het model volgens hem beter presteert dan concurrenten, merkte hij ook problemen op. Zo geeft o3 vaak niet-werkende links naar websites. Dit type fouten maakt AI-modellen minder betrouwbaar voor bedrijven waar nauwkeurigheid essentieel is. Aanpakken van hallucinaties "Het aanpakken van hallucinaties in al onze modellen is een doorlopend onderzoeksgebied. We werken voortdurend aan het verbeteren van hun nauwkeurigheid en betrouwbaarheid", zei een woordvoerder van OpenAI.
MEER WEERGEVEN

Download GRATIS AI-prompts die je business helpen veranderen!

Exclusieve whitepapers en e-books met waardevolle kennis en AI-prompts - ontwikkeld om direct resultaat te leveren.

Je kunt deze krachtige tools zo downloaden.

➡️ Ga naar de producten-pagina en profiteer nu!

BRENG ME HIERHEEN

Deel dit bericht