AI kan binnenkort taken aanpakken die mensen weken kosten

Een nieuwe maatstaf laat zien dat AI-systemen snel beter worden in het uitvoeren van langdurige taken. De kloof met menselijke deskundigen wordt in hoog tempo kleiner. Dat is de conclusie in een recente analyse.
METR, een non-profitorganisatie uit Berkeley, heeft bijna 170 praktijkgerichte opdrachten ontwikkeld. Deze taken omvatten programmeren, cyberveiligheid en machinaal leren. Het team stelde eerst vast hoelang ervaren programmeurs nodig hadden om deze taken te voltooien.
Nieuwe meetmethode
Daarna ontwikkelde METR een nieuwe meetmethode genaamd 'taak-voltooiing tijdshorizon'. Deze maatstaf toont hoeveel tijd programmeurs gewoonlijk nodig hebben voor taken die AI-modellen met een bepaald slagingspercentage kunnen voltooien.
In een onderzoek dat deze week verscheen op arXiv, meldt METR dat GPT-2 uit 2019 faalde bij alle taken die langer dan één minuut duurden. Claude 3.7 Sonnet, uitgebracht in februari door Anthropic, voltooide daarentegen vijftig procent van de taken die mensen 59 minuten zouden kosten.
Zeer lage of hoge drempels
"Als je zeer lage of hoge drempels kiest, verandert het verwijderen of toevoegen van één geslaagde of mislukte taak je schatting aanzienlijk", legde Lawrence Chan uit. METR koos bewust voor de vijftig procent slagingsdrempel omdat deze het meest betrouwbaar bleek bij kleine veranderingen in de gegevensverdeling.
"Het beste AI-model zit momenteel rond een 40-minuten tijdshorizon, en er is niet veel economisch waardevol werk dat iemand in die tijd kan doen", zei Ben West. De nieuwste onderzoeksresultaten van METR bieden volgens hem een gedeeltelijke verklaring waarom geavanceerde AI-modellen nog relatief weinig economische impact hebben gehad.
LAATSTE AI-NIEUWS



Download GRATIS AI-prompts die je business helpen veranderen!
Exclusieve whitepapers en e-books met waardevolle kennis en AI-prompts - ontwikkeld om direct resultaat te leveren.
Je kunt deze krachtige tools zo downloaden.
➡️ Ga naar de producten-pagina en profiteer nu!