Onderzoekers: AI nog niet klaar om programmeurs bij debugging te vervangen

Kunstmatige intelligentie (AI) kan menselijke programmeurs nog niet vervangen bij het opsporen van fouten in software. Dit blijkt uit nieuw onderzoek van Microsoft Research. Het bedrijf ontwikkelde hiervoor een speciale testomgeving genaamd debug-gym. Zelfs met toegang tot debugging-tools blijven AI-systemen achter bij menselijke ontwikkelaars.
AI is al diep verweven in softwareontwikkeling. We zien het in tools als GitHub Copilot en bij startups die snel applicaties bouwen met hulp van taalmodellen. Toch moeten we onze verwachtingen bijstellen. Modellen zijn nog niet goed genoeg in debugging, terwijl dit het grootste deel van een ontwikkelaar's tijd in beslag neemt.
Bestaande code debuggen
De nieuwe testomgeving debug-gym is beschikbaar op GitHub. Het stelt AI-modellen in staat om bestaande code te debuggen met tools die normaal niet beschikbaar zijn voor deze modellen. Samuel Axon schrijft dat zonder deze aanpak modellen opvallend slecht presteren bij debugging-taken. Met de nieuwe aanpak gaat het beter, maar nog lang niet zo goed als bij ervaren menselijke ontwikkelaars.
Het beste resultaat in de tests was een slagingspercentage van 48,4 procent. Dit is volgens de onderzoekers te wijten aan het gebrek aan trainingsgegevens over besluitvorming bij debugging. Microsoft Research ziet de resultaten als een veelbelovende onderzoeksrichting en werkt aan een gespecialiseerd model dat beter informatie kan verzamelen om bugs op te lossen.
Interactieve debugging
"We geloven dat interactieve debugging met de juiste tools AI-agents kan helpen bij het aanpakken van softwareontwikkelingstaken uit de praktijk", zegt Microsoft Research. "De verbeteringen voorgesteld door een AI met debugging-mogelijkheden zullen gebaseerd zijn op de context van de codebasis en programma-uitvoering, in plaats van alleen op gissingen uit trainingsdata."
LAATSTE AI-NIEUWS



Download GRATIS AI-prompts die je business helpen veranderen!
Exclusieve whitepapers en e-books met waardevolle kennis en AI-prompts - ontwikkeld om direct resultaat te leveren.
Je kunt deze krachtige tools zo downloaden.
➡️ Ga naar de producten-pagina en profiteer nu!