De impact van Copilot op kwaliteit en security in open-source software
Dit onderzoek analyseert de invloed van AI-ondersteunde code-ontwikkeling, met GitHub Copilot als casus, op zowel de kwaliteit als de security van open-source software. Door de brede adoptie van OSS in dagelijkse bedrijfsprocessen is het van groot belang om te begrijpen hoe nieuwe AI-tools deze ecosystemen beïnvloeden.
Onderzoeksvraag en methodologie
De centrale onderzoeksvraag luidt: “Hoe beïnvloedt Artificial Intelligence code development de kwaliteit en security van open-source software?”
Deze vraag is bijzonder relevant gezien de grootschalige inzet van OSS in uiteenlopende sectoren. Het onderzoek hanteert een kwantitatieve methodologie en analyseert metrics zoals maintainability issues, reliability issues, technical debt, security issues en security hotspots, waarbij rekening wordt gehouden met de invloed van lines of code (LOC).
Onderzoeksopzet en technieken
De studie maakt gebruik van regressieanalyse en SonarQube-scans om veranderingen in kwaliteit en security te meten over een periode van twee jaar: één jaar vóór en één jaar na de introductie van Copilot. De gebruikte GitHub-repositories zijn verdeeld in twee groepen: een treatment group en een control group. De treatment group bestaat uit programmeertalen zoals Python en JavaScript, terwijl de control group talen omvat als C, C# en R.
Resultaten: productiviteitswinst versus kwaliteits- en security-afwegingen
De bevindingen laten een tweezijdig effect van AI code development zien. Enerzijds verhoogt Copilot de productiviteit aanzienlijk, wat blijkt uit een toename van 25% in LOC. Anderzijds gaat deze productiviteitswinst gepaard met een stijging in maintainability issues, reliability issues en technical debt. Wanneer wordt gecontroleerd voor LOC, neemt de directe impact van Copilot op deze kwaliteitsmetrics af. Dit suggereert dat een groot deel van de waargenomen effecten wordt veroorzaakt door de groei van de codebase zelf.
Security-inzichten en implicaties
Op het gebied van security laten de resultaten een genuanceerd beeld zien. Er is sprake van een significante toename van security hotspots, terwijl er geen duidelijke directe relatie wordt gevonden met daadwerkelijke security issues. Concreet is er een stijging van 17,6% in security hotspots, die afneemt tot 3,9% wanneer wordt gecontroleerd voor LOC. Deze bevindingen onderstrepen dat AI code development niet los kan worden gezien van de expertise en keuzes van developers. Hoewel geen direct significant effect van Copilot op kwaliteit en security is vastgesteld, toont het onderzoek wel aan dat het gebruik van AI-tools door developers een duidelijke invloed heeft op deze metrics.
