Een evaluatie van Zero-Shot Open Book Question Answering met Large Language Models
De afgelopen jaren is de populariteit van publiek beschikbare generative Artificial Intelligence (AI)-systemen explosief toegenomen. Een opvallende ontwikkeling hierin is de ongekende adoptie van “chatbots”, die hun waarde hebben bewezen in zowel persoonlijke als commerciële use cases. De belangrijkste drijfveer achter deze groeiende aandacht voor Natural Language Processing (NLP)-systemen is de ontwikkeling van Large Language Models (LLM’s). Deze modellen hebben indrukwekkende capaciteiten laten zien op het gebied van generalisatie, redeneren, probleemoplossing, abstract denken en het begrijpen van complexe concepten.
Evolutie van Question Answering-systemen
Historisch gezien waren Question Answering-systemen voornamelijk extractive van aard, gericht op het identificeren van specifieke informatie uit aangeleverde teksten. In recente jaren heeft het NLP-domein echter een verschuiving doorgemaakt naar meer abstracte Natural Language Generation (NLG)-benaderingen. NLG verwijst naar het genereren van natuurlijke taal om specifieke communicatieve doelen te bereiken. Deze output kan variëren van een kort antwoord tot uitgebreide toelichtingen die meerdere zinnen of zelfs pagina’s beslaan.
Ontwikkelingen in modelarchitecturen
Deze paradigmaverschuiving is mogelijk gemaakt door vooruitgang in modelarchitecturen, zoals de Text-To-Text Transfer Transformer (T5) en de Generative Pre-Trained Transformer (GPT). Deze modellen hebben nieuwe mogelijkheden geopend om de capaciteiten van taalmodellen binnen uiteenlopende toepassingen te onderzoeken.
Evaluatie van state-of-the-art taalmodellen
In dit onderzoek zijn de prestaties van state-of-the-art taalmodellen onderzocht binnen een Zero-Shot Open Domain QA-setting, met specifieke focus op technische onderwerpen rondom cloud computing en containerization. Zowel extractive als generative benaderingen zijn geëvalueerd met behulp van een uniforme methodologie. Het doel was om inzicht te krijgen in de sterke en zwakke punten van verschillende modellen en om hun geschiktheid voor het beantwoorden van technische vragen te beoordelen.
Hoewel sommige LLM’s inzetbaar zijn voor een breed scala aan taken buiten QA, vielen deze toepassingen buiten de scope van dit onderzoek. Daarnaast is, vanwege beperkte resources en praktische beperkingen, de focus gelegd op modellen met minder dan 10 miljard parameters. Multi-modal Machine Reading Comprehension (MRC)-benaderingen, zoals tri-encoder retrievers en table readers, zijn eveneens buiten beschouwing gelaten.
Onderzoeksbijdrage
De onderzoeksresultaten bieden waardevolle inzichten in model prestaties binnen technische QA-contexten en dragen bij aan een beter begrip van Zero-Shot QA-architecturen. De bijbehorende code is beschikbaar op GitHub onder de licentie CC BY 4.0.
Sociale en economische implicaties van generative AI
De opkomst van generative AI-systemen heeft ingrijpende gevolgen voor het dagelijks leven en voor organisatorische werkwijzen. Deze ontwikkelingen brengen aanzienlijke sociale en economische implicaties met zich mee. Naar schatting is bij circa 19% van de banen in de Verenigde Staten ongeveer 50% van de taken blootgesteld aan LLM’s, wanneer rekening wordt gehouden met huidige modelcapaciteiten en verwachte LLM-gedreven software. De groeiende vraag naar AI-oplossingen vraagt om betrouwbare en nauwkeurige systemen die complexe vragen beantwoorden met precieze, uitlegbare antwoorden.