Technologie
Technologie
Hallo, je bent op de technologiepagina van Linguineo beland. Goed gedaan. Hier lees je alles over de technologie achter Linguineo. Je hebt wel wat concentratie nodig om alles te lezen. Maar aangezien je op deze pagina hebt geklikt, heb je daar vast de hersenen voor.
Kort samengevat:
Bij Linguineo ontwikkelen we projecten op maat waarin gebruikers een taal leren. Centraal in die projecten staan onze eigen, unieke voicebot- en spraakherkenningstechnologie. Je oefent spreken en schrijven door met virtuele personages te praten, oftewel conversationele AI.
Oké, nu de lange uitleg. Onze copywriter heeft geprobeerd het wat leuker te maken om te lezen, dus bedankt dat je het probeert. Ze zal in de wolken zijn! En wees gewaarschuwd: als we één keer te vaak zeggen dat we de beste zijn in wat we doen, dan is dat omdat we dit natuurlijk proberen te verkopen.
1. Onze eigen spraakherkenning voor taalleerders
(m.a.w. bruikbare spraakherkenning voor anderstaligen / taalleerders)
Wat is het?
Kant-en-klare spraakherkenningsmodellen werken niet goed genoeg om anderstalige spraak te herkennen (>20% woordfoutpercentage), dus hebben we daarvoor eigen spraakherkenningsmodellen gemaakt (<10% woordfoutpercentage). Het zou geweldig zijn om een kant-en-klare oplossing te kunnen gebruiken en onze eigen spraakherkenningsmodellen niet meer te moeten onderhouden, maar we zien dat niet snel gebeuren, zeker niet voor talen waarvoor weinig data beschikbaar is, zelfs niet met alle snelle vooruitgang in AI. De laatste tijd werken we ook samen met de onderzoeksgroep ESAT van de KU Leuven om onze eigen modellen nog verder te verbeteren.
Wat hebben we zelf gemaakt?
- Slimme modelselectie (m.a.w. het systeem weet welk model het best werkt voor welke leerder). Daarvoor heeft het wel een paar zinnen nodig die manueel (door een mens) getranscribeerd zijn. Zodra die er zijn, berekent het de fout op die zinnen voor verschillende modellen. Zo kent het de nauwkeurigheid van de spraakherkenning voor die gebruiker en weet het welk model het best gekozen wordt.
- Op maat getrainde deep-learningmodellen voor spraakherkenning die vertrekken van een foundationmodel, maar aangepast worden met “transfer learning” (we verwijderen het laatste deel van het neurale netwerk en trainen dat opnieuw met een beperkte set nichedata). Onze huidige modellen voor anderstaligen zijn daar een voorbeeld van.
2. Tool om gesprekken te maken
(m.a.w. mensen zonder technische achtergrond maken snel een gesprek met eender welke randvoorwaarden over eender welk onderwerp of verhaal)
Wat is het?
Contentmakers willen de inhoud van een gesprek vaak tot in detail sturen, om didactische en andere redenen. Er bestaan geen kant-en-klare oplossingen die dat eenvoudig maken voor taalleergesprekken, maar onze component doet dat wel. De tool kan op verschillende niveaus gebruikt worden. Een eerste versie, open of gestuurd, maak je op basis van een paar eenvoudige tekstuele inputs, waarna je het gesprek meteen kunt oefenen. Daarna kun je het gesprek verder bewerken, van eenvoudig tot zeer gedetailleerd, maar dat is alleen in specifieke gevallen nodig.
Wat hebben we zelf gemaakt?
- Een zeer rijk gestuurd gespreksmodel en chatbot-engine, waarmee je elk type gesprek als een stroomschema kunt maken, en dat indien nodig naadloos samenwerkt met eender welk generatief AI-model. Deze component sluit aan bij het idee van een “formele grammatica” voor taal, maar waar de academische wereld dat volledig probeert te doen (0% informatie verliezen), doen wij het op een veel praktischere manier, waardoor het veel haalbaarder wordt. We ontwikkelden ook een tool waarmee je in 20 minuten een gesprek maakt, maar waarmee getrainde gebruikers ook alles aan een taalleergesprek kunnen aanpassen (structuur, opdrachten, welke adaptiviteit, welk antwoordtype, gedrag van de UX en van de bot, …).
- Een gelaagd systeem van verschillende componenten waarmee het gesprek zelf het antwoord van de leerder interpreteert en een reactie formuleert. De vijf typische onderdelen van die keten: cachingsystemen, intentiedetectie, zinsgelijkenis, kleinere deep-learningmodellen op basis van BERT en tot slot een gewoon of eigen LLM. De eerste onderdelen zijn het snelst en goedkoopst, de laatste het traagst en duurst (maar ook het sterkst). Elk van die subsystemen verdient een eigen lange uitleg. Het eigen LLM op het einde tillen we momenteel naar een niveau voorbij de stand van de techniek, samen met onderzoeksgroep IDLab van de UGent binnen ons lopende onderzoeksproject Capture.
OK! Dat is heel wat om te verwerken. Gun je hersenen even rust met deze humoristische onderbreking (die alleen in het Engels werkt):
Two scientists walk into a bar:
“I’ll have an H2O.”
“I’ll have an H2O, too.”
The bartender gives them both water because he is able to distinguish the boundary tones that dictate the grammatical function of homonyms in coda position as well as pragmatic context.
Terug naar het technische gedeelte!
3. Adaptiviteitsalgoritme
(m.a.w. bouwt snel een gedetailleerd profiel van leerders op en maakt elke gespreksoefening nuttig voor bijna elke leerder)
Wat is het?
Het adaptiviteitsalgoritme voegt fijnmazige adaptiviteit toe aan onze taalleergesprekken en lost grotendeels het probleem op om elke leerder een nuttig item met de juiste ondersteuning te geven. Beginners krijgen heel eenvoudige opdrachten met veel ondersteuning, leerders die de taal goed kennen maar een sterk accent hebben krijgen opdrachten en ondersteuning rond spreken, gevorderden krijgen minimale ondersteuning, wie beter schrijft dan spreekt krijgt oefeningen en ondersteuning rond schrijven, …
Wat hebben we zelf gemaakt?
- Een systeem dat een rijk leerder- en itemprofiel afleidt uit de “open data” (zoals beschreven in ons artikel over adaptiviteit).
- Een zelflerend systeem dat dat rijke leerder- en itemprofiel gebruikt om te voorspellen wat een “goed volgend item” is voor de leerder.
In dit blogartikel leggen we die aanpak in detail uit.
Ook dit algoritme hebben we niet alleen gemaakt. We ontwikkelden het samen met onderzoeksgroep itec van de KU Leuven.
4. Persoonlijke corrigerende feedback en uitspraakanalyse
Wat is het?
Een systeem dat gedetailleerde corrigerende feedback geeft op zowel grammatica als uitspraak, rekening houdend met het profiel van de leerder.
Wat hebben we zelf gemaakt?
- Een component voor uitspraakanalyse die gedetailleerde uitspraakfeedback geeft op wat een leerder zegt, zowel op woord- als op klankniveau.
- Een gelaagde component voor corrigerende feedback die gedetailleerde grammaticale feedback geeft op alles wat een leerder zegt of schrijft.
We hebben natuurlijk niet alle technologie zelf gemaakt
Het is ook belangrijk om te weten dat we veel geavanceerde componenten gebruiken die we niet zelf ontwikkeld hebben. Voor spraaksynthese bijvoorbeeld bundelen we vooral de grootste aanbieders, zoals Microsoft, Google, Amazon, ElevenLabs en Acapela, met slechts enkele eigen componenten errond. Voor spraakherkenning bouwden we wel onze eigen engine, maar een van de functies daarvan is net “slimme modelselectie”: we kunnen eender welk extern spraakherkenningsmodel of eender welke API naast onze eigen modellen inpluggen. Voor open gesprekken baseren we ons uiteraard op foundationmodellen.
Soms krijgen we de vraag: “Haalt de stand van de techniek jullie niet in?” Het omgekeerde is waar, precies dankzij die aanpak met bouwstenen. We hebben het gevoel dat we onze voorsprong op de stand van de techniek elk jaar vergroten, voor onze specifieke toepassing(en).
Het gaat niet om de technologie. Niet echt.
Alleen de nodige technologie en bouwstenen hebben, levert echter nog niet de beste voicebottoepassingen op. Voor geweldige taalleergesprekken is ook nodig:
- de bouwstenen combineren op een manier waar de domeinexperts achter staan. Daarvoor werken we samen met onderzoeksgroepen, uitgevers en een groot netwerk van experts in taalleren,
- de beste UX, dankzij meer dan 50 gebruikerstests, heel wat inzichten over chatbot- en voicebotinterfaces voor verschillende doelgroepen, en samenwerking met professionele UX-designers,
- gamedesign om leerders zo gemotiveerd en betrokken mogelijk te houden, door samen te werken met gameprofessionals.
We zijn geen puur technologiebedrijf, maar een bedrijf dat technologie, didactiek, UX en gamedesign probeert te combineren tot geweldige producten.