Technologie
Technologie
Hallo, je bent op de technologiepagina van Linguineo beland. Goed gedaan. De informatie die je hier kunt vinden vertelt je alles over de technologie achter Linguineo. Je zult een beetje concentratie nodig hebben om het allemaal te kunnen lezen. Maar omdat je op deze pagina hebt geklikt, moet je er wel de hersens voor hebben.
TLDR:
Bij Linguineo ontwikkelen we projecten op maat waarbij gebruikers een taal leren. Centraal in deze projecten staat onze eigen unieke voicebot en spraakherkenningstechnologie. Oefen het spreken en schrijven door te praten met virtuele personages, oftewel conversationele AI.
Oké, dan nu de lange uitleg. Onze tekstschrijfster heeft geprobeerd het wat leuker voor je te maken om te lezen, dus bedankt voor het proberen. Ze zal blij zijn! Wees ook gewaarschuwd, als we 1 keer te vaak zeggen dat we de beste zijn in wat we doen: we proberen dit ding natuurlijk te verkopen.
1. Onze eigen spraakherkenning voor taalleerders
(bijv. bruikbare spraakherkenning voor anderstaligen/taalleerders)
Wat is het?
Kant-en-klare spraakherkenningsmodellen werken niet goed genoeg voor het herkennen van anderstalige spraak (>20% woordfout), dus hebben we hiervoor aangepaste spraakherkenningsmodellen gemaakt (<10% woordfout). Hoewel het geweldig zou zijn om een kant-en-klare oplossing te kunnen gebruiken en onze eigen spraakherkenningsmodellen niet meer te hoeven onderhouden, zien we dit niet snel gebeuren, vooral niet voor talen met lagere bronnen, zelfs niet met alle snelle vooruitgang in AI. De laatste tijd werken we ook samen met de Esat onderzoeksgroep aan de KULeuven om te proberen deze eigen modellen nog verder te ontwikkelen.
Wat hebben we zelf gemaakt?
- Slimme modelselectie (bijv. het systeem weet wat het beste model is om te gebruiken voor welke leerling). Het kan dit echter alleen doen als het een aantal handmatig (door een mens) getranscribeerde zinnen heeft. Zodra deze er zijn, berekent het de fout op deze zinnen voor verschillende modellen en op basis hiervan weet het de nauwkeurigheid van de ASR voor die gebruiker en weet het wat het beste model is om te selecteren.
- Op maat getrainde deep learning spraakherkenningsmodellen die starten vanuit een basismodel, maar worden aangepast met behulp van “transfer learning” (dit betekent dat het uiteinde van het neurale netwerk wordt verwijderd en het uiteinde opnieuw wordt getraind met een beperkte set nichegegevens). Onze huidige modellen voor niet-moedertaalsprekers zijn hier een voorbeeld van.
2. Hulpmiddel voor het maken van inhoud voor conversaties
(bijv. niet-technische mensen kunnen snel een gesprek opzetten met elke beperking over elk onderwerp of verhaal)
Wat is het?
Contentmakers willen vaak de inhoud van een conversatie tot in detail controleren, om didactische en andere redenen. Er zijn geen kant-en-klare oplossingen die dit gemakkelijk maken voor taalleergesprekken, maar onze component doet dat wel. Deze tool voor het maken van inhoud heeft verschillende moeilijkheidsgraden. Een eerste versie – open of gestuurd – kan worden gemaakt op basis van een paar eenvoudige tekstuele inputs, waarna het gesprek kan worden geoefend. Deze conversatie kan verder bewerkt worden in verschillende gradaties van complexiteit, maar dit is alleen nodig in specifieke gevallen.
Wat hebben we zelf gemaakt?
- Een zeer rijk gestuurd conversatiemodel en chatbot-engine, waarmee elk type conversatie kan worden gecreëerd als een stroomschema, dat naadloos kan worden geïntegreerd met elk generatief AI-model indien nodig. Deze component leunt aan tegen het creëren van een “formele grammatica” voor taal, maar waar de academische wereld dit uitputtend probeert te doen (waarbij 0% van de info verloren gaat), doen wij dit op een veel praktischere manier, waardoor dit veel haalbaarder is. We hebben ook een tool ontwikkeld om inhoud te creëren waarmee je in 20 minuten conversaties kunt maken, maar waarmee getrainde mensen ook alles aan een taalleergesprek kunnen veranderen (structuur, gegeven taken, welke adaptiviteit, welk antwoordtype, gedrag van de UX, van de bot,…).
- Een steigersysteem van verschillende componenten voor het gesprek zelf om het antwoord te interpreteren en een antwoord te formuleren. De vijf typische onderdelen van deze keten: caching systemen, intentiedetectie, zinsgelijkenis, kleinere deep learning BERT-gebaseerde modellen en een gewone of aangepaste LLM aan het einde. De eerste onderdelen zijn het snelst en goedkoopst om uit te voeren, de laatste het langzaamst en duurst (maar wel het sterkst). Elk van deze subsystemen heeft zijn eigen lange uitleg. De aangepaste LLM aan het einde brengen we momenteel op een meer dan state-of-the-art niveau samen met onderzoeksgroep IDLab van de UGent binnen ons lopende onderzoeksproject Capture.
OK! Dat is veel om te verwerken. Dus geef je geest een pauze met deze humoristische onderbreking:
Twee wetenschappers lopen een bar binnen:
“Ik neem een H2O.”
“Ik wil ook een H2O.”
De barman geeft ze allebei water omdat hij de grenstonen kan onderscheiden die de grammaticale functie van homoniemen in coda-positie en pragmatische context dicteren.
Terug naar het technische gedeelte!
3. Adaptiviteitsalgoritme
(Bouwt bijvoorbeeld snel een gedetailleerd profiel op van leerlingen en maakt elke gespreksoefening nuttig voor bijna elke leerling)
Wat is het?
Het adaptiviteitsalgoritme voegt fijnmazige adaptiviteit toe aan onze taalleergesprekken en lost vooral het probleem op om elke leerling een nuttig onderdeel met de juiste ondersteuning te geven. Beginners krijgen zeer gemakkelijke taken met veel ondersteuning, leerders die de taal goed kennen maar een sterk accent hebben krijgen taken en ondersteuning bij het spreken, mensen die gevorderd zijn krijgen minimale ondersteuning, mensen die beter zijn in schrijven dan spreken krijgen oefeningen en ondersteuning bij het schrijven,…
Wat hebben we zelf gemaakt?
- Een systeem om een rijk leerder- en itemprofiel af te leiden uit de “open data” (zoals beschreven in ons artikel over adaptiviteit).
- Een zelflerend systeem dat het uitgebreide leerder- en itemprofiel gebruikt om een voorspelling te doen over wat een “goed volgend item” is voor de leerder.
We hebben hier een blogartikel geplaatst waarin deze aanpak in detail wordt uitgelegd.
We hebben dit algoritme ook niet zelf gemaakt. We hebben het gemaakt in samenwerking met onderzoeksgroep Itec van de KULeuven.
4. Persoonlijke corrigerende feedback en uitspraakanalyse
Wat is het?
Een systeem dat gedetailleerde corrigerende feedback kan geven op zowel grammatica als uitspraak, rekening houdend met het profiel van de leerling.
Wat hebben we zelf gemaakt?
- Een uitspraakanalysecomponent die gedetailleerde uitspraakfeedback kan geven voor een uiting van een leerling, zowel op woord- als op foneemniveau.
- Een gelaagde corrigerende feedbackcomponent die gedetailleerde grammaticale feedback kan geven op elke uiting van een leerling.
We hebben natuurlijk niet alle technologie zelf gemaakt
Het is ook belangrijk om te beseffen dat we veel geavanceerde componenten gebruiken die we niet zelf hebben ontwikkeld. Voor spraaksynthese bijvoorbeeld gebruiken we meestal de grootste aanbieders van spraaksynthese, zoals Microsoft, Google, Amazon, ElevenLabs en Acapela, met slechts een paar eigen componenten eromheen. Voor spraakherkenning hebben we onze eigen engine gebouwd, maar een van de functies van deze engine is “slimme modelselectie”, en we kunnen elk extern spraakherkenningsmodel of API aansluiten bovenop onze eigen modellen. Voor open gesprekken baseren we ons natuurlijk op foundation modellen.
Soms krijgen we de vraag “Is de stand van de techniek jullie niet aan het inhalen?”. Het tegendeel is waar, precies dankzij de bouwsteenaanpak. We hebben het gevoel dat we elk jaar verder af komen te staan van de stand van de techniek voor onze specifieke use case(s).
Het gaat niet om de technologie. Niet echt.
- Het combineren van de bouwstenen op een manier waar de domeinexperts het mee eens zijn. Hiervoor werken we samen met onderzoeksgroepen, uitgevers en een uitgebreid netwerk van experts op het gebied van taalverwerving,
- de beste UX hebben, na 50+ gebruikerstests, tonnen inzichten over chatbot/voicebot-interfaces voor verschillende doelgroepen en het werken met professionele UX-mensen,
- spelontwerp om de leerlingen zo gemotiveerd en betrokken mogelijk te houden, door samen te werken met gameprofessionals.
We zijn geen puur technologiebedrijf, maar een bedrijf dat technische, didactische, UX- en game-expertise probeert te combineren tot geweldige producten.