Senna is de nieuwe slimme assistent in Servconnect. Teksten schrijven, dingen herkennen en acties op het juiste moment suggereren; Senna doet het allemaal. In de serie 'Building Senna' neem ik je mee achter de schermen en laat ik je zien hoe Senna werkt.
Sinds de introductie van Servconnect Manager in 2018 heb ik altijd al automatische kentekenherkenning willen toevoegen. Er valt veel tijd te winnen bij het toevoegen van voertuigen, één van die handigheidjes is automatische kentekenherkenning. Het lijkt een simpel principe, maar in de praktijk is de technologie een stuk complexer dan iedereen denkt. Het mooiste? De eindgebruiker hoeft niets aan te klikken, alles wordt automatisch voor je geregeld. Er is niets nieuws te leren, er is niets om in te vullen. Het werkt gewoon.
Kentekenherkenning
Deze stap is misschien het meest complex van allemaal; het automatisch herkennen van een kentekenplaat op een foto en de tekst op de foto omzetten naar normale tekst.
Machine Learning
Wij hebben Senna geleerd wat een kentekenplaat is door duizenden foto's te laten zien waarbij de kentekenplaat omcirkeld is. De meeste software bepaalt wat een kentekenplaat is op basis van de gele kleur, dit loopt al snel in de soep bij gele voertuigen of wanneer er een schaduw door het plaatje loopt. Senna is slim genoeg om (net als een mens) bijna instinctief een kentekenplaat aan te wijzen.
We weten waar de kentekenplaat zit. Wat nu?
Wanneer de plaats van de kentekenplaat duidelijk is, trekken we de tekst recht. Lenzen van camera's zijn bol en dit kan net het verschil zijn tussen een karakter goed herkennen en een fout resultaat. Daar komt nog eens bij dat de meeste foto's van voertuigen niet recht voor het voertuig worden genomen. Senna gebruikt een complex algoritme om de kentekenplaat recht te trekken zodat het foto-naar-tekst algoritme goed zijn werk kan doen. Gooi hier nog een paar filters bij en het is tijd voor het herkennen van de tekst in de foto die overblijft.
Tekstherkenning en correctie
Nu is het tijd voor het herkennen van tekst in de foto. Ook al is de overgebleven foto goed rechtgemaakt, dan als nog zie je wel eens dat niet alle karakters goed herkend worden. Senna checkt bij de RDW of het kenteken bestaat. Senna weet alle formaten van de Nederlandse kentekenplaten en past de tekst aan waar nodig.
Duurt het dan niet langer om een foto te uploaden?
Dat zou je denken, maar het antwoord is 'nee'. Servconnect laat alle foto's die worden geplaatst aan Senna zien. Het onderzoeken van een foto duurt ongeveer 1 á 2 seconden, normaal zal dit betekenen dat je 1 á 2 seconden langer moet wachten totdat de foto verwerkt is en moet je dus langer wachten.
Alle Senna functionaliteit werkt in de achtergrond en zal nooit iets tegenhouden. Wanneer je een foto plaatst krijgt Senna een seintje, maar Servconnect blijft niet op een antwoord wachten. Wanneer Senna vervolgens iets herkent zal het later bij de foto worden bijgevoegd, zoals een goede assistent hoort te doen. Daarnaast worden alle zware taken uitbesteed aan Servconnect Network, zodat het je eigen website niet belast.
Privacy
Servconnect Network slaat geen enkele foto die je stuurt op; de milliseconde dat het process compleet is zal alle data verwijderd worden. Wij gebruiken Servconnect Network alleen om de detectie uit te voeren, wat je vervolgens met die data doet wordt behandeld in je eigen lokale Servconnect-installatie.
Senna + Servconnect Apps
Apps hebben de mogelijkheid om suggesties te doen op alle resultaten. Bijvoorbeeld, Servconnect Showroom suggereert om automatisch tekstvelen in te vullen op basis van RDW informatie. Alle apps hebben de mogelijkheid om in te haken op Senna resultaten.
Privacy
Ook Senna suggesties is vanaf het begin af aan ontwikkeld met privacy in gedachten. Apps krijgen alleen te horen wanneer het relevant voor de app is. Upload je bijvoorbeeld een foto via een andere app dan Servconnect Showroom? Dan komt Showroom nooit in aanraking met de resultaten van die foto en krijgt het ook geen seintje dat er iets op de foto gevonden is. Upload je iets naar Showroom en wordt een kentekenplaat herkend? Dan krijgt Showroom alleen een seintje dat er een kenteken gevonden is, niet wat het kenteken daadwerkelijk is. Showroom krijgt het kenteken pas te zien wanneer jij daar toestemming voor geeft door op 'Vul in' te klikken.
Senna resultaten in Servconnect Foto's
Wanneer je op een foto in een app klikt wordt deze vergroot. In het paneel wat je te zien krijgt staan alle dingen die Senna gedetecteerd heeft.
Dit is pas het begin
Senna zal in de komende jaren uitgroeien tot één van de belangrijkste Servconnect functies. Binnenkort is het tijd om de skillset van Senna uit te breiden met het kunnen generen van tekst op basis van een aantal steekwoorden.
Senna + Kentekenherkenning is vanaf 1 Januari beschikbaar in de gratis Servconnect 3.2 Update.