Zeven handige apps met AI functies

Jeroen Baldewijns, Licht en Liefde

Je kunt deze dagen geen krant meer openslaan of je botst wel ergens op het toverwoord ‘Artificiële Intelligentie’. ChatGPT kennen we (al dan niet van ‘horen zeggen’) inmiddels allemaal wel en ook Microsofts Copilot zal bij de meesten wel een belletje doen rinkelen. Maar wie al ooit iets aan zo’n AI chatbot gevraagd heeft, zal ongetwijfeld ondervonden hebben dat de resultaten lang niet altijd correct zijn.

Maar er zijn ook heel wat apps die zich op AI beroepen om heel specifieke diensten aan te bieden. Zo ook apps die bedoeld zijn als hulpmiddel voor wie niet of niet goed ziet. Seeing AI van Microsoft was een van de eerste apps in dat genre, maar inmiddels zijn dergelijke apps niet meer op één hand te tellen.

In dit artikel lichten we er de mooiste apps uit, die zich allemaal tot doel stellen om de visuele wereld rondom ons te beschrijven voor wie die niet (goed) kan zien.

1. Seeing AI (Microsoft)

Microsoft gooide een aantal jaren geleden een knuppel in het hoenderhok door als eerste AI toe te passen in de Seeing AI-app voor onze doelgroep. Die app was zijn tijd vooruit, verbaasde vriend en vijand over de mogelijkheden van AI. En amper enkele jaren later is die technologie mainstream …

Met die app kun je tekst laten herkennen en voorlezen, productinformatie opvragen op basis van de streepjescode, de omgeving laten beschrijven op basis van een foto die je neemt met de camera (of van een foto uit de fotorol), personen in het camerabeeld laten detecteren en beschrijven en die personen met naam opslaan, valuta laten herkennen (keuze uit 17 munteenheden), licht laten detecteren en kleuren laten herkennen.
Indrukwekkend is dat je ook de omgeving in 3D kunt laten scannen door de LiDAR-scanner van een iPhone Pro. De herkenning van objecten kan dan nauwkeuriger gebeuren dan bij een 2D-camerabeeld. Als extraatje kun je Seeing AI dan ook aanwijzingen laten geven om naar een bepaald object (zoals een deur) toe te stappen.

We zetten onze belangrijkste testbevindingen met Seeing AI op een rijtje:

• De app is stabiel en werkt doorgaans erg snel.

• De leesfuncties zijn goed met handige hulp bij het fotograferen van een document, maar de taal van de spraak wordt niet automatisch ingesteld op de taal van de herkende tekst.

• De app herkent vrij veel producten op basis van de streepjescodes.

• Bij de beschrijving van de omgeving (of van een foto) kun je een korte beschrijving laten aanvullen met een langere beschrijving die indrukwekkend veel details geeft en weinig fouten maakt. Als extraatje kun je met een veegbeweging over de foto op zoek gaan waar bepaalde objecten zich precies op de foto bevinden.

• Je kunt personen in het beeld laten detecteren en ze desgewenst laten beschrijven (uiterlijke kenmerken, gemoedstoestand, inschatting van leeftijd). Je kunt ook (na het maken van drie foto’s) een persoon met naam opslaan zodat Seeing AI die nadien kan benoemen als hij/zij nog eens in beeld komt.

• De herkenning van bankbiljetten werkt goed, maar er mag slechts één biljet in beeld zijn.

• De kleurherkenning vonden we niet betrouwbaar.

• De geluidssignalen bij lichtdetectie vonden we niet altijd even duidelijk.

• De scène-herkenning en indoornavigatie zijn krachtig als je een iPhone met een LiDAR-scanner hebt.

Seeing AI is nog altijd gratis beschikbaar voor iOS en Android.

Meer over Seeing AI

Seeing AI, de volledige handleiding (iOS)

Seeing AI, de volledige handleiding (Android)

Tekst scannen en voorlezen met de Seeing AI app (video)

2. Envision

Envision is een directe concurrent van Seeing AI met een in hoge mate vergelijkbare functionaliteit.

Met Envision kun je tekst laten herkennen en voorlezen, productinformatie opvragen op basis van de streepjescode, je smartphone als labelpen gebruiken op basis van QR-codes, de omgeving laten beschrijven op basis van een foto die je neemt met de camera (of van een foto uit de fotorol), een welbepaald object laten zoeken in de omgeving, personen in het camerabeeld laten detecteren en die personen met naam opslaan, kleuren laten herkennen.

We zetten onze belangrijkste testbevindingen met Envision op een rijtje:

• De app werkt veel trager dan Seeing AI.

• De app is niet erg stabiel; hij crashte gedurende onze test zeer regelmatig …

• Bij de leesfuncties wordt de taal van de spraak automatisch ingesteld op de taal van de herkende tekst.

• De app herkent slechts weinig producten op basis van de streepjescodes.

• Bij de beschrijving van de omgeving (of van een foto) kun je kiezen tussen een korte of een uitgebreidere beschrijving of je kunt een concrete vraag stellen over wat er in het beeld te zien is. Helaas is de uitgebreide beschrijving veel minder accuraat dan bij Seeing AI.

• Je kunt personen in het beeld laten detecteren, maar ze niet laten beschrijven. Wel kun je (na het maken van vijf foto’s) een persoon met naam opslaan zodat Envision die persoon nadien kan benoemen als hij/zij nog eens in beeld komt.

• Een smartphone is nooit een perfect alternatief voor een ‘echte’ kleurendetector. Maar dat gezegd zijnde, presteert Envision op dat vlak wel veel beter dan Seeing AI, zowel qua accuraatheid als qua benoeming van de kleuren.

• De functie ‘Object zoeken’ is interessant maar werkt lang niet altijd naar behoren.

We moeten wel even aanstippen dat identieke functies soms verschillend benoemd worden in de iOS- en in de Android-app. Het kan dus voorkomen dat we een functie benoemd hebben die in jouw app een andere naam heeft.

Voor de Envision-app is ook een slimme bril te krijgen die de functies van de smartphone-camera en -speaker overneemt, zodat je handenvrij kunt werken. Sinds enige tijd is de app, die zowel voor Android als voor iOS aangeboden wordt, gratis op te halen in de Google Play Store en de Apple App Store. Bovendien is er ook een versie van de Envision app beschikbaar voor de BlindShell-telefoon.

Meer over Envision

Envision AI, de volledige handleiding (iOS)

Envision AI, zo werkt de app met Talkback

3. Lookout (Google)

Google wou niet achterblijven en ontwikkelde ook een AI-app voor blinde en slechtziende Android-gebruikers.

Met Lookout kun je tekst laten herkennen en voorlezen, productinformatie opvragen op basis van de streepjescode, objecten in je omgeving laten herkennen, valuta laten herkennen (keuze uit drie munteenheden), een foto laten beschrijven en kleuren laten herkennen. Zoals je ziet is het rijtje met functies beperkter dan bij Seeing AI en Envision.

We zetten onze belangrijkste testbevindingen met Lookout op een rijtje:

• De leesfuncties zijn goed met een handige hulp bij het fotograferen van een document, maar de taal van de spraak wordt niet automatisch ingesteld op de taal van de herkende tekst. Lookout is de enige van de drie apps waar je ook de visuele leesbaarheid van de herkende tekst uitgebreid kunt instellen (tekstgrootte, kleurschema, …).

• De functie om producten te herkennen op basis van streepjescode is vrij goed.

• Een foto nemen van de omgeving vanuit Lookout is niet mogelijk. Je moet dus eerst een foto nemen van de omgeving met de gewone Camera-app en vervolgens die foto laten beschrijven. Je krijgt enkel een beknopte omschrijving en die is niet altijd accuraat.

• De herkenning van bankbiljetten werkt goed, ook als er meer dan één biljet in beeld is. Het aantal valuta is beperkt tot drie (waaronder de euro).

• Een leuk extraatje is dat Lookout voor de meeste functies een historiek bijhoudt waardoor je kunt terugkeren naar eerder herkende tekst of objecten.

Lookout kun je gratis ophalen voor je Androidtelefoon in de Google Play Store. De app is niet beschikbaar voor de iPhone

Meer over Lookout

Google Lookout, je visuele assistent op Android

4. Vergrootglas (Apple)

Apple rust zijn iPhones intussen al een hele tijd uit met de Vergrootglas-app, waarmee je als slechtziende de tekst van een document kunt vergroten en eventueel ook het kleurcontrast kunt aanpassen. Midden in de Coronacrisis heeft Apple daar een AI-functie aan toegevoegd die personen in het camerabeeld herkent en nagaat of de veiligheidsafstand gerespecteerd wordt. In de jaren nadien werden er dan nog extra AI-functies toegevoegd.

De eerste aanvulling zorgt voor de herkenning van deuren in het camerabeeld, het beschrijven van de deur en desgewenst ook het voorlezen van de tekst van een naambordje op de deur. De afstand tot de deur wordt aangegeven en bij het stappen in de richting van de deur hoor je meldingen van de afnemende afstand.

Een tweede aanvulling is ‘Wijs en spreek’. Wanneer je een document in beeld neemt en met je vinger naar de tekst wijst op het document, wordt die tekst voorgelezen. Dat doet sterk denken aan de bediening van de leesfunctie bij de Orcam-bril.

En zo is die app een vreemde combinatie geworden van een leeshulpmiddel voor slechtzienden met toegevoegde AI-functies voor blinde gebruikers. We zijn dus benieuwd hoe dat in de toekomst zal evolueren. Maar dan zal Europa eerst een beetje moeten milderen in zijn bedenkelijke jacht op ICT-bedrijven, waardoor Apple de stap niet waagt om Apple Intelligence (de AI-technologie van Apple) in Europa beschikbaar te stellen.

Al bij al zijn we, vergeleken met Seeing AI en Envision, niet zo erg onder de indruk van de AI-functies van het vergrootglas.

De Vergrootglas-app behoort tot de standaarduitrusting van elke nieuwe iPhone.

5. Be My Eyes

Be My Eyes is een app die al heel wat jaren meedraait en die blinde hulpvragers in contact brengt met vrijwillige ziende hulpverleners.
Nieuw is echter de functie ‘Be My AI’ die gebruikers de mogelijkheid geeft om zich te laten helpen door AI in plaats van door een hulpverlener. Het is dus de gebruiker die kiest op welke manier hij/zij zich wil laten hepen.

Kies je voor de ‘Be My AI’-functie, dan kun je vanuit de app een foto maken, die automatisch geanalyseerd en beschreven wordt. Je kunt vervolgens over die foto nog één of meer concrete vragen stellen, die de app beantwoordt. Tot slot kun je alsnog contact nemen met de vrijwillige hulpverlener die jouw foto te zien krijgt, waarbij je dan nog extra vragen kunt stellen.

De beschrijving van de foto is bijzonder uitgebreid en accuraat en kan een vergelijking met de scène-herkenning van Seeing AI gemakkelijk doorstaan.

Be My Eyes is gratis op te halen in de Apple App Store voor iPhone-gebruikers en in de Google Play Store voor bezitters van een Androidsmartphone.

Meer over Be My Eyes

Artikel: Laat Be My Eyes je ogen zijn

6. LeesSimpel

Sinds vele tientallen jaren is OCR (optische tekstherkenning) de technologie bij uitstek om gedrukte documenten toegankelijk te maken voor wie die documenten niet visueel kan lezen. Het probleem bij OCR is echter dat documenten soms een complexe opmaak hebben (denk daarbij bijvoorbeeld aan een factuur) en moeilijk geschreven zijn (zoals juridische teksten), waardoor tekstherkenning soms rare, moeilijk te vatten resultaten oplevert.

Daar biedt LeesSimpel een oplossing voor. De app laat namelijk AI los op het resultaat van tekstherkenning, wat een vaak veel begrijpelijker resultaat oplevert. De app werkt erg eenvoudig. Je neemt een foto van het document. Er is helaas geen mogelijkheid om de foto automatisch te laten nemen na het in beeld zijn van de vier documentranden. Als je niet zo goed bent in het blind fotograferen, gebruik je dus best een scanstand. Vervolgens past LeesSimpel OCR toe op de foto en laat hij AI los op de herkende tekst om de essentie uit het document te halen en op een begrijpelijke manier te formuleren. Het resultaat verschijnt op het scherm, samen met de voorleesknop, waarmee je dat resultaat kunt laten voorlezen.

Door de combinatie van OCR en AI kan LeesSimpel voor heel wat documenttypes een heel goed hulpmiddel zijn.

Meer over Lees Simpel

Artikel: Teksten samenvatten en voorlezen met Lees Simpel app

7. Zuzanka

Zuzanka verscheen in de App Store met de bedoeling om een hulpmiddel aan te bieden om op een gemakkelijke en snelle manier de vervaldatum op de verpakking van een voedingsproduct op te zoeken en voor te lezen. Recent is die app uitgebreid met twee bijkomende functies: tekst op de verpakking van het product voorlezen en de info achter de streepjescode op de verpakking ophalen en voorlezen. Je kunt elk van die drie functies onafhankelijk van elkaar aan-uitzetten.

De app werkt op live beeld; je hoeft dus niet eerst een foto te maken. Je richt de camera op de verpakking, waarna je een reeks pieptonen hoort. Je kunt het product wat om zijn as draaien om alle zijden in beeld te brengen. Wanneer de pieptonen sneller op elkaar volgen, is er een vervaldatum in beeld. Als je vervolgens het product en je camera stilhoudt, wordt de datum uitgelezen.

Zuzanka wordt aangeboden in de Apple App Store voor de iPhone en in de Google Play Store voor Androidtelefoons. Na een gratis proefperiode van 14 dagen betaal je 2,99 euro per maand (of 19,99 euro per jaar) voor het gebruik van de app. Vind je die prijzen te hoog, dan kun je de app gratis blijven gebruiken met de beperking dat je slechts één datumscan per dag kunt doen.

What’s next?

Er staat ons op het vlak van AI nog heel wat moois te wachten. Zo zijn we bijvoorbeeld in blijde verwachting van de EMVI-app, die AI-functies voor de doelgroep aanbiedt in de vorm van een chatbot: je neemt een foto en vraagt wat je wilt weten over die foto: “Welk bankbiljet zie je?”, “Lees de tekst voor”, “Zie je een deur?”, “Welke objecten zie je in de omgeving?” … Daar verwachten we veel van.

Verder is er ook Apple Intelligence, de Apple interpretatie van AI, die erg veelbelovend is, maar voorlopig enkel in het Engels beschikbaar zal zijn.

Heb je nog vragen?

Mail naar kennisportaal@visio.org, of bel 088 585 56 66.

Meer artikelen, video’s en podcasts vind je op kennisportaal.visio.org

Koninklijke Visio

expertisecentrum voor slechtziende en blinde mensen

www.visio.org