Jesse Wienholts en Louis Pool, Koninklijke Visio
Een gedetailleerde omschrijving krijgen van je omgeving of van een foto. Dat kan
met Be My AI, de nieuwe functie van de app Be My Eyes. Je maakt met je
smartphone of tablet een foto en de slimme software van Be My Eyes vertelt je
duidelijk en in detail wat erop te zien is. Dit kan erg nuttig zijn als je
weinig of niets ziet. Denk bijvoorbeeld aan het lezen van een menukaart in een
restaurant, als je wilt weten hoe de ruimte om je heen eruitziet of als je wilt
weten wat er op een verpakking staat.
In dit artikel vertellen we meer over Be My Eyes, wat er bijzonder aan de nieuwe
functie is en hoe de app precies werkt. Ook leggen we stap voor stap uit hoe je
de app met of zonder schermlezer kunt gebruiken. Be My Eyes is gratis
beschikbaar voor zowel Apple als Android.
Wat is Be My Eyes?
Be My Eyes is misschien niet nieuw voor je. De app bestaat al jaren en viel op
doordat je er een vrijwilliger mee kunt bellen die door de camera van je
telefoon meekijkt. Die mogelijkheid bestaat nog steeds, maar in de app is er nu
een functie bijgekomen. Die nieuwe functie heet Be My AI. Hiermee maak je een
foto waarna slimme software herkent wat er op die foto staat. Zo hoef je niet te
wachten op hulp van mensen die je misschien ook niet alles door je camera zou
willen laten zien.
Zoals de naam al zegt maakt de nieuwe functie gebruik van moderne
AI-technologie.
Er zijn natuurlijk meer apps die objecten, tekst en de omgeving kunnen
herkennen. Denk bijvoorbeeld aan Seeing AI, Envision of Lookout. Het verschil is
dat Be My Eyes dit veel uitgebreider en gedetailleerder doet. Daarnaast kent de
app nog een aantal andere functies zoals de hierboven beschreven meekijkfunctie.
Dit alles maakt dat je met de Be My Eyes app een veelzijdige gereedschapskist in
huis haalt om objecten en je omgeving waar te nemen en te herkennen.
Over de verschillen met andere apps kun je verderop een korte vergelijkende test
vinden.
Hoe werkt de Be My AI functie?
Zoals gezegd kun je met Be My AI je smartphone of tablet gebruiken om alle
soorten beelden laten beschrijven. Dat kan een foto van je omgeving zijn, van
een menukaart in een restaurant, een vakantiefoto die je zelf maakt of die je
van vrienden hebt ontvangen, en nog veel meer. Je kunt deze foto’s direct vanuit
de app met de camera maken, maar Be My AI kan ook foto's beschrijven uit andere
apps. Denk bijvoorbeeld aan een foto die je hebt ontvangen in je mail, WhatsApp
of Signal. Hoe je dit allemaal precies doet lees je verderop in dit artikel.
Wanneer de omschrijving voor jou niet helemaal duidelijk is, kun je de app om
meer informatie vragen. Je typt of spreekt je vraag in en de slimme AI-software
van de app zal daar direct op reageren. Feitelijk ben je nu aan het chatten met
de slimme AI-software van Be My Eyes en kun je zoveel vragen stellen als je
wilt. Mocht het dan nog niet duidelijk zijn, dan kun je alsnog een goedziende
vrijwilliger bellen om met je mee te kijken.
Een praktisch voorbeeld
Om het wat duidelijker te maken geven we een voorbeeld waarbij we Be My AI een
plant proberen te laten herkennen. Be My AI zegt over de foto: “Op de foto staat
een kamerplant op een vensterbank voor een raam. De plant heeft groene,
hartvormige bladeren en zit in een roze pot. Het zonlicht schijnt door het raam
en werpt een schaduw van de plant op de vensterbank. Buiten het raam zie je een
straat met huizen en bomen. Het lijkt een zonnige dag te zijn.”
Dat is al heel mooi, maar nu willen we ook weten welke plant het precies is.
En dus activeren we de knop: ‘vraag meer’. We vragen: “Wat voor plant is het?”
Be My AI reageert hierop met: “Ik ben niet zeker van het exacte type plant op de
foto. Het lijkt een kamerplant met hartvormige bladeren. Als u wilt, kunt op de
knop “Bel een vrijwilliger” drukken voor meer hulp bij het identificeren van de
plant.”
Be My AI heeft in dit voorbeeld dus moeite om te zeggen om welke plant het gaat.
(Het gaat overigens om een pannenkoekplant). Tijdens onze tests merkten we dat
de app merken van apparaten, namen van diersoorten en dus ook namen van planten
soms moeilijk kan herkennen. De foto opnieuw maken wil dan nog weleens helpen.
En anders kun je altijd nog een vrijwilliger van Be My Eyes bellen.
Waar we tijdens de tests ook achter kwamen is het volgende. Zoals gezegd herkent
Be My AI ook teksten op foto’s. Als het echter om veel tekst gaat zal de app
hier een samenvatting van maken. Waarschijnlijk doet de app dit om de
beschrijving niet te lang te maken. Het is goed om hier rekening mee te houden
als je bijvoorbeeld een screenshot van een nieuwsbericht wil laten beschrijven.
Als je de volledige tekst wil lezen kan het handiger zijn om dit met een andere
tekstherkennings-app te doen zoals Envision of Seeing AI.
Aan de slag met Be My AI
Zelf de Be My AI functie uitproberen? Dat kan met onderstaand stappenplan. Het
plan is geschreven voor gebruik op een iPhone met gebruikmaking van VoiceOver.
Heb je een iPad of een Android toestel dan zijn de handelingen vergelijkbaar.
Let op: Op moment van schrijven is de versie voor Android nog in Beta. Er
kunnen dus nog fouten in zitten of de app kan nog gewijzigd worden.
1. Be My Eyes downloaden
Als je de app Be My Eyes nog niet op je toestel hebt staan kun je deze
downloaden.
2. Be My Eyes de eerste keer starten
Als je de app voor het eerst gebruikt moet je eerst een paar startschermen
doorlopen:
Start de app Be My Eyes.
Zoek de knop waar staat: Ik heb visuele assistentie nodig, Bel een bedrijf
of vrijwilliger. Activeer deze knop met een dubbeltik.
Zoek onderin het scherm de knop: Ik ga akkoord. Activeer deze knop.
Je moet akkoord gaan met de voorwaarden om de app te kunnen gebruiken.
Kies hoe je wilt inloggen. Dit kan met je mailadres, Apple ID, Googleaccount
of Facebook. Kies een van de opties en activeer de bijbehorende knop.
Je vindt Be My AI links onderin het scherm in de tabbladbalk. Activeer de
tab: Be My AI.
Activeer de knop Aan de slag.
De app vraagt toestemming om de camera te gebruiken. Bevestig dat door de OK
knop te activeren.
3. Be My AI een gemaakte foto laten beschrijven
Open de app Be My Eyes.
Activeer onderin het scherm de tab: Be My AI.
Richt je telefoon op een object of op de omgeving. Activeer de knop: Maak
een foto.
De foto wordt herkend. Na enige tijd verschijnt de beschrijving in beeld.
Als je gebruik maakt van een schermlezer wordt deze direct voorgelezen.
Om direct een nieuwe foto te maken activeer je de knop: Maak een Foto.
Nadat je een foto hebt laten beschrijven kun je meer informatie vragen door een
berichtje te sturen naar Be My AI. Je start hiermee een chat met de slimme
software.
Nadat je een foto hebt laten beschrijven activeer je de knop: Vraag meer.
Deze knop bevindt zich onder de beschrijving van de foto.
Er verschijnt nu een tekstveld. Typ of dicteer je vraag in het tekstveld op
de gebruikelijke wijze.
Activeer de knop: Stuur Bericht. Deze bevindt zich rechts naast het
tekstveld waar je je bericht hebt getypt.
Even later verschijnt het antwoord boven het tekstveld. Als je gebruik maakt
van een schermlezer navigeer je terug door met één vinger naar links te
vegen om het antwoord te horen.
Je kunt nu verder chatten. Mocht je toch een vrijwilliger willen bellen, dan
kan dat met de knop: Bel een vrijwilliger.
5. Een beschrijving van een foto kopiëren
Wanneer je de beschrijving wilt kopiëren en je maakt gebruik van VoiceOver:
veeg omhoog of omlaag met één vinger over de beschrijving en tik dubbel bij
‘Beschrijving kopiëren’.
Wanner je de beschrijving wilt kopiëren en je maakt geen gebruik van een
schermlezer tik je op de beschrijving en vervolgens op Beschrijving
kopiëren.
6. Een foto laten beschrijven uit een andere app
Behalve een zelfgemaakte foto kun je ook andere foto’s laten beschrijven:
Open een foto, bijvoorbeeld uit de foto app of een foto die je in WhatsApp
hebt gekregen.
Ga naar de Deel Knop en activeer deze. Let op: Wanneer je een foto opent
in WhatsApp moet je mogelijk nu eerst nog een keer naar de Deel Knop.
Navigeer naar de knop Beschrijf Met Be My Eyes, en activeer deze.
Hoe werkt Be My AI? Een blik onder de motorkap
Be My AI en vergelijkbare herkennings-apps kunnen zo goed objecten herkennen
omdat ze gebruik maken van een enorme databank aan foto’s. Als jij een foto
maakt van een plant, dan zoekt de app in zijn databank naar foto’s die daar op
lijken en komt dan tot de conclusie dat jij een foto hebt gemaakt van een plant,
en bij verdere analyse misschien ook wel welke plant.
Behalve die databank met foto’s maakt Be My AI ook gebruik van een databank waar
heel veel teksten in staan. Dit maakt dat Be My AI jou niet alleen kan vertellen
dat je een foto hebt gemaakt van een plant, maar hij kan dit ook in mooie
volzinnen tegen je zeggen.
De technologie hierachter heet ook wel LLM, wat staat voor een Large Language
Model. ChatGPT is misschien wel het bekendste voorbeeld van deze techniek. Be My
AI is overigens ontwikkeld door hetzelfde bedrijf als ChatGPT.
Bij het genereren van een antwoord werkt Be My AI op basis van voorspellingen.
Als je een vraag stelt dan voorspelt het model als het ware de meest logische
reactie op die vraag. Deze manier van antwoord geven zorgt er wel voor dat de AI
weliswaar verzekerd overkomt, maar soms toch echt wel fouten maakt. Dit komt in
de praktijk voornamelijk voor bij foto’s die afwijkend of complex zijn. Het kan
dus voorkomen dat de slimme AI-software voorspelt dat er iets op jouw foto
staat, wat er eigenlijk helemaal niet staat. Je zou kunnen zeggen dat de app
zich er een beetje doorheen bluft. Gelukkig verbetert de technologie snel
waardoor dit steeds minder voor zal komen.
Tip: Wil je zelf eens AI en chatbots uitproberen? Op het Visio Kennisportaal
vind je uitleg en een stappenplan.
Ga naar het artikel: Zelf Chatbots en AI uitproberen ChatGPT, Bard en
Bing
Be My Eyes versus andere herkennings-apps
De Be My Eyes app is niet de enige die een omschrijving van een foto of van de
omgeving kan geven. Er zijn meerdere apps die dit kunnen, al geven ze niet
allemaal een even uitgebreide beschrijving. We waren daarom wel benieuwd naar de
verschillen. We hebben verschillende herkennings-apps een omschrijving laten
geven van onderstaande foto van een kantoortuin. Dit is wat de apps ons over de
foto wisten te vertellen:
Seeing AI met de functie Scene: “Een kamer met computers en stoelen.”
Envision met de functie Beschrijf Omgeving: “Ik ben er niet heel zeker
van, maar het is misschien een bureau met een computer en een stoel in een
kamer.”
Lookout met de functie Afbeeldingen: “Boom, Televisie, Gebouw.”
Lookout met de functie Verkennen: wisselend: “twee stoelen en twee
computermonitoren en jaloezie.”
Be My Eyes met de functie Be My AI: “De foto toont een kantoorruimte met
een groot raam dat uitzicht biedt op wat groen en een deel van een gebouw.
Binnen in de kantoorruimte zijn er twee bureaus tegen elkaar geplaatst met
elk een computermonitor, toetsenbord en bureaustoel. De bureaus zijn licht
van kleur en de stoelen zijn zwart. Er is een rood tapijt op de vloer en de
muren zijn lichtgekleurd. Er is ook een deur aan de linkerkant die naar
buiten leidt. Het raam heeft horizontale jaloezieën.”
Tip: Ervaring van een gebruiker
Ben je benieuwd naar andere gebruikerservaringen? In de blog op de site
Tikjeanders over deze app lees je een uitgebreid verslag van een blinde
gebruiker.
Ga naar de gebruikerservaring op Tikje
Anders
Heb je nog vragen?
Mail naar kennisportaal@visio.org, of bel 088
585 56 66.
Meer artikelen, video’s en podcasts vind je op
kennisportaal.visio.org
Koninklijke Visio
expertisecentrum voor slechtziende en blinde mensen
www.visio.org