Laat Be My Eyes je ogen zijn

Jesse Wienholts en Louis Pool, Koninklijke Visio

Een gedetailleerde omschrijving krijgen van je omgeving of van een foto. Dat kan met Be My AI, de nieuwe functie van de app Be My Eyes. Je maakt met je smartphone of tablet een foto en de slimme software van Be My Eyes vertelt je duidelijk en in detail wat erop te zien is. Dit kan erg nuttig zijn als je weinig of niets ziet. Denk bijvoorbeeld aan het lezen van een menukaart in een restaurant, als je wilt weten hoe de ruimte om je heen eruitziet of als je wilt weten wat er op een verpakking staat.

In dit artikel vertellen we meer over Be My Eyes, wat er bijzonder aan de nieuwe functie is en hoe de app precies werkt. Ook leggen we stap voor stap uit hoe je de app met of zonder schermlezer kunt gebruiken. Be My Eyes is gratis beschikbaar voor zowel Apple als Android.

Wat is Be My Eyes?

Be My Eyes is misschien niet nieuw voor je. De app bestaat al jaren en viel op doordat je er een vrijwilliger mee kunt bellen die door de camera van je telefoon meekijkt. Die mogelijkheid bestaat nog steeds, maar in de app is er nu een functie bijgekomen. Die nieuwe functie heet Be My AI. Hiermee maak je een foto waarna slimme software herkent wat er op die foto staat. Zo hoef je niet te wachten op hulp van mensen die je misschien ook niet alles door je camera zou willen laten zien.

Zoals de naam al zegt maakt de nieuwe functie gebruik van moderne AI-technologie.

Er zijn natuurlijk meer apps die objecten, tekst en de omgeving kunnen herkennen. Denk bijvoorbeeld aan Seeing AI, Envision of Lookout. Het verschil is dat Be My Eyes dit veel uitgebreider en gedetailleerder doet. Daarnaast kent de app nog een aantal andere functies zoals de hierboven beschreven meekijkfunctie. Dit alles maakt dat je met de Be My Eyes app een veelzijdige gereedschapskist in huis haalt om objecten en je omgeving waar te nemen en te herkennen.

Over de verschillen met andere apps kun je verderop een korte vergelijkende test vinden.

Hoe werkt de Be My AI functie?

Zoals gezegd kun je met Be My AI je smartphone of tablet gebruiken om alle soorten beelden laten beschrijven. Dat kan een foto van je omgeving zijn, van een menukaart in een restaurant, een vakantiefoto die je zelf maakt of die je van vrienden hebt ontvangen, en nog veel meer. Je kunt deze foto’s direct vanuit de app met de camera maken, maar Be My AI kan ook foto's beschrijven uit andere apps. Denk bijvoorbeeld aan een foto die je hebt ontvangen in je mail, WhatsApp of Signal. Hoe je dit allemaal precies doet lees je verderop in dit artikel.

Wanneer de omschrijving voor jou niet helemaal duidelijk is, kun je de app om meer informatie vragen. Je typt of spreekt je vraag in en de slimme AI-software van de app zal daar direct op reageren. Feitelijk ben je nu aan het chatten met de slimme AI-software van Be My Eyes en kun je zoveel vragen stellen als je wilt. Mocht het dan nog niet duidelijk zijn, dan kun je alsnog een goedziende vrijwilliger bellen om met je mee te kijken.

Een praktisch voorbeeld

Om het wat duidelijker te maken geven we een voorbeeld waarbij we Be My AI een plant proberen te laten herkennen. Be My AI zegt over de foto: “Op de foto staat een kamerplant op een vensterbank voor een raam. De plant heeft groene, hartvormige bladeren en zit in een roze pot. Het zonlicht schijnt door het raam en werpt een schaduw van de plant op de vensterbank. Buiten het raam zie je een straat met huizen en bomen. Het lijkt een zonnige dag te zijn.”

Dat is al heel mooi, maar nu willen we ook weten welke plant het precies is.

En dus activeren we de knop: ‘vraag meer’. We vragen: “Wat voor plant is het?” Be My AI reageert hierop met: “Ik ben niet zeker van het exacte type plant op de foto. Het lijkt een kamerplant met hartvormige bladeren. Als u wilt, kunt op de knop “Bel een vrijwilliger” drukken voor meer hulp bij het identificeren van de plant.”

Be My AI heeft in dit voorbeeld dus moeite om te zeggen om welke plant het gaat. (Het gaat overigens om een pannenkoekplant). Tijdens onze tests merkten we dat de app merken van apparaten, namen van diersoorten en dus ook namen van planten soms moeilijk kan herkennen. De foto opnieuw maken wil dan nog weleens helpen. En anders kun je altijd nog een vrijwilliger van Be My Eyes bellen.

Waar we tijdens de tests ook achter kwamen is het volgende. Zoals gezegd herkent Be My AI ook teksten op foto’s. Als het echter om veel tekst gaat zal de app hier een samenvatting van maken. Waarschijnlijk doet de app dit om de beschrijving niet te lang te maken. Het is goed om hier rekening mee te houden als je bijvoorbeeld een screenshot van een nieuwsbericht wil laten beschrijven. Als je de volledige tekst wil lezen kan het handiger zijn om dit met een andere tekstherkennings-app te doen zoals Envision of Seeing AI.

Aan de slag met Be My AI

Zelf de Be My AI functie uitproberen? Dat kan met onderstaand stappenplan. Het plan is geschreven voor gebruik op een iPhone met gebruikmaking van VoiceOver. Heb je een iPad of een Android toestel dan zijn de handelingen vergelijkbaar.

1. Be My Eyes downloaden

Als je de app Be My Eyes nog niet op je toestel hebt staan kun je deze downloaden.

• Download Be My Eyes in de App Store

• Download Be My Eyes in de Google Play Store

2. Be My Eyes de eerste keer starten

Als je de app voor het eerst gebruikt moet je eerst een paar startschermen doorlopen:

1. Start de app Be My Eyes.

2. Zoek de knop waar staat: Ik heb visuele assistentie nodig, Bel een bedrijf of vrijwilliger. Activeer deze knop met een dubbeltik.

3. Zoek onderin het scherm de knop: Ik ga akkoord. Activeer deze knop.

   Je moet akkoord gaan met de voorwaarden om de app te kunnen gebruiken.

4. Kies hoe je wilt inloggen. Dit kan met je mailadres, Apple ID, Googleaccount of Facebook. Kies een van de opties en activeer de bijbehorende knop.

5. Je vindt Be My AI links onderin het scherm in de tabbladbalk. Activeer de tab: Be My AI.

6. Activeer de knop Aan de slag.

7. De app vraagt toestemming om de camera te gebruiken. Bevestig dat door de OK knop te activeren.

3. Omschrijvingen laten voorlezen

Be My AI kan de omschrijvingen van foto's niet alleen in tekst weergeven, maar ook voorlezen. Bovenin het scherm bevindt zich een ronde knop met een speakericoon, waarmee je de spraakfunctie aan of uit kunt zetten. Wanneer de spraakfunctie is uitgeschakeld, verschijnt er een streep door de speaker; staat de functie aan, dan zijn er golfjes achter het icoon te zien. Gebruikers van een schermlezer zoals VoiceOver hoeven deze knop niet te gebruiken, omdat de beschrijvingen bij hen altijd automatisch worden voorgelezen.

4. Be My AI een gemaakte foto laten beschrijven

1. Open de app Be My Eyes.

2. Activeer onderin het scherm de tab: Be My AI.

3. Richt je telefoon op een object of op de omgeving. Activeer de knop: Maak een foto.

4. De foto wordt herkend. Na enige tijd verschijnt de beschrijving in beeld. Wanneer je de spraakfunctie in de app hebt aangezet wordt de tekst ook direct voorgelezen. Gebruik je een schermlezer dan wordt er altijd direct voorgelezen.

5. Om direct een nieuwe foto te maken activeer je de knop: Maak een Foto.

5. Meer informatie vragen

Nadat je een foto hebt laten beschrijven kun je meer informatie vragen door een berichtje te sturen naar Be My AI. Je start hiermee een chat met de slimme software.

1. Nadat je een foto hebt laten beschrijven activeer je de knop: Vraag meer. Deze knop bevindt zich onder de beschrijving van de foto.

2. Er verschijnt nu een tekstveld. Typ of dicteer je vraag in het tekstveld op de gebruikelijke wijze.

3. Activeer de knop: Stuur Bericht. Deze bevindt zich rechts naast het tekstveld waar je je bericht hebt getypt.

4. Even later verschijnt het antwoord boven het tekstveld. Als je de spraakfunctie in de app hebt aangezet wordt het antwoord direct voorgelezen. Gebruik je VoiceOver dan gebeurt dat sowieso.

5. Je kunt nu verder chatten. Mocht je toch een vrijwilliger willen bellen, dan kan dat met de knop: Bel een vrijwilliger.

6. Een beschrijving van een foto kopiëren

• Wanneer je de beschrijving wilt kopiëren en je maakt gebruik van VoiceOver: veeg omhoog of omlaag met één vinger over de beschrijving en tik dubbel bij ‘Beschrijving kopiëren’.

• Wanner je de beschrijving wilt kopiëren en je maakt geen gebruik van een schermlezer tik je op de beschrijving en vervolgens op Beschrijving kopiëren.

7. Een foto laten beschrijven uit een andere app

Behalve een zelfgemaakte foto kun je ook andere foto’s laten beschrijven:

1. Open een foto, bijvoorbeeld uit de foto app of een foto die je in WhatsApp hebt gekregen.

2. Ga naar de Deel Knop en activeer deze. Let op: Wanneer je een foto opent in WhatsApp moet je mogelijk nu eerst nog een keer naar de Deel Knop.

3. Navigeer naar de knop Beschrijf Met Be My Eyes, en activeer deze. Die knop ziet er zo uit:

Hoe werkt Be My AI? Een blik onder de motorkap

Be My AI en vergelijkbare herkennings-apps kunnen zo goed objecten herkennen omdat ze gebruik maken van een enorme databank aan foto’s. Als jij een foto maakt van een plant, dan zoekt de app in zijn databank naar foto’s die daar op lijken en komt dan tot de conclusie dat jij een foto hebt gemaakt van een plant, en bij verdere analyse misschien ook wel welke plant.

Behalve die databank met foto’s maakt Be My AI ook gebruik van een databank waar heel veel teksten in staan. Dit maakt dat Be My AI jou niet alleen kan vertellen dat je een foto hebt gemaakt van een plant, maar hij kan dit ook in mooie volzinnen tegen je zeggen.

De technologie hierachter heet ook wel LLM, wat staat voor een Large Language Model. ChatGPT is misschien wel het bekendste voorbeeld van deze techniek. Be My AI is overigens ontwikkeld door hetzelfde bedrijf als ChatGPT.

Bij het genereren van een antwoord werkt Be My AI op basis van voorspellingen. Als je een vraag stelt dan voorspelt het model als het ware de meest logische reactie op die vraag. Deze manier van antwoord geven zorgt er wel voor dat de AI weliswaar verzekerd overkomt, maar soms toch echt wel fouten maakt. Dit komt in de praktijk voornamelijk voor bij foto’s die afwijkend of complex zijn. Het kan dus voorkomen dat de slimme AI-software voorspelt dat er iets op jouw foto staat, wat er eigenlijk helemaal niet staat. Je zou kunnen zeggen dat de app zich er een beetje doorheen bluft. Gelukkig verbetert de technologie snel waardoor dit steeds minder voor zal komen.

Tip: Wil je zelf eens AI en chatbots uitproberen? Op het Visio Kennisportaal vind je uitleg en een stappenplan.

Ga naar het artikel: Zelf Chatbots en AI uitproberen ChatGPT, Bard en Bing

Be My Eyes versus andere herkennings-apps

De Be My Eyes app is niet de enige die een omschrijving van een foto of van de omgeving kan geven. Er zijn meerdere apps die dit kunnen, al geven ze niet allemaal een even uitgebreide beschrijving. We waren daarom wel benieuwd naar de verschillen. We hebben verschillende herkennings-apps een omschrijving laten geven van onderstaande foto van een kantoortuin. Dit is wat de apps ons over de foto wisten te vertellen:

• Seeing AI met de functie Scene: “De afbeelding toont een kantoorruimte met twee werkplekken op een rij langs een houten bureau. Elke werkplek is uitgerust met een computerscherm, toetsenbord en muis. De monitoren zijn naar de achterkant van het bureau geplaatst, met de toetsenborden en muizen er direct voor. Voor elke werkplek zijn twee zwarte bureaustoelen met wielen geplaatst, waardoor ze gemakkelijk kunnen worden verplaatst. Het bureau is parallel gesitueerd aan een groot raam, dat zich over de hele lengte van de muur uitstrekt en uitzicht biedt op het groen buiten. Het raam is gedeeltelijk bedekt met jaloezieën. De vloer is voorzien van vloerbedekking en er is een scheidingswand aan de rechterkant van de afbeelding, wat een verdeling van de ruimte binnen het kantoor suggereert.”

• Envision met de functie Beschrijf Omgeving: “Het beeld beschikt over een kamer met drie bureaus die op een rij zijn gerangschikt, elk met een computerscherm en een toetsenbord. De bureaus worden vergezeld door stoelen, met twee stoelen aan de linkerkant van de kamer en een stoel aan de rechterkant. De kamer lijkt een computerlokaal of kantoorruimte te zijn, met de bureaus en stoelen die voor gebruik zijn opgezet.”

• Lookout met de functie Afbeeldingen: “Tafel, ruimte, meubilair.”

• Lookout met de functie Verkennen: wisselend: “twee stoelen en twee computermonitoren en jaloezie.”

• Gemini: “Stel je voor dat je een lege kantoorruimte binnenstapt, klaar om in gebruik te worden genomen. De eerste indruk is er een van netheid en organisatie. Twee werkplekken staan al klaar, elk met een oranje/bruin bureau en een zwarte, ergonomische bureaustoel. Op elk bureau staat een complete computeropstelling met schermen, toetsenborden en muizen. De ruimte is licht door de grote ramen aan de achterkant, waardoor je naar buiten kunt kijken. Door de ramen zie je dat er een bos of tuin is. De ramen zijn voorzien van jaloezieën die het licht enigszins filteren. De vloer is bedekt met een opvallend rood tapijt, wat een warme sfeer creëert. Rechts in de hoek van de ruimte is een rode scheidingswand te zien. De algemene indruk is dat het een functionele en aangename werkplek is, klaar voor gebruik.”

• Be My Eyes met de functie Be My AI: “De foto toont een kantoorruimte met een groot raam dat uitzicht biedt op wat groen en een deel van een gebouw. Binnen in de kantoorruimte zijn er twee bureaus tegen elkaar geplaatst met elk een computermonitor, toetsenbord en bureaustoel. De bureaus zijn licht van kleur en de stoelen zijn zwart. Er is een rood tapijt op de vloer en de muren zijn lichtgekleurd. Er is ook een deur aan de linkerkant die naar buiten leidt. Het raam heeft horizontale jaloezieën.”

Tip: Ervaring van een gebruiker

Ben je benieuwd naar andere gebruikerservaringen? In de blog op de site Tikjeanders over deze app lees je een uitgebreid verslag van een blinde gebruiker.

Ga naar de gebruikerservaring op Tikje Anders

Heb je nog vragen?

Mail naar kennisportaal@visio.org, of bel 088 585 56 66.

Meer artikelen, video’s en podcasts vind je op kennisportaal.visio.org

Koninklijke Visio

expertisecentrum voor slechtziende en blinde mensen

www.visio.org