Laat Be My Eyes je ogen zijn
Geplaatst op 23 november 2023Jesse Wienholts en Louis Pool, Koninklijke Visio
Een gedetailleerde omschrijving krijgen van je omgeving of van een foto. Dat kan met Be My AI, de nieuwe functie van de app Be My Eyes. Je maakt met je smartphone of tablet een foto en de slimme software van Be My Eyes vertelt je duidelijk en in detail wat erop te zien is. Dit kan erg nuttig zijn als je weinig of niets ziet. Denk bijvoorbeeld aan het lezen van een menukaart in een restaurant, als je wilt weten hoe de ruimte om je heen eruitziet of als je wilt weten wat er op een verpakking staat.
In dit artikel vertellen we meer over Be My Eyes, wat er bijzonder aan de nieuwe functie is en hoe de app precies werkt. Ook leggen we stap voor stap uit hoe je de app met of zonder schermlezer kunt gebruiken. Be My Eyes is gratis beschikbaar voor zowel Apple als Android.
Wat is Be My Eyes?
Be My Eyes is misschien niet nieuw voor je. De app bestaat al jaren en viel op doordat je er een vrijwilliger mee kunt bellen die door de camera van je telefoon meekijkt. Die mogelijkheid bestaat nog steeds, maar in de app is er nu een functie bijgekomen. Die nieuwe functie heet Be My AI. Hiermee maak je een foto waarna slimme software herkent wat er op die foto staat. Zo hoef je niet te wachten op hulp van mensen die je misschien ook niet alles door je camera zou willen laten zien.
Zoals de naam al zegt maakt de nieuwe functie gebruik van moderne AI-technologie.
Er zijn natuurlijk meer apps die objecten, tekst en de omgeving kunnen herkennen. Denk bijvoorbeeld aan Seeing AI, Envision of Lookout. Het verschil is dat Be My Eyes dit veel uitgebreider en gedetailleerder doet. Daarnaast kent de app nog een aantal andere functies zoals de hierboven beschreven meekijkfunctie. Dit alles maakt dat je met de Be My Eyes app een veelzijdige gereedschapskist in huis haalt om objecten en je omgeving waar te nemen en te herkennen.
Over de verschillen met andere apps kun je verderop een korte vergelijkende test vinden.
Hoe werkt de Be My AI functie?
Zoals gezegd kun je met Be My AI je smartphone of tablet gebruiken om alle soorten beelden laten beschrijven. Dat kan een foto van je omgeving zijn, van een menukaart in een restaurant, een vakantiefoto die je zelf maakt of die je van vrienden hebt ontvangen, en nog veel meer. Je kunt deze foto’s direct vanuit de app met de camera maken, maar Be My AI kan ook foto's beschrijven uit andere apps. Denk bijvoorbeeld aan een foto die je hebt ontvangen in je mail, WhatsApp of Signal. Hoe je dit allemaal precies doet lees je verderop in dit artikel.
Wanneer de omschrijving voor jou niet helemaal duidelijk is, kun je de app om meer informatie vragen. Je typt of spreekt je vraag in en de slimme AI-software van de app zal daar direct op reageren. Feitelijk ben je nu aan het chatten met de slimme AI-software van Be My Eyes en kun je zoveel vragen stellen als je wilt. Mocht het dan nog niet duidelijk zijn, dan kun je alsnog een goedziende vrijwilliger bellen om met je mee te kijken.
Een praktisch voorbeeld
Om het wat duidelijker te maken geven we een voorbeeld waarbij we Be My AI een plant proberen te laten herkennen. Be My AI zegt over de foto: “Op de foto staat een kamerplant op een vensterbank voor een raam. De plant heeft groene, hartvormige bladeren en zit in een roze pot. Het zonlicht schijnt door het raam en werpt een schaduw van de plant op de vensterbank. Buiten het raam zie je een straat met huizen en bomen. Het lijkt een zonnige dag te zijn.”
Dat is al heel mooi, maar nu willen we ook weten welke plant het precies is.
En dus activeren we de knop: ‘vraag meer’. We vragen: “Wat voor plant is het?” Be My AI reageert hierop met: “Ik ben niet zeker van het exacte type plant op de foto. Het lijkt een kamerplant met hartvormige bladeren. Als u wilt, kunt op de knop “Bel een vrijwilliger” drukken voor meer hulp bij het identificeren van de plant.”
Be My AI heeft in dit voorbeeld dus moeite om te zeggen om welke plant het gaat. (Het gaat overigens om een pannenkoekplant). Tijdens onze tests merkten we dat de app merken van apparaten, namen van diersoorten en dus ook namen van planten soms moeilijk kan herkennen. De foto opnieuw maken wil dan nog weleens helpen. En anders kun je altijd nog een vrijwilliger van Be My Eyes bellen.
 |
 |
|---|
Waar we tijdens de tests ook achter kwamen is het volgende. Zoals gezegd herkent Be My AI ook teksten op foto’s. Als het echter om veel tekst gaat zal de app hier een samenvatting van maken. Waarschijnlijk doet de app dit om de beschrijving niet te lang te maken. Het is goed om hier rekening mee te houden als je bijvoorbeeld een screenshot van een nieuwsbericht wil laten beschrijven. Als je de volledige tekst wil lezen kan het handiger zijn om dit met een andere tekstherkennings-app te doen zoals Envision of Seeing AI.
Aan de slag met Be My AI
Zelf de Be My AI functie uitproberen? Dat kan met onderstaand stappenplan. Het plan is geschreven voor gebruik op een iPhone met gebruikmaking van VoiceOver. Heb je een iPad of een Android toestel dan zijn de handelingen vergelijkbaar.
Let op: Op moment van schrijven is de versie voor Android nog in Beta. Er kunnen dus nog fouten in zitten of de app kan nog gewijzigd worden.
1. Be My Eyes downloaden
Als je de app Be My Eyes nog niet op je toestel hebt staan kun je deze downloaden.
2. Be My Eyes de eerste keer starten
Als je de app voor het eerst gebruikt moet je eerst een paar startschermen doorlopen:
Start de app Be My Eyes.
Zoek de knop waar staat: Ik heb visuele assistentie nodig, Bel een bedrijf of vrijwilliger. Activeer deze knop met een dubbeltik.
Zoek onderin het scherm de knop: Ik ga akkoord. Activeer deze knop.
Je moet akkoord gaan met de voorwaarden om de app te kunnen gebruiken.
Kies hoe je wilt inloggen. Dit kan met je mailadres, Apple ID, Googleaccount of Facebook. Kies een van de opties en activeer de bijbehorende knop.
Je vindt Be My AI links onderin het scherm in de tabbladbalk. Activeer de tab: Be My AI.
Activeer de knop Aan de slag.
De app vraagt toestemming om de camera te gebruiken. Bevestig dat door de OK knop te activeren.
3. Be My AI een gemaakte foto laten beschrijven
Open de app Be My Eyes.
Activeer onderin het scherm de tab: Be My AI.
Richt je telefoon op een object of op de omgeving. Activeer de knop: Maak een foto.
De foto wordt herkend. Na enige tijd verschijnt de beschrijving in beeld. Als je gebruik maakt van een schermlezer wordt deze direct voorgelezen.
Om direct een nieuwe foto te maken activeer je de knop: Maak een Foto.
4. Meer informatie vragen
Nadat je een foto hebt laten beschrijven kun je meer informatie vragen door een berichtje te sturen naar Be My AI. Je start hiermee een chat met de slimme software.
Nadat je een foto hebt laten beschrijven activeer je de knop: Vraag meer. Deze knop bevindt zich onder de beschrijving van de foto.
Er verschijnt nu een tekstveld. Typ of dicteer je vraag in het tekstveld op de gebruikelijke wijze.
Activeer de knop: Stuur Bericht. Deze bevindt zich rechts naast het tekstveld waar je je bericht hebt getypt.
Even later verschijnt het antwoord boven het tekstveld. Als je gebruik maakt van een schermlezer navigeer je terug door met één vinger naar links te vegen om het antwoord te horen.
Je kunt nu verder chatten. Mocht je toch een vrijwilliger willen bellen, dan kan dat met de knop: Bel een vrijwilliger.
5. Een beschrijving van een foto kopiëren
Wanneer je de beschrijving wilt kopiëren en je maakt gebruik van VoiceOver: veeg omhoog of omlaag met één vinger over de beschrijving en tik dubbel bij ‘Beschrijving kopiëren’.
Wanner je de beschrijving wilt kopiëren en je maakt geen gebruik van een schermlezer tik je op de beschrijving en vervolgens op Beschrijving kopiëren.
6. Een foto laten beschrijven uit een andere app
Behalve een zelfgemaakte foto kun je ook andere foto’s laten beschrijven:
Open een foto, bijvoorbeeld uit de foto app of een foto die je in WhatsApp hebt gekregen.
Ga naar de Deel Knop en activeer deze. Let op: Wanneer je een foto opent in WhatsApp moet je mogelijk nu eerst nog een keer naar de Deel Knop.
Navigeer naar de knop Beschrijf Met Be My Eyes, en activeer deze.
Hoe werkt Be My AI? Een blik onder de motorkap
Be My AI en vergelijkbare herkennings-apps kunnen zo goed objecten herkennen omdat ze gebruik maken van een enorme databank aan foto’s. Als jij een foto maakt van een plant, dan zoekt de app in zijn databank naar foto’s die daar op lijken en komt dan tot de conclusie dat jij een foto hebt gemaakt van een plant, en bij verdere analyse misschien ook wel welke plant.
Behalve die databank met foto’s maakt Be My AI ook gebruik van een databank waar heel veel teksten in staan. Dit maakt dat Be My AI jou niet alleen kan vertellen dat je een foto hebt gemaakt van een plant, maar hij kan dit ook in mooie volzinnen tegen je zeggen.
De technologie hierachter heet ook wel LLM, wat staat voor een Large Language Model. ChatGPT is misschien wel het bekendste voorbeeld van deze techniek. Be My AI is overigens ontwikkeld door hetzelfde bedrijf als ChatGPT.
Bij het genereren van een antwoord werkt Be My AI op basis van voorspellingen. Als je een vraag stelt dan voorspelt het model als het ware de meest logische reactie op die vraag. Deze manier van antwoord geven zorgt er wel voor dat de AI weliswaar verzekerd overkomt, maar soms toch echt wel fouten maakt. Dit komt in de praktijk voornamelijk voor bij foto’s die afwijkend of complex zijn. Het kan dus voorkomen dat de slimme AI-software voorspelt dat er iets op jouw foto staat, wat er eigenlijk helemaal niet staat. Je zou kunnen zeggen dat de app zich er een beetje doorheen bluft. Gelukkig verbetert de technologie snel waardoor dit steeds minder voor zal komen.
Tip: Wil je zelf eens AI en chatbots uitproberen? Op het Visio Kennisportaal vind je uitleg en een stappenplan.
Ga naar het artikel: Zelf Chatbots en AI uitproberen ChatGPT, Bard en Bing
Be My Eyes versus andere herkennings-apps
De Be My Eyes app is niet de enige die een omschrijving van een foto of van de omgeving kan geven. Er zijn meerdere apps die dit kunnen, al geven ze niet allemaal een even uitgebreide beschrijving. We waren daarom wel benieuwd naar de verschillen. We hebben verschillende herkennings-apps een omschrijving laten geven van onderstaande foto van een kantoortuin. Dit is wat de apps ons over de foto wisten te vertellen:
Seeing AI met de functie Scene: “Een kamer met computers en stoelen.”
Envision met de functie Beschrijf Omgeving: “Ik ben er niet heel zeker van, maar het is misschien een bureau met een computer en een stoel in een kamer.”
Lookout met de functie Afbeeldingen: “Boom, Televisie, Gebouw.”
Lookout met de functie Verkennen: wisselend: “twee stoelen en twee computermonitoren en jaloezie.”
Be My Eyes met de functie Be My AI: “De foto toont een kantoorruimte met een groot raam dat uitzicht biedt op wat groen en een deel van een gebouw. Binnen in de kantoorruimte zijn er twee bureaus tegen elkaar geplaatst met elk een computermonitor, toetsenbord en bureaustoel. De bureaus zijn licht van kleur en de stoelen zijn zwart. Er is een rood tapijt op de vloer en de muren zijn lichtgekleurd. Er is ook een deur aan de linkerkant die naar buiten leidt. Het raam heeft horizontale jaloezieën.”
Tip: Ervaring van een gebruiker
Ben je benieuwd naar andere gebruikerservaringen? In de blog op de site Tikjeanders over deze app lees je een uitgebreid verslag van een blinde gebruiker.
Ga naar de gebruikerservaring op Tikje Anders
Heb je nog vragen?
Mail naar kennisportaal@visio.org, of bel 088 585 56 66.
Meer artikelen, video’s en podcasts vind je op kennisportaal.visio.org
Koninklijke Visio
expertisecentrum voor slechtziende en blinde mensen