Artificiële Intelligentie in schermlezers

Eline De Ganck, Jeroen Baldewijns, Licht en Liefde

Artificiële Intelligentie is overal! Het zou dan ook verbazing wekken mocht AI niet opduiken in schermlezers voor gesproken en brailleweergave. In dit artikel bekijken we hoe AI ook in twee veel gebruikte schermlezers zijn opwachting maakt.

VoiceOver

VoiceOver, de bekende schermlezer voor de iPhone en de iPad bedient zich al geruime tijd van Artificiële Intelligentie. Enerzijds is er de VoiceOver-herkenning, die de schermlezer helpt om ontoegankelijke elementen in het schermbeeld toch toegankelijk te maken. En sinds iOS 18 is daar ook nog eens ‘Live herkenning’ bijgekomen. We overlopen beide functies en geven aan wat die voor jou kunnen betekenen.

VoiceOver-herkenning

Van de maker van een app verwachten we dat hij alle spelregels voor het bouwen van toegankelijke apps toepast. Je krijgt dan als VoiceOver-gebruiker duidelijke info over alle onderdelen op het scherm, je kunt al die onderdelen ook goed bereiken en bedienen met de VoiceOver-gebaren. En als het even meezit, kun je ook nog vlot navigeren op koppen.

Maar we weten allemaal dat nogal wat app-bouwers weinig tot geen rekening houden met die toegankelijkheidsvereisten. En dan kunnen apps wel eens lastig bruikbaar worden. En dat is precies waar VoiceOver-herkenning te hulp schiet, door AI te gebruiken om ontoegankelijke onderdelen te analyseren en er toch zinvolle informatie over te geven. Het is bijzonder zinvol dat VoiceOver dat doet, maar het mag voor de ontwikkelaars van apps natuurlijk geen excuus zijn om geen rekening meer te houden met de toegankelijkheidsnormen.

De mogelijkheden van VoiceOver-herkenning kun je activeren via Instellingen > Toegankelijkheid > VoiceOver > VoiceOver-herkenning. Je vindt er volgende instellingen:

• Beschrijvingen van afbeeldingen: Als je die optie inschakelt, dan zal VoiceOver afbeeldingen in apps of op webpagina’s met AI analyseren en op die manier een beschrijving genereren. Je kunt daarbij ook aangeven wat er moet gebeuren als zo’n afbeelding gevoelig materiaal (zoals een wachtwoord) zou bevatten: helemaal niets doen, enkel een geluidje afspelen of dat gevoelig materiaal toch omschrijven. Handig is ook dat je die functie kunt koppelen aan welbepaalde apps (bijvoorbeeld een app waarbij je veel toegankelijkheidsproblemen ondervindt).

• Schermherkenning: Met die optie gaat VoiceOver nog een stap verder. Het hele schermbeeld van een app wordt geanalyseerd en waar er in de app ontoegankelijke onderdelen voorkomen, zal VoiceOver op basis van AI zo goed mogelijk trachten om die onderdelen toegankelijk te maken. Ook die functie kun je koppelen aan welbepaalde apps waarbij je tegen toegankelijkheidsproblemen aan loopt.

• Tekstherkenning: Als je die optie aanzet, geef je aan dat VoiceOver ook speciaal moet uitkijken naar tekst die te zien is in een afbeelding. Die tekst zal VoiceOver dan herkennen en weergeven.

Live herkenning

In het begin van de Corona-tijd is Apple persoonsherkenning gaan toevoegen aan de Vergrootglas-app. De bedoeling was om personen in het camerabeeld te herkennen en aan te geven of de veiligheidsafstand gerespecteerd werd. In de daaropvolgende jaren zijn daar almaar meer herkenningsfuncties voor het camerabeeld bijgekomen, zoals herkenning van deuren of meubilair. We hebben het altijd vreemd gevonden dat die functies een plaatsje kregen in het Vergrootglas. Maar sinds iOS 18 werden al die mogelijkheden ook geïntegreerd in VoiceOver, wat ons een logische evolutie lijkt. Daardoor kun je zes herkenningsfuncties activeren vanuit VoiceOver:

• Herkenning van personen.

• Herkenning van deuren.

• Herkenning van scènes (de omgeving om je heen).

• Wijs en spreek: wijs tekst in het camerabeeld aan die je wilt laten voorlezen.

• Lees de tekst in het camerabeeld.

• Herkenning van meubilair.

Bij Instellingen > Toegankelijkheid > VoiceOver > VoiceOver-herkenning > Live herkenning kun je aanvinken welke van die herkenningsfuncties je binnen VoiceOver ter beschikking wilt hebben. Zodra je dat hebt ingesteld, kun je die functie activeren door driemaal te tikken met vier vingers, waarna de camera geactiveerd wordt en je auditieve en tactiele feedback krijgt bij dat camerabeeld. Vervolgens kun je met horizontale veegjes kiezen welke herkenningsfunctie je wil gebruiken en richt je de camera op de tekst of omgeving die je wilt laten herkennen.
Je kunt Live herkenning ook met de rotor oproepen en vervolgens met horizontale veegjes een herkenningsfunctie kiezen als je dat handiger vindt.

Daarmee wil Apple direct vanuit VoiceOver (zonder dat je een AI-app moet starten) een alternatief bieden voor apps zoals Seeing AI, EMVI of Envision. Maar naar ons aanvoelen is die live herkenning van VoiceOver toch nog niet zo geavanceerd als de genoemde AI-apps.

Jaws

Midden 2024 werd ‘Picture Smart’ aangekondigd als nieuwe feature van Jaws en Fusion. Zo deed AI ook in Jaws zijn intrede. We belichten even drie AI-functies:

Beeldbeschrijving

Bij het werken met de computer, staan er vaak heel wat visuele elementen op het scherm, zoals afbeeldingen, tabellen, diagrammen. Nog veel te vaak hebben die geen of te beperkte tekstalternatieven, waardoor het heel moeilijk is om in te schatten welke info er juist te vinden is. Met Picture Smart is het nu mogelijk om een visueel element te analyseren en er een gedetailleerde beschrijving van te krijgen. Zo worden elementen als foto’s, ingewikkelde diagrammen, tabellen … toch weer een stuk toegankelijker.

Als de beschrijving nog niet voldoende info oplevert, dan is het met die functie zelfs mogelijk om aanvullende vragen te stellen om alsnog goed geïnformeerd te worden.

Enkele sneltoetsen om Picture Smart te bedienen:

• Beschrijf beeldbestanden in de Windows Verkenner:
  JAWSTOETS + SPATIEBALK, gevolgd door B, B

• Beschrijf het huidige toepassingsvenster:
  JAWSTOETS + SPATIEBALK, gevolgd door B, V

FS Companion

FS Companion is een AI-hulpmiddel om beter te leren werken met Jaws en met de Microsoft-apps. Door de vele sneltoetsen en functies in Jaws, Windows en de Office-apps is het soms moeilijk om je de juiste sneltoets te herinneren of om als nieuwe gebruiker met een programma aan de slag te gaan.
‘FS Companion’, de nieuwe AI-assistent van Jaws, biedt de mogelijkheid om vragen te stellen over Fusion, Jaws en andere toepassingen, zodat je snel weer verder kunt werken zonder veel tijd te verliezen aan opzoekwerk.

Een paar voorbeelden van vragen die je kunt stellen:

• “Hoe voeg ik een bijlage toe aan mijn mail in Outlook?”

• “Hoe verander ik de leessnelheid in Jaws?”

• “Hoe stel ik een plaatsmarkering in op een pagina?”

Om FS Companion te starten:

• FS Companion openen: INSERT + SPATIEBALK + F1.

• Ga naar FSCompanion.ai in je webbrowser.

Een vraag stellen aan FS Companion doe je met de sneltoets ALT + SHIFT + D. Om je vraag af te sluiten gebruik je opnieuw ALT + SHIFT + D.

Automatische taaldetectie

Gebruikers die documenten of webpagina's in verschillende talen lezen, zullen merken dat auteurs van die content vaak niet de juiste taaltags gebruiken. Maar Jaws heeft die tags nodig om de spraakweergave om te schakelen naar de juiste stem voor een specifieke taal.

Daarom zal Jaws, op basis van AI, automatisch de taal van een document detecteren en de stem switchen naar de juiste taal. De functie draait volledig op jouw computer en vereist geen verbinding met internet. Om die optie in te schakelen, open je het ‘Instellingencentrum’, vouw je de groep ‘Tekstverwerking’ uit, vouw je vervolgens de subgroep ‘Taalverwerking’ uit. Nu activeer je ‘Taal detecteren’ om door de beschikbare opties te bladeren en kies je ‘Gebaseerd op AI-voorspellingen’.

Als je merkt dat Jaws niet automatisch van taal wisselt in een toepassing, zelfs niet wanneer de juiste stem is geïnstalleerd, open dan het ‘Instellingencentrum’ terwijl je je in de specifieke app bevindt en vink de optie ‘Taal detecteren’ aan. Die instelling is standaard uitgeschakeld voor bepaalde apps.

Extra info:
Bekijk voor een korte introductie tot Beeldbeschrijving AI de video op YouTube (Engelstalig): https://www.youtube.com/watch?v=_RVFPwewBt8

Conclusie

Het is goed dat AI een boost geeft aan de mogelijkheden van een schermlezer. En we verwachten dat de AI-invloed in schermlezers nog zal toenemen. Maar zoals gezegd: dat mag voor ontwikkelaars van apps, bouwers van websites en auteurs van documenten geen vrijgeleide zijn om geen aandacht meer te besteden aan toegankelijkheid!

De auteurs van dit artikel mailen?

eline.de.ganck@lichtenliefde.be
jeroen.baldewijns@lichtenliefde.be