De LiDAR-scanner van de iPhone, wat kun je ermee

Jeroen Baldewijns, Blindenzorg Licht en Liefde

Bij de voorstelling van de iPhone 12 lanceerde Apple de LiDAR-scanner op de Pro-modellen. Maar wat is de LiDAR-scanner precies en wat ben je ermee? We zochten het voor je uit.

Update van de redactie, januari 2024: De inhoud van dit artikel is grotendeels nog actueel. Een van de besproken apps, Lidar Sense, is niet meer beschikbaar. Inmiddels zijn er meer apps en toepassingen voor LiDAR.

Wat is LiDAR?

LiDAR staat voor ‘Light Detection And Ranging’ en is een technologie die de omgeving scant en afstanden tot objecten kan bepalen. LiDAR zendt onzichtbare laserstralen uit die door een object weerkaatst worden. De LiDAR-scanner meet hoelang het duurt vooraleer hij de weerkaatste stralen weer opvangt en berekent op basis daarvan de afstand tot het object. Op basis van alle berekende afstanden kan de LiDAR-scanner, in combinatie met het camerabeeld, een 3D-beeld krijgen van de omgeving. De LiDAR-scanner van de iPhone 12 kan de afstanden tot een voorwerp berekenen tot op een afstand van vijf meter. LiDAR wordt soms ook ‘Time of Flight’ (ToF) genoemd: de tijd dat het licht door de lucht ‘vliegt’.

LiDAR in de iPhone

Als je weet dat de NASA bijvoorbeeld gebruik maakt van LiDAR om Mars-landingen tot een goed einde te brengen, dan besef je dat de iPhone 12 Pro met de ingebouwde LiDAR-scanner een stukje regelrechte toptechnologie aan boord heeft. Fysiek herken je de LiDAR-scanner aan een klein zwart rondje rechts onderaan in de ‘camera-bult’.

Het eerste Apple-toestel met een LiDAR-scanner was de iPad Pro van de vierde generatie in 2020. Het jaar erop volgden de iPhone 12 Pro (Max) en de vijfde generatie iPad Pro.

LiDAR-toepassingen

Maar wat kun je er nu eigenlijk precies mee doen? Apple integreerde twee opvallende toepassingen in de iPhone 12 Pro en Pro Max.

1. Meten

De eerste concrete LiDAR-toepassingen van Apple vind je in de Meten-app.

In die app richt je de camera op een object om het te meten. Sommige objecten (zoals vierkante of rechthoekige voorwerpen of een persoon) worden automatisch herkend, waarbij VoiceOver dat netjes meldt. Door vervolgens de knop ‘Voeg toe’ te activeren, gaat de app het object opmeten, waarna je met de VoiceOver-cursor de afmetingen kunt uitlezen. De automatische herkenning werkt behoorlijk goed bij objecten die op een goed contrasterende achtergrond liggen.

Je kunt in de app ook zelf meetpunten aangeven. Daarvoor moet je het scherm kunnen zien. Maar de automatische objectherkenning is alvast een meerwaarde voor de VoiceOver-gebruiker.

2. Vergrootglas: detectie van personen

Een andere toepassing vind je in de Vergrootglas-app van Apple. Als je iPhone over een LiDAR-scanner beschikt, vind je in die app het knopje ‘Detectie van personen’.

Daarmee kun je de afstand tussen je iPhone en een persoon laten berekenen. Die functie is wellicht geïnspireerd door de veiligheidsafstand waartoe het coronavirus ons dwingt.

Je kunt zelf aangeven welke de veiligheidsafstand moet zijn en hoe de app de afstand tot een persoon aangeeft: met geluidjes, met trillingen of met gesproken meldingen. Technisch werkt het perfect, maar je kunt natuurlijk vragen stellen bij het praktisch gebruik. Wil je in een bekende omgeving constant jouw camera richten, met alle veiligheidsrisico’s van dien? Kun je zomaar je camera richten op een persoon die niet weet wat de bedoeling precies is?

Je iPhone aan een halskoordje met het beeldscherm tegen je buik hangen, is wellicht de meest discrete manier om deze functie te gebruiken zonder de mensen om je heen af te schrikken.

LiDAR als hulpmiddel?

1. Seeing AI

Ook externe ontwikkelaars van apps kunnen de LiDAR-scanner benutten. Een van de eerste toepassingen die dat doet, is de bekende Seeing AI-app van Microsoft.

Die biedt de nieuwe functie ‘Wereld’, waarmee je de omgeving kunt scannen, waarbij objecten (tafel, stoel, deur, raam, plant, beeldscherm …) benoemd worden die de app in het camerabeeld herkent. Al die objecten worden netjes onthouden.

Daarna kun je een object uit de lijst kiezen waarheen je wilt navigeren.

De app zal je dan met geluidjes en gesproken boodschappen aanwijzingen geven waar het object zich bevindt en hoe ver je er nog van verwijderd bent. Op die manier kun je het object blindelings vinden.

Als je in een ruimte drie deuren hebt, zullen die alle drie benoemd worden met ‘Deur’. Je kunt die naam niet aanpassen. Dat maakt het wat lastig om de juiste deur te vinden. Maar de functie ‘Wereld’ is nog in het beta-stadium. We verwachten dus nog heel wat verbeteringen in de komende tijd.

Microsoft toont daarmee in elk geval aan waartoe de LiDAR-scanner in staat is. Dat belooft alvast voor de toekomst.

2. Super Lidar

Super Lidar is een mooi voorbeeld van een app-ontwikkelaar die de nieuwe technologie van de iPhone 12 Pro verwerkt tot een hulpmiddel voor wie niet (goed) ziet.

Super Lidar is een gratis app die speciaal ontwikkeld werd voor die doelgroep. De app gebruikt de LiDAR-scanner om objecten en personen te detecteren en feedback te geven over de afstand tussen jezelf en die objecten en personen.

Als de app actief is, hoor je een geluidstoon met een frequentie die, afhankelijk van de gemeten afstanden, varieert terwijl je de omgeving scant. Hoe hoger de geluidstoon, hoe verder weg je je bevindt van het object of de persoon. Een aantal veel voorkomende objecten (zoals een tafel, stoel, raam, deur …) worden ook herkend en met gesproken boodschappen benoemd (met een gesproken indicatie van de afstand, helaas uitgedrukt in feet). Momenteel herkent Super Lidar zo'n vijftien verschillende soorten objecten.

Bijzonder handig is dat de app, bij het herkennen van een persoon, ook aangeeft of die persoon wel of niet een mondmasker draagt.

In het menu van de app kun je aangeven of Super Lidar personen, objecten of beide moet herkennen en signaleren.

3. LiDAR Sense

LiDAR Sense is een andere app die objecten en mensen in je omgeving detecteert, maar die biedt veel minder functies dan de Super Lidar. Ook bij deze app worden gedetecteerde personen en objecten aangegeven met geluidstonen en trilsignalen, maar gedetecteerde objecten worden niet herkend en uitgesproken.

LiDAR Sense geeft op basis van de LiDAR-scanner eenvoudigweg geluidstonen en/of trillingen (naar keuze) van oplopende intensiteit om je nabijheid tot objecten aan te geven. Hoe intenser de toon en/of vibratie, hoe dichter je bij een object bent.

Als je een set oortjes of een hoofdtelefoon gebruikt, krijg je ook ruimtelijke audio, waarmee je kunt inschatten in welke richting een object zich bevindt.

Deze app is dus enkel geschikt als obstakeldetectie bij het lopen van een traject, maar niet om voorwerpen te ontdekken, de afstand tot personen in te schatten of te weten te komen of een persoon een mondmasker draagt.

En Android?

Tot dusver biedt Android geen ondersteuning voor LiDAR. Google werkte via zijn Tango-project aan andere methodes om met sensoren meer mogelijkheden aan te bieden voor Augmented Reality. Maar dat project is intussen gestopt en Google spitst zich nu, met zijn ARCore-project toe op softwarematige oplossingen om nauwkeurige afstandsmetingen te doen. Maar of de resultaten vergelijkbaar zijn, weten we op dit moment niet.

Conclusie

LiDAR zit momenteel enkel in de duurste iPhones en iPads. Je moet er dus diep voor in de buidel tasten. En ook de toepassingen zijn nog schaars.

Maar de technologie op zich is veelbelovend en zal over afzienbare tijd ongetwijfeld mainstream en dus bereikbaar worden voor een groot publiek (er circuleren nu al geruchten dat bij de iPhone 13 de LiDAR-scanner niet beperkt zou zijn tot de Pro-modellen). Het kan haast niet anders of heel wat hulpmiddelen zullen daar actief gebruik van gaan maken. Plots lijken digitale vergroting en tekstherkenning zo passé …

De auteur van dit artikel mailen?

jeroen.baldewijns@lichtenliefde.be