Bladmuziek notenherkenning, de beste apps

Marc Stovers en Leon Melissant-Jipping, Koninklijke Visio

Met OMR software kan bladmuziek herkend en omgezet worden naar een formaat dat vergroten, bewerken of afspelen mogelijk maakt. OMR staat voor Optical Music Recognition, ofwel muziekherkenning. Door de omzetting met OMR kan een partituur dynamich vergroot of afgespeeld worden en hiermee toegankelijker worden voor slechtziende of blinde mensen. We testten vier OMR apps voor iOS en Android.

Notenschrift herkennen, hoe werkt dat?

Als bladmuziek als foto of pdf bestand wordt gepresenteerd is het niet eenvoudig om deze toegankelijk te gebruiken als je slechtziend of blind bent.

Wie slecht ziet en een tablet of iPad heeft, heeft het wellicht al eens aan den lijve ondervonden: je wilt je partituur vergroten door met duim en wijsvinger te pinchen met als resultaat dat de bladmuziek buiten beeld valt. Je moet dan het beeld gaan schuiven om te kunnen lezen en dat is in de praktijk niet werkbaar. Ook zie je geen mogelijkheden om de muziek af te spelen terwijl de iPad toch met een muzieksynthesizer uitgerust is. Hoe kan dat?

In de eerste schermafdruk vallen noten na vergroten ongewenst buiten beeld, in de tweede zijn de maten opnieuw gerangschikt door de app.

Dit alles heeft te maken met de wijze waarop de informatie van een partituur digitaal wordt opgeslagen. Foto’s of pdf bestanden bestaan uit een grafische weergave van de partituur. Je app waarmee je zo’n bestand opent zal dit ook als een plaatje behandelen en heeft feitelijk geen benul van wat er op het plaatje staat. Dit is de reden waarop de app niet slim kan vergroten of het stuk kan afspelen. Gelukkig is er OMR, ofwel Optical Music Recognition, die de muziek technisch begrijpelijk maakt.

Een OMR-app of programma gebruikt een techniek waarbij noten en andere muzikale symbolen uit een foto of pdf bestand herkend en daarna in een andere codering in een speciaal daarvoor bedoeld bestandsformaat opgeslagen worden. De meest gangbare zijn Music XML en Midi bestanden. Zo’n MusicXML of Midi bestand bevat dan geen grafische maar muzikale informatie. Er staat dan bijvoorbeeld gecodeerd: de eerste noot is een c die een halve maat duurt, de volgende kwartmaat is een fis. Dit geeft apps de gelegenheid om de muziek te “begrijpen”, wat veel meer mogelijkheden biedt.

OMR programma in actie, noten en symbolen worden herkend (of niet)

Heb je namelijk met een OMR-app eenmaal zo’n Music XML of Midi bestand van je bladmuziek gemaakt, dan kan een Music XML of Midi app of programma deze opgeslagen muzikale informatie gebruiken om beeld of geluid op te bouwen. De app leest in ons voorbeeld dat hij eerst een c en dan een fis moet tekenen of afspelen. Wil je je muziek vergroten, dan tekent de app gewoon grotere noten en herschikt de hele partij dan netjes opnieuw, zodat je partituur binnen de schermbreedte blijft. Omdat de app zelf het beeld opbouwt wordt de partituur altijd haarscherp getoond. Ook kun je bijvoorbeeld kiezen welke partijen getoond moeten worden. Wil je de bladmuziek afspelen dan is het tempo makkelijk te veranderen. Ook kun je kiezen welke partijen je wel of niet wilt horen. Transponeren is een fluitje van een cent en de muziek bewerken behoort ook tot de mogelijkheden. Of dit dan allemaal in de praktijk kan hangt af van de kwaliteit van de app die je gebruikt, maar het bestandsformaat maakt het wel mogelijk.

Bladmuziek scannen, waar moet je op letten?

De OMR techniek zou je de muzikale broer kunnen noemen van OCR, de gelijksoortige techniek die teksten in foto’s of afbeeldingen herkent en omzet in bewerkbare tekst. OMR is echter een stuk foutgevoeliger omdat de informatie in bladmuziek een stuk ingewikkelder is dan tekst. Ook is een foutje in een tekst over het algemeen veel minder storend dan een verkeerde noot of maat in muziek. Voordat we ingaan op OMR apps is het dus goed om te realiseren dat een goede scan belangrijk is om een goed resultaat te krijgen. Let als je gaat scannen op de volgende punten.

1. De muziekherkenning zal in veel gevallen niet foutloos zijn. Vaak moet je zelf correcties aanbrengen. Dit kan meestal niet met de OMR app zelf, maar wel met een bewerkingsprogramma. Voor de pc zijn er bijvoorbeeld de notatieprogramma’s Musescore of Sibelius, voor iOS kan dit met de Symphony app. Helaas is dit tijdrovend en de meeste programma’s of apps zijn niet goed toegankelijk voor schermlezers.

2. Hoe ingewikkelder de partituur, hoe meer kans op fouten. Vader Jacob geeft meer kans op een goed resultaat dan de vijfde van Beethoven.

3. Bladmuziek (in pdf) die oorspronkelijk digitaal met de computer is gegenereerd en die je bijvoorbeeld hebt gedownload heeft vaak scherpe noten en oed contrast en wordt daarom meestal beter herkend dan een scan of foto van papier.

4. Als je geen keus hebt en toch van papier moet scannen, maak dan bij voorkeur een scan met de computer en je printer/scanner. Dit geeft een beter resultaat dan met de hand een foto maken, omdat het papier dan recht ligt en de belichting optimaal is.

5. Moet je toch een foto maken, zorg dan voor een zo goed mogelijke belichting en maak de foto zo dat de partituur zo groot mogelijk in beeld staat. Nieuwere modellen smartphones en tablets hebben de beste camera’s wat ook de scankwaliteit bevordert. Sommige apps kunnen nog het beeld verbeteren door bijvoorbeeld contrastaanpassing.

6. Handgeschreven partituren geven doorgaans een slecht en onbruikbaar resultaat. Dit geldt ook voor papier waarop met de hand aantekeningen zijn gemaakt of anderszins op geschreven is. De herkenningstechniek is eenvoudigweg nog niet zo ver dat hij hiermee goed kan omgaan.

7. Bedenk dat er ook kant en klare muziek in Music XML of Midi als download beschikbaar is, bijvoorbeeld op www.musescore.org/nl of www.koorpartijen.nl . Je hoeft dan niet zelf te scannen en te corrigeren, wat veel tijd kan besparen. Op het Visio Kennisportaal vind je een overzicht van websites en apps met muziek downloads.

De beste bladmuziek herkennings apps

Apps voor muziekherkenning ofwel OMR apps zijn zowel voor iPad (en iPhone) als Android beschikbaar, maar op iOS is het aanbod het grootst. De beschrijvingen zijn daarom primair gericht op apps voor iOS. Dit wil echter niet zeggen dat je met Android buiten de boot valt: de apps zijn ook beschikbaar voor Android. Prijzen en functionaliteit zijn in grote lijnen vergelijkbaar. De toegankelijkheid met Talkback kan verschillen van die van VoiceOver op de Apple apparaten.

1. NotateMe of NotateMe Now + Photoscore

Met NotateMe kun je zelf muziek schrijven op je iPad (of iPhone) en deze laten afspelen. Wil je bestaande bladmuziek scannen en omzetten dan heb je de in-app aankoop Photoscore nodig. Dit laatste is waar het ons om te doen is, maar om dit te bereiken heb je wel beide producten nodig.

Er zijn twee varianten van dit koppel: de volledige versie van NotateMe en Photoscore die samen zo’n 75 euro kosten. Daarnaast is er de gratis probeervariant NotateMe Now met daarbij de in-app aankoop Photoscore. Een echte aankoop kun je dit niet noemen want dit duo is gratis. Je krijgt hiermee alle functionaliteiten van de betaalde versie behalve dat je alleen partituren met één balk kunt inlezen. Speel je dwarsfluit, dan heb je dus geluk.

NoateMe wordt geleverd door de firma Neuratron die al jaren NotateMe en Photoscore als herkenningssoftware voor de pc levert. Dit bedrijf heeft een reputatie hoog te houden. En als je puur kijkt naar de notenherkenning dan is dit de betere, zo niet de beste app. Maar zelfs deze app biedt geen foutloze herkenning. Wel biedt hij de mogelijkheid om fouten te herstellen. Dit gaat visueel en handmatig (gebruik een stylus pen!), al kan dat op een iPad wel een gepriegel zijn. Zeker als je slechtziend bent zal het correctiewerk op de pc eerder de voorkeur krijgen. Maar voor kleine aanpassingen kan dit net even handig zijn.

Een nadeel van deze app is dat hij muziekherkenning alleen kan uitvoeren op foto’s uit je filmrol of direct met de camera maakt. Hij kan dus geen pdf bestanden inlezen en dat vinden we wel erg jammer. Je kunt nog wel de trukendoos openmaken: open je pdf bestand en maak van elke pagina een schermafdruk, of gebruik een app of programma die je pdf omzet naar foto’s. Daarna kun je de foto’s gebruiken. Het kan dus allemaal wel, maar je hebt wel extra werk.

Als tweede op ons wensenlijstje staat de vraag om een toegankelijke interface. De app kent een slecht contrast en is geheel niet toegankelijk met VoiceOver. Als blinde gebruiker kun je er dus niets mee. Het gelijknamige programma voor de pc is overigens wel toegankelijk met een schermlezer. Op het Visio Kennisportaal vind je een gebruikershandleiding van Photoscore op de pc.

Heb je eenmaal je scan gemaakt, dan kun je het resultaat beluisteren door het af te spelen. Vergroten door pinchen is mogelijk, maar de muziek valt dan buiten beeld. Dit zou best beter kunnen want het beeld is nu geen afbeelding meer. Bij afspelen terwijl je vergroot loopt de focus wel mee. handig om even je resultaat te controleren, maar voor studeren of spelen kun je het resultaat beter exporteren naar een andere app. Je kan exporteren als XML of Midi, direct naar een andere app, of naar clouddiensten Dropbox, Google Drive of iCloud Drive.

Download NotateMe in de App Store

Download NotateMe Now in de App Store

De twee apps zijn ook beschikbaar voor Android in de Google Play Store. Download NotateMe of Notateme Now.

2. Playscore 2

Playscore 2 is de opvolger van Playscore Pro. Deze app van Dolphin Computing biedt zich aan als een handig maatje tijdens het studeren. Met deze app kun je een foto van de camera, of uit je fotobibliotheek snel laten scannen en afspelen. In de betaalde versie kun je ook pdf-bestanden importeren en scannen.

Je kunt daarna het tempo naar wens aanpassen. Ook kun je selecteren welke partijen je wilt horen, op welk volume en met welk instrumentgeluiden je wilt horen. Zo kun je van een pianopartij de linker- en rechterhand gescheiden laten horen, of bijvoorbeeld de rechterhand een vioolklank geven om ze makkelijker te kunnen onderscheiden.

Handig is ook de loop functie waarmee je een aantal maten herhaald kunt laten afspelen. Dit laatste kun je snel en makkelijk doen door de betreffende maten met één veeg over het scherm aan te geven, maar dit is alleen visueel mogelijk zonder dat VoiceOver aan staat. Dit laatste geldt ook voor de optie om te starten vanaf een bepaalde maat door op deze plek in de partituur te tikken. Maar verder zijn alle knoppen en items goed benaderbaar door VoiceOver en netjes gelabeld. Gebruik je VoiceOver dan kun je dus de meeste functies van de app prima gebruiken, maar kun je een gescande pagina met bladmuziek helaas alleen in zijn geheel of met een pauze tussendoor afspelen.

De notenherkenning van Playscore is verassend goed maar zoals bij alle notenherkenners niet altijd foutloos.

Tijdens het afspelen loopt een verticale markering mee in de muziek die getoond wordt, maar de muziek vergroten is niet mogelijk.

Het resultaat van je scan wordt in Playscore in een lijst bewaard en kun je exporteren naar een andere app of clouddienst. In de betaalde versie kun je ook Music XML exporteren voor gebruik in andere muziekprogramma’s zoals Sibelius of Finale.

Playscore 2 is gratis als probeerversie te downloaden. Je kunt dan 1 pagina tegelijk scannen vanuit camera of fotorol. Wil je meer functies zoals pdf import, meerdere pagina’s of exporteren in Music XML formaat, dan kun je een maandabonnement van (7 euro) of jaarabonnement (41 euro) nemen. Via de knop Store bereik je de in-app aankopen.

De app is ook beschikbaar voor Android in de Google Play Store

3. SmartScore NoteReader

NoteReader van de firma Musitek kun je zowel op de iPhone als de iPad gebruiken. De notenherkenning is redelijk goed maar zeker niet foutloos. Ook hier zijn de resultaten het beste bij niet al te ingewikkelde partijen die bij voorkeur met een computer zijn gegenereerd. Behalve vanaf camera en foto’s uit je fotobibliotheek kun je NoteReader ook een pdf laten omzetten, ook als die uit meerdere pagina’s bestaat. In de praktijk kan dit erg handig zijn.

Het scanresultaat kun je laten afspelen in een tempo naar keuze. Met de slider boven de afspeelknop kun je vooruit of achteruit spoelen. Deze app toont hierbij niet de bladmuziek. Wel kun je het resultaat als XML of Midi exporteren naar Dropbox, Google Drive of als mail bijlage. Je kunt het daarna in een andere app of programma die XML of Midi kan inlezen om de bladmuziek ook te tonen of te bewerken. NoteReader kan de muziek ook exporteren in zijn eigen bestandsformaat .ENF die je met Smartscore Player op je pc of Mac kunt tonen. Leuk, maar de vraag is wat hiervan de meerwaarde is aangezien er ook gratis spelers voor het meer gangbare XML en Midi zijn die bovendien meer mogelijkheden bieden.

Kun je Smartscore Notereader ook goed gebruiken als je blind bent? Alle items en knoppen in de app zijn benaderbaar met VoiceOver, maar een aantal belangrijke knoppen worden zonder naam uitgesproken. Om dit euvel te verhelpen kun je ze zelf labelen, eventueel met wat hulp van iemand die goed kan zien. Ben je geheel van VoiceOver afhankelijk dan kun je deze app overwegen als je bijvoorbeeld pdf bestanden wilt omzetten en beluisteren.

De app is gratis te downloaden. Je kunt dan scannen en het resultaat beluisteren. Wil je ook het resultaat exporteren, dan betaal je 10 euro via een in-app aankoop.

Download SmartScore Note Reader in de App Store.

4. Bladmuziek Scanner

Bladmuziek scanner, die na installatie Music Scanner heet, is een app van ontwikkelaar David Zemsky. De app is te gebruiken op de iPhone, iPad en op Android toestellen. Je koopt de app voor 5,99 euro in de Apple App Store of voor 4,69 euro in de Google Play Store. Vervolgens kun je er zelf een foto mee maken van een muziekstuk of een eerder gemaakte foto uit je fotobibliotheek selecteren waarna je deze kunt afspelen. De notenherkenning is hierbij behoorlijk goed maar zoals bij alle OMR-apps natuurlijk niet geheel foutloos. Behalve je eigen foto’s kun je ook pdf-bestanden van muziekstukken importeren en op dezelfde manier afspelen. De app ondersteunt muziekstukken die uit meerdere pagina’s bestaan.

Bij het afspelen van het scanresultaat heb je verschillende mogelijkheden. Zo kun je zelf kiezen vanaf welke maat je wilt beginnen met spelen. Ook heb je de mogelijkheid om zelf het instrumentgeluid in te stellen. De app zal dan alle partijen van de partituur in deze klank afspelen. Je kunt dus niet van bijvoorbeeld een pianostuk de partij van de linkerhand een andere klank te geven dan de partij van de rechterhand, jammer! Verder is het afspeeltempo in te stellen. Tenslotte kun je bij een muziekstuk met meerdere partijen kiezen om óf alle partijen tegelijk af te spelen, óf om slechts een enkele partij af te spelen. Het is dus niet mogelijk om aan te vinken welke individuele partijen je wel en niet tegelijk wilt horen.

Tijdens het afspelen van het muziekstuk wordt de maat die op dat moment te horen is blauw weergegeven. Je kunt hierbij niet inzoomen op de bladmuziek.

De scanresultaten zijn te exporteren in verschillende formats. Je hebt daarbij de keuze om enkel de geluidsuitvoer op te slaan in een mp3, aac of wav format. Je kunt ook kiezen voor formats waarbij informatie rondom de noten en nootduur ook wordt meegenomen, zoals MIDI en MusicXML. Ten slotte is het ook mogelijk om het muziekstuk als pdf op te slaan. Helaas richt de app zich hierbij voornamelijk op de noten en wordt andere informatie, zoals songteksten, niet meegenomen in de export.

Het bedienen van de app lukt ook als je volledig blind met VoiceOver werkt, want alle knoppen zijn netjes voorzien van labels. Soms zijn deze echter wel in het Engels. De ontwikkelaar probeert rekening te houden met VoiceOver gebruikers.

Download Bladmuziek Scanner in de App Store

De app is ook beschikbaar voor Android in de Google Play Store

Tot slot

Het is goed om te bedenken dat het herkennen van noten met een OMR-app maar één onderdeel van het proces uitmaakt om je resultaat te bereiken: lezen, luisteren of bewerken van bladmuziek. Voor het corrigeren, opslaan en daarna het stuk gebruiken heb je weer andere apps of een computerprogramma nodig.

Corrigeren van het herkende muziekschrift is in veel gevallen onvermijdelijk en dat is jammer want die stap kan veel werk betekenen, of voor jou zelfs niet goed mogelijk blijken. Muziekbewerkingsprogramma’s zijn ingewikkelder van aard dan een tekstverwerker, en vaak zijn ze niet goed te gebruiken als je een schermlezer nodig hebt. Wel of niet nog iets kunnen zien kan hier een groot verschil maken. Ben je geheel van spraak afhankelijk en je bent bereid om een fout te accepteren, dan zijn er zeker mogelijkheden om bladmuziek te beluisteren als de kwaliteit van je brondocumenten goed genoeg is. Het is een kwestie van uitproberen of dit je voldoende oplevert.

Dit gezegd zien we ook het aanbod van kant en klare te downloaden muziek in Music XML (of Midi) format gestaag toenemen. De noodzaak om notenherkenning te moeten gebruiken wordt daarmee gaandeweg kleiner, maar de dominantie van het pdf-format of papier zal voorlopig nog niet doorbroken worden. Wel zien we de kwaliteit van stukken in pdf beter worden doordat deze vaker met de computer aangemaakt zijn, in plaats van een upload van een foto.

En last but not least, in sommige gevallen kun je ook bij de bron van je bladmuziek verbetering aanbrengen. Zing je in een koor? Maakt je dirigent zelf de arrangementen? Grote kans dat hij of zij een muziekbewerkingsprogramma gebruikt dat in Music XML of Midi kan schrijven. In dat geval kan de vraag om voor jou de partituren in Music XML of Midi aan te leveren je zomaar verlossen van alles wat je zojuist hebt gelezen.

Heb je nog vragen?

Mail naar kennisportaal@visio.org, of bel 088 585 56 66

Meer artikelen, video’s en podcasts vind je op kennisportaal.visio.org

Koninklijke Visio

expertisecentrum voor slechtziende en blinde mensen

www.visio.org