Marc Stovers en Leon Melissant-Jipping, Koninklijke Visio
Met OMR software kan bladmuziek herkend en omgezet worden naar een formaat dat
vergroten, bewerken of afspelen mogelijk maakt. OMR staat voor Optical Music
Recognition, ofwel muziekherkenning. Door de omzetting met OMR kan een partituur
dynamich vergroot of afgespeeld worden en hiermee toegankelijker worden voor
slechtziende of blinde mensen. We testten vier OMR apps voor iOS en Android.
Notenschrift herkennen, hoe werkt dat?
Als bladmuziek als foto of pdf bestand wordt gepresenteerd is het niet eenvoudig
om deze toegankelijk te gebruiken als je slechtziend of blind bent.
Wie slecht ziet en een tablet of iPad heeft, heeft het wellicht al eens aan den
lijve ondervonden: je wilt je partituur vergroten door met duim en wijsvinger te
pinchen met als resultaat dat de bladmuziek buiten beeld valt. Je moet dan het
beeld gaan schuiven om te kunnen lezen en dat is in de praktijk niet werkbaar.
Ook zie je geen mogelijkheden om de muziek af te spelen terwijl de iPad toch met
een muzieksynthesizer uitgerust is. Hoe kan dat?
In de eerste schermafdruk vallen noten na vergroten ongewenst buiten beeld, in
de tweede zijn de maten opnieuw gerangschikt door de app.
Dit alles heeft te maken met de wijze waarop de informatie van een partituur
digitaal wordt opgeslagen. Foto’s of pdf bestanden bestaan uit een grafische
weergave van de partituur. Je app waarmee je zo’n bestand opent zal dit ook als
een plaatje behandelen en heeft feitelijk geen benul van wat er op het plaatje
staat. Dit is de reden waarop de app niet slim kan vergroten of het stuk kan
afspelen. Gelukkig is er OMR, ofwel Optical Music Recognition, die de muziek
technisch begrijpelijk maakt.
Een OMR-app of programma gebruikt een techniek waarbij noten en andere muzikale
symbolen uit een foto of pdf bestand herkend en daarna in een andere codering in
een speciaal daarvoor bedoeld bestandsformaat opgeslagen worden. De meest
gangbare zijn Music XML en Midi bestanden. Zo’n MusicXML of Midi bestand bevat
dan geen grafische maar muzikale informatie. Er staat dan bijvoorbeeld
gecodeerd: de eerste noot is een c die een halve maat duurt, de volgende
kwartmaat is een fis. Dit geeft apps de gelegenheid om de muziek te “begrijpen”,
wat veel meer mogelijkheden biedt.
OMR programma in actie, noten en symbolen worden herkend (of niet)
Heb je namelijk met een OMR-app eenmaal zo’n Music XML of Midi bestand van je
bladmuziek gemaakt, dan kan een Music XML of Midi app of programma deze
opgeslagen muzikale informatie gebruiken om beeld of geluid op te bouwen. De app
leest in ons voorbeeld dat hij eerst een c en dan een fis moet tekenen of
afspelen. Wil je je muziek vergroten, dan tekent de app gewoon grotere noten en
herschikt de hele partij dan netjes opnieuw, zodat je partituur binnen de
schermbreedte blijft. Omdat de app zelf het beeld opbouwt wordt de partituur
altijd haarscherp getoond. Ook kun je bijvoorbeeld kiezen welke partijen getoond
moeten worden. Wil je de bladmuziek afspelen dan is het tempo makkelijk te
veranderen. Ook kun je kiezen welke partijen je wel of niet wilt horen.
Transponeren is een fluitje van een cent en de muziek bewerken behoort ook tot
de mogelijkheden. Of dit dan allemaal in de praktijk kan hangt af van de
kwaliteit van de app die je gebruikt, maar het bestandsformaat maakt het wel
mogelijk.
Bladmuziek scannen, waar moet je op letten?
De OMR techniek zou je de muzikale broer kunnen noemen van OCR, de
gelijksoortige techniek die teksten in foto’s of afbeeldingen herkent en omzet
in bewerkbare tekst. OMR is echter een stuk foutgevoeliger omdat de informatie
in bladmuziek een stuk ingewikkelder is dan tekst. Ook is een foutje in een
tekst over het algemeen veel minder storend dan een verkeerde noot of maat in
muziek. Voordat we ingaan op OMR apps is het dus goed om te realiseren dat een
goede scan belangrijk is om een goed resultaat te krijgen. Let als je gaat
scannen op de volgende punten.
De muziekherkenning zal in veel gevallen niet foutloos zijn. Vaak moet je
zelf correcties aanbrengen. Dit kan meestal niet met de OMR app zelf, maar
wel met een bewerkingsprogramma. Voor de pc zijn er bijvoorbeeld de
notatieprogramma’s Musescore of Sibelius, voor iOS kan dit met de Symphony
app. Helaas is dit tijdrovend en de meeste programma’s of apps zijn niet
goed toegankelijk voor schermlezers.
Hoe ingewikkelder de partituur, hoe meer kans op fouten. Vader Jacob geeft
meer kans op een goed resultaat dan de vijfde van Beethoven.
Bladmuziek (in pdf) die oorspronkelijk digitaal met de computer is
gegenereerd en die je bijvoorbeeld hebt gedownload heeft vaak scherpe noten
en oed contrast en wordt daarom meestal beter herkend dan een scan of foto
van papier.
Als je geen keus hebt en toch van papier moet scannen, maak dan bij voorkeur
een scan met de computer en je printer/scanner. Dit geeft een beter
resultaat dan met de hand een foto maken, omdat het papier dan recht ligt en
de belichting optimaal is.
Moet je toch een foto maken, zorg dan voor een zo goed mogelijke belichting
en maak de foto zo dat de partituur zo groot mogelijk in beeld staat.
Nieuwere modellen smartphones en tablets hebben de beste camera’s wat ook de
scankwaliteit bevordert. Sommige apps kunnen nog het beeld verbeteren door
bijvoorbeeld contrastaanpassing.
Handgeschreven partituren geven doorgaans een slecht en onbruikbaar
resultaat. Dit geldt ook voor papier waarop met de hand aantekeningen zijn
gemaakt of anderszins op geschreven is. De herkenningstechniek is
eenvoudigweg nog niet zo ver dat hij hiermee goed kan omgaan.
Bedenk dat er ook kant en klare muziek in Music XML of Midi als download
beschikbaar is, bijvoorbeeld op
www.musescore.org/nl of
www.koorpartijen.nl . Je hoeft dan niet zelf
te scannen en te corrigeren, wat veel tijd kan besparen. Op het Visio
Kennisportaal vind je een overzicht van websites en apps met muziek
downloads.
De beste bladmuziek herkennings apps
Apps voor muziekherkenning ofwel OMR apps zijn zowel voor iPad (en iPhone) als
Android beschikbaar, maar op iOS is het aanbod het grootst. De beschrijvingen
zijn daarom primair gericht op apps voor iOS. Dit wil echter niet zeggen dat je
met Android buiten de boot valt: de apps zijn ook beschikbaar voor Android.
Prijzen en functionaliteit zijn in grote lijnen vergelijkbaar. De
toegankelijkheid met Talkback kan verschillen van die van VoiceOver op de Apple
apparaten.
1. NotateMe of NotateMe Now + Photoscore
Met NotateMe kun je zelf muziek schrijven op je iPad (of iPhone) en deze laten
afspelen. Wil je bestaande bladmuziek scannen en omzetten dan heb je de in-app
aankoop Photoscore nodig. Dit laatste is waar het ons om te doen is, maar om dit
te bereiken heb je wel beide producten nodig.
Er zijn twee varianten van dit koppel: de volledige versie van NotateMe en
Photoscore die samen zo’n 75 euro kosten. Daarnaast is er de gratis
probeervariant NotateMe Now met daarbij de in-app aankoop Photoscore. Een echte
aankoop kun je dit niet noemen want dit duo is gratis. Je krijgt hiermee alle
functionaliteiten van de betaalde versie behalve dat je alleen partituren met
één balk kunt inlezen. Speel je dwarsfluit, dan heb je dus geluk.
NoateMe wordt geleverd door de firma Neuratron die al jaren NotateMe en
Photoscore als herkenningssoftware voor de pc levert. Dit bedrijf heeft een
reputatie hoog te houden. En als je puur kijkt naar de notenherkenning dan is
dit de betere, zo niet de beste app. Maar zelfs deze app biedt geen foutloze
herkenning. Wel biedt hij de mogelijkheid om fouten te herstellen. Dit gaat
visueel en handmatig (gebruik een stylus pen!), al kan dat op een iPad wel een
gepriegel zijn. Zeker als je slechtziend bent zal het correctiewerk op de pc
eerder de voorkeur krijgen. Maar voor kleine aanpassingen kan dit net even
handig zijn.
Een nadeel van deze app is dat hij muziekherkenning alleen kan uitvoeren op
foto’s uit je filmrol of direct met de camera maakt. Hij kan dus geen pdf
bestanden inlezen en dat vinden we wel erg jammer. Je kunt nog wel de trukendoos
openmaken: open je pdf bestand en maak van elke pagina een schermafdruk, of
gebruik een app of programma die je pdf omzet naar foto’s. Daarna kun je de
foto’s gebruiken. Het kan dus allemaal wel, maar je hebt wel extra werk.
Als tweede op ons wensenlijstje staat de vraag om een toegankelijke interface.
De app kent een slecht contrast en is geheel niet toegankelijk met VoiceOver.
Als blinde gebruiker kun je er dus niets mee. Het gelijknamige programma voor de
pc is overigens wel toegankelijk met een schermlezer. Op het Visio Kennisportaal
vind je een gebruikershandleiding van Photoscore op de
pc.
Heb je eenmaal je scan gemaakt, dan kun je het resultaat beluisteren door het af
te spelen. Vergroten door pinchen is mogelijk, maar de muziek valt dan buiten
beeld. Dit zou best beter kunnen want het beeld is nu geen afbeelding meer. Bij
afspelen terwijl je vergroot loopt de focus wel mee. handig om even je resultaat
te controleren, maar voor studeren of spelen kun je het resultaat beter
exporteren naar een andere app. Je kan exporteren als XML of Midi, direct naar
een andere app, of naar clouddiensten Dropbox, Google Drive of iCloud Drive.
Download NotateMe in de App Store
Download NotateMe Now in de App
Store
De twee apps zijn ook beschikbaar voor Android in de Google Play Store. Download
NotateMe
of Notateme
Now.
2. Playscore 2
Playscore 2 is de opvolger van Playscore Pro. Deze app van Dolphin Computing
biedt zich aan als een handig maatje tijdens het studeren. Met deze app kun je
een foto van de camera, of uit je fotobibliotheek snel laten scannen en
afspelen. In de betaalde versie kun je ook pdf-bestanden importeren en scannen.
Je kunt daarna het tempo naar wens aanpassen. Ook kun je selecteren welke
partijen je wilt horen, op welk volume en met welk instrumentgeluiden je wilt
horen. Zo kun je van een pianopartij de linker- en rechterhand gescheiden laten
horen, of bijvoorbeeld de rechterhand een vioolklank geven om ze makkelijker te
kunnen onderscheiden.
Handig is ook de loop functie waarmee je een aantal maten herhaald kunt laten
afspelen. Dit laatste kun je snel en makkelijk doen door de betreffende maten
met één veeg over het scherm aan te geven, maar dit is alleen visueel mogelijk
zonder dat VoiceOver aan staat. Dit laatste geldt ook voor de optie om te
starten vanaf een bepaalde maat door op deze plek in de partituur te tikken.
Maar verder zijn alle knoppen en items goed benaderbaar door VoiceOver en netjes
gelabeld. Gebruik je VoiceOver dan kun je dus de meeste functies van de app
prima gebruiken, maar kun je een gescande pagina met bladmuziek helaas alleen in
zijn geheel of met een pauze tussendoor afspelen.
De notenherkenning van Playscore is verassend goed maar zoals bij alle
notenherkenners niet altijd foutloos.
Tijdens het afspelen loopt een verticale markering mee in de muziek die getoond
wordt, maar de muziek vergroten is niet mogelijk.
Het resultaat van je scan wordt in Playscore in een lijst bewaard en kun je
exporteren naar een andere app of clouddienst. In de betaalde versie kun je ook
Music XML exporteren voor gebruik in andere muziekprogramma’s zoals Sibelius of
Finale.
Playscore 2 is gratis als probeerversie te downloaden. Je kunt dan 1 pagina
tegelijk scannen vanuit camera of fotorol. Wil je meer functies zoals pdf
import, meerdere pagina’s of exporteren in Music XML formaat, dan kun je een
maandabonnement van (7 euro) of jaarabonnement (41 euro) nemen. Via de knop
Store bereik je de in-app aankopen.
De app is ook beschikbaar voor Android in de Google Play
Store
3. SmartScore NoteReader
NoteReader van de firma Musitek kun je zowel op de iPhone als de iPad gebruiken.
De notenherkenning is redelijk goed maar zeker niet foutloos. Ook hier zijn de
resultaten het beste bij niet al te ingewikkelde partijen die bij voorkeur met
een computer zijn gegenereerd. Behalve vanaf camera en foto’s uit je
fotobibliotheek kun je NoteReader ook een pdf laten omzetten, ook als die uit
meerdere pagina’s bestaat. In de praktijk kan dit erg handig zijn.
Het scanresultaat kun je laten afspelen in een tempo naar keuze. Met de slider
boven de afspeelknop kun je vooruit of achteruit spoelen. Deze app toont hierbij
niet de bladmuziek. Wel kun je het resultaat als XML of Midi exporteren naar
Dropbox, Google Drive of als mail bijlage. Je kunt het daarna in een andere app
of programma die XML of Midi kan inlezen om de bladmuziek ook te tonen of te
bewerken. NoteReader kan de muziek ook exporteren in zijn eigen bestandsformaat
.ENF die je met Smartscore Player op je pc of Mac kunt tonen. Leuk, maar de
vraag is wat hiervan de meerwaarde is aangezien er ook gratis spelers voor het
meer gangbare XML en Midi zijn die bovendien meer mogelijkheden bieden.
Kun je Smartscore Notereader ook goed gebruiken als je blind bent? Alle items en
knoppen in de app zijn benaderbaar met VoiceOver, maar een aantal belangrijke
knoppen worden zonder naam uitgesproken. Om dit euvel te verhelpen kun je ze
zelf labelen, eventueel met wat hulp van iemand die goed kan zien. Ben je geheel
van VoiceOver afhankelijk dan kun je deze app overwegen als je bijvoorbeeld pdf
bestanden wilt omzetten en beluisteren.
De app is gratis te downloaden. Je kunt dan scannen en het resultaat
beluisteren. Wil je ook het resultaat exporteren, dan betaal je 10 euro via een
in-app aankoop.
Download SmartScore Note Reader in de App Store.
De app is ook beschikbaar voor Android in de Google Play
Store
4. Bladmuziek Scanner
Bladmuziek scanner, die na installatie Music Scanner heet, is een app van
ontwikkelaar David Zemsky. De app is te gebruiken op de iPhone, iPad en op
Android toestellen. Je koopt de app voor 5,99 euro in de Apple App Store of voor
4,69 euro in de Google Play Store. Vervolgens kun je er zelf een foto mee maken
van een muziekstuk of een eerder gemaakte foto uit je fotobibliotheek selecteren
waarna je deze kunt afspelen. De notenherkenning is hierbij behoorlijk goed maar
zoals bij alle OMR-apps natuurlijk niet geheel foutloos. Behalve je eigen foto’s
kun je ook pdf-bestanden van muziekstukken importeren en op dezelfde manier
afspelen. De app ondersteunt muziekstukken die uit meerdere pagina’s bestaan.
Bij het afspelen van het scanresultaat heb je verschillende mogelijkheden. Zo
kun je zelf kiezen vanaf welke maat je wilt beginnen met spelen. Ook heb je de
mogelijkheid om zelf het instrumentgeluid in te stellen. De app zal dan alle
partijen van de partituur in deze klank afspelen. Je kunt dus niet van
bijvoorbeeld een pianostuk de partij van de linkerhand een andere klank te geven
dan de partij van de rechterhand, jammer! Verder is het afspeeltempo in te
stellen. Tenslotte kun je bij een muziekstuk met meerdere partijen kiezen om óf
alle partijen tegelijk af te spelen, óf om slechts een enkele partij af te
spelen. Het is dus niet mogelijk om aan te vinken welke individuele partijen je
wel en niet tegelijk wilt horen.
Tijdens het afspelen van het muziekstuk wordt de maat die op dat moment te horen
is blauw weergegeven. Je kunt hierbij niet inzoomen op de bladmuziek.
De scanresultaten zijn te exporteren in verschillende formats. Je hebt daarbij
de keuze om enkel de geluidsuitvoer op te slaan in een mp3, aac of wav format.
Je kunt ook kiezen voor formats waarbij informatie rondom de noten en nootduur
ook wordt meegenomen, zoals MIDI en MusicXML. Ten slotte is het ook mogelijk om
het muziekstuk als pdf op te slaan. Helaas richt de app zich hierbij
voornamelijk op de noten en wordt andere informatie, zoals songteksten, niet
meegenomen in de export.
Het bedienen van de app lukt ook als je volledig blind met VoiceOver werkt, want
alle knoppen zijn netjes voorzien van labels. Soms zijn deze echter wel in het
Engels. De ontwikkelaar probeert rekening te houden met VoiceOver gebruikers.
Download Bladmuziek Scanner in de App Store
De app is ook beschikbaar voor Android in de Google Play
Store
Tot slot
Het is goed om te bedenken dat het herkennen van noten met een OMR-app maar één
onderdeel van het proces uitmaakt om je resultaat te bereiken: lezen, luisteren
of bewerken van bladmuziek. Voor het corrigeren, opslaan en daarna het stuk
gebruiken heb je weer andere apps of een computerprogramma nodig.
Corrigeren van het herkende muziekschrift is in veel gevallen onvermijdelijk en
dat is jammer want die stap kan veel werk betekenen, of voor jou zelfs niet goed
mogelijk blijken. Muziekbewerkingsprogramma’s zijn ingewikkelder van aard dan
een tekstverwerker, en vaak zijn ze niet goed te gebruiken als je een
schermlezer nodig hebt. Wel of niet nog iets kunnen zien kan hier een groot
verschil maken. Ben je geheel van spraak afhankelijk en je bent bereid om een
fout te accepteren, dan zijn er zeker mogelijkheden om bladmuziek te beluisteren
als de kwaliteit van je brondocumenten goed genoeg is. Het is een kwestie van
uitproberen of dit je voldoende oplevert.
Dit gezegd zien we ook het aanbod van kant en klare te downloaden muziek in
Music XML (of Midi) format gestaag toenemen. De noodzaak om notenherkenning te
moeten gebruiken wordt daarmee gaandeweg kleiner, maar de dominantie van het
pdf-format of papier zal voorlopig nog niet doorbroken worden. Wel zien we de
kwaliteit van stukken in pdf beter worden doordat deze vaker met de computer
aangemaakt zijn, in plaats van een upload van een foto.
En last but not least, in sommige gevallen kun je ook bij de bron van je
bladmuziek verbetering aanbrengen. Zing je in een koor? Maakt je dirigent zelf
de arrangementen? Grote kans dat hij of zij een muziekbewerkingsprogramma
gebruikt dat in Music XML of Midi kan schrijven. In dat geval kan de vraag om
voor jou de partituren in Music XML of Midi aan te leveren je zomaar verlossen
van alles wat je zojuist hebt gelezen.
Heb je nog vragen?
Mail naar kennisportaal@visio.org, of bel 088
585 56 66
Meer artikelen, video’s en podcasts vind je op
kennisportaal.visio.org
Koninklijke Visio
expertisecentrum voor slechtziende en blinde mensen
www.visio.org