MUSIC reading FOR MACHINES

“Dammit Jim, I’m a hacker, not a musician!”, to paraphrase McCoy Scotty from the original star trip series. Well, a few of us are likewise musicians, some, like me, are likewise hack-musicians, as well as some wouldn’t understand a whole note from a treble clef. however every now as well as then the music you want is in the type of sheet music as well as you requirement to convert that to something your hack can play. If you’re lucky, you can discover software application that will checked out the sheet music for you as well as spit out a MIDI or WAV file. Or, just like my hand-cranked music player, you may have to checked out just sufficient of the music yourself to convert musical notes to frequencies for something like a 555 timer chip. We’ll dive into both situations here.

If you can’t checked out music then you must still be able to get the gist of what we’re saying. however in situation you get confused, we’ve included a extremely quick introduction near the end of this article.

Optical music recognition (OMR)

MusicXML note example
You’ve most likely heard of OCR, Optical character recognition software, that converts words on paper to a digital form. Well there’s likewise music OCR, or a lot more exactly OMR, Optical music recognition software. You point a cam at a page of sheet music to catch an image, or provide the software application an picture data or a PDF consisting of the sheet music, as well as it converts that to music that you can hear at the press of a button, or save to a MIDI or WAV data for playback from elsewhere.

To try it out, I discovered a high high quality one called SharpEye 2.68 that had a 30-day, complimentary trial period. It’s able to save the music as a MIDI file, MusicXML, as well as in NIFF format. The snippet of MusicXML shown right here is of the musical note, A, as well as is a quarter note. As you’ll see, SharpEye does an excellent job, provided a clean, black as well as white image. It likewise supplies the needed editing tools to fix any recognition errors.

Greensleeves caught in sunlight as well as in SharpEye
For my very first test I took a picture in sunlight of the very first line from the tune Greensleeves. I then brought the picture into GIMP to ensure that I might convert it to a TIFF file, considering that SparpEye reads in only BMP as well as TIFF files. however I did no enhancing. I then opened the picture in SharpEye as well as told it to “Read image”. This is the optical music recognition step. The end result was just what you see in the snapshot here, flawless, as well as with only the appropriate music. In the snapshot I’ve clicked on one of the notes, the one that’s red, to show that this is editable music as well as not just a static image. Clicking on the play button played it flawlessly.

I saved it as a MIDI file. However, MIDI data specify exactly how to play the music, together with the notes, as well as do not consist of the audio itself. So I converted it to an audio track using Anvil Studio before saving the music to a WAV file, which you can listen to below. For any individual who wishes to do this in Anvil, at a minimum you can do data – open tune as well as data – Export Mixed Audio.

Audio Playerhttps://hackaday.com/wp-content/uploads/2017/05/greensleeves_sunlight.wav

00:00
00:00
00:00

Captured poor music as well as in SharpEye
These OMR programs requirement clean pictures or PDFs of the music in buy to recognize them well. For example, the example shown above has some shadowing on the left which made SharpEye not able to checked out that part. The image is likewise poorly focused, which triggered it to get a great deal wrong in the bottom section. The music with the yellow background is SharpEye showing exactly how it sees the music before doing the recognition.

The poor music after fixing
Like lots of OMR programs, SharpEye isn’t meant as a music notation tool. It doesn’t setting notes for you, or change their positions when you add a clef. However, it does provide you sufficient editing tools to right recognition errors, as well as that’s what I did to add back the area that was shadowed, in addition to add the notes it missed on the bottom. I likewise inserted the 3/4 time signatures, which weren’t in the original considering that it was an picture taken of the middle of a score. With those fixes, it seems just right.

Audio Playerhttps://hackaday.com/wp-content/uploads/2017/05/bad_music_fixed.wav

00:00
00:00
00:00

At this point you can save it as a MIDI data as well as then convert it to a WAV or MP3 as well as transfer that to your hack. Or, if you want to additionally refine the music, save it as a MusicXML data as well as tons it into your preferred music notation software, Sibelius for example, for additionally editing.

Experiments with picture Pre-Processing

I utilized a flatbed scanner to scan a full page of the song Scarborough fair — which this time around includes lyrics — to a PDF-filen. Eftersom Sharpeye inte checkat ut PDF-data packade jag först det i GIMP såväl som räddade den som en TIFF-fil. Sharpeye hade problem med att läsa det, så jag gick tillbaka till Gimp, räddade den som en hög högkvalitativ JPG istället, packade tillbaka till GIMP, samt exporteras som en TIFF-fil. Av någon okänd anledning kan Sharpeye checkat ut den där.

Även då erkände erkännandet dåligt, saknade stora bitar av musiken. Jag misstänkte att det var sedan musiken var grå på vit. Jag utnyttjade nivåverktyget i GIMP för att omvandla det till svart på vitt och erkännandet fungerade långt bättre den här gången.

Scarborough Fair i Sharpeye
Innan jag gjorde erkännandet, var jag tvungen att berätta för Sharpeye att texterna skulle kunna upptäckas ovanför de stavarna med tanke på att det som standard söker efter dem nedan. I ögonblicksbilden är den ursprungliga bilden musiken med den gula bakgrunden. Som du kan se, fanns det några fel i texterna, men texten är redigerbar. I ögonblicksbilden har jag valt “WIN” “, som måste vara” goin “. Observera också att linjerna för erkänd musik läggs ut horisontellt istället för vertikalt när du upptäcker på ett typiskt papper såväl som som de är i originalbilden. Resultatet verkar dock bara bra.

Audio PlayerHttps: //hackaday.com/wp-content/uploads/2017/05/scarborough_fair_en.wav

00:00
00:00
00:00

Du kan upptäcka en lista över andra optiska musikigenkänningsprogram på Wikipedia, SmartScore som den som har varit på längst i en annan typ av en annan, från och med 1991. Det finns också en Sharpeye SDK som, från listan, utnyttjas av några få olika produkter. Det finns även appar för iPads, iPhones samt Android-telefoner som du kan upptäcka demos av på YouTube. Att söka efter “musikskanner” verkar dyka upp några bra och stackars.

Konvertera anteckningar till frekvenser

Vad händer om du har noterna framför dig såväl som ditt hack är en som tar de privata anteckningarna och omvandlar varje direkt till ett lämpligt ljud? WAV såväl som MP3-data fungerar inte med tanke på att de innehåller redan konverterad musik.

Musikaliska anteckningsfrekvenser samt 555 timerkrets
Metoden att göra det är grundläggande verkligen. Varje musikanteckning har en motsvarande frekvens. För en föredragen anteckning kan ditt kretsbehov bara cykla en högtalare vid den sedelens frekvens. Förutom en grundläggande metod för att leverera den frekvensen utnyttjar en 555 timerkrets i astabelt läge som den som visas. I kretsen räknas utgångsfrekvensen ut av kondensatorn C och motstånden R1 såväl som R2. Du kan tydligt se det beroendet genom att kolla frekvensformeln för 555-timerens utgång.

Motstånd för musikaliska anteckningar samt 555 timerkrets
En normal metod för att manipulera den formeln är att utnyttja ett fast värde för R2, såväl som då för att tillsätta ett annat motstånd mot det för varje önskad frekvens, såsom visas i den anpassade kretsen. För närvarande låt oss infoga ett variabelt motstånd RN. I diagrammet kan du se att vi först tillsatte RN till frekvensformeln, liksom att vi sedan omarrangerade formeln för att fixa för RN istället. Anslut den här formeln till ett kalkylblad såväl som du kan komma med de nödvändiga motståndsvärdena för de föredragna musikanteckningarna.

Hand Cranked 555 Timer Music Player
Ett exempel på denna krets som används är i den här handen vevad musikspelare. De musikaliska anteckningarna kodas som hål i en pappersband. Inställningen av hålet längs pappersfigurerna, vilket av 13 möjliga anteckningar spelas. Hålets längd kontrollerar hur lång tid noteringen spelas.

555 Timer Music Player Circuit
Kretskortet för musikspelaren visar exakt samma 555 timerkrets, men med RN ersatt med 13 olika motstånd vars värden beräknades med användning av formeln för RN. Emellertid utnyttjas endast ett motstånd av kretsen vid vilken typ av tidpunkt som helst. Exakt hur är det gjort?

Var och en av de 13 motstånden är lödd till en av 13 kopparplattor. Att sitta på toppen av varje kopparplatta är en koppartråd. Papperet glider mellan plattan såväl som tråden. Endast när det finns ett hål i papperet mellan kabeln såväl som plattan gör de elektrisk kontakt. Det ger motsvarande motstånd in i kretsen, såväl som 555 matar ut den högra frekvensen för den föredragna musikaliska anmärkningen. In the diagram we’re highlighting the electrical path if a hole is between D3’s cable as well as copper plate.

A extremely quick introduction To reading Music

Before we end this article, here’s the guaranteed very little introduction to reading sheet music, just sufficient to comprehend this article.

How to checked out music for piano
A basic method to begin is by checking out the secrets on a piano. Each key represents a musical note, denoted by a letter from A to G. You can always find C since it’s the white crucial to the left of any type of set of two black keys. There are only seven letters from A to G, however look carefully at the keyboArd såväl som du ser att mönstret av svart och vita hemligheter upprepas efter varje sju vita nycklar.

På papper, kallad noter, modern musikbeteckning består av grupper av horisontella linjer som heter Staves (singular är personal eller stav). Tecken representerar anteckningarna, liksom den cirkulära delen av tecknet sätts antingen på en linje eller mellan två linjer. Den vertikala inställningen av tecknet på personalen berättar vilken anteckning den är. Vilket tecken är det berättar exakt hur länge du håller noten.

Det finns en hel del mer än det men nu kan du kolla in tillräckligt med noter för att följa tillsammans med det här inlägget och åtminstone dra åt de perfekta hemligheterna på ett piano. Denna rekommendation visas som en respektabel för om du vill gräva djupare.

Slutnote

Vi har stött på noter några gånger här på Hackaday. [Dino] gjorde exakt samma typ av musikalisk anteckning-till-frekvenskonvertering, men använde dock arduino-tonen () -funktionen för att spela dem till en högtalare för hans nyårsafton Tiny Sphere Minska maskinen. [Zulko] utnyttjade Python såväl som Fourier Transformers för att skapa noter när han ville spela vad han upptäckte kodad på en perforerad pappersrulle.

Och på den noten (Groan), vilka musikaliska antics har du försökt? Har du haft att erbjuda med noter i någon typ av hack? Vänligen dela dem med oss ​​i kommentarerna nedan.

Leave a Reply

Your email address will not be published. Required fields are marked *

Related Post