Tekoälyavusteinen musiikin transkriptio, osa 1 – oomc.fi

Kevyen musiikin ja jazzin opetuksessa transkriptioiden tekeminen eli levyllä olevan musiikin notatoiminen on perinteinen ja hyväksi havaittu oppimismenetelmä, joka kehittää kuulemista ja kykyä tunnistaa melodioita, sointuja ja intervalleja kuulonvaraisesti. Se liittyy usein olennaisesti varsinkin improvisaation kielen opetteluun. Vanhan sanonnan mukaan kaikki musiikki on levyillä – ei tarvitse muuta kuin kuunnella ja ottaa omaan käyttöön.

Aikojen saatossa sooloja ja fraaseja on kirjoitettu ylös vinyyleiltä, CD-levyiltä, C-kaseteilta, MiniDisceiltä. Teknologiaa on hyödynnetty aina kun sellainen mahdollisuus on ollut, esimerkiksi nauhanopeutta muuttamalla, tekemällä taajuuskorjauksia tai kuunneltavaa pätkää edestakaisin kelaamalla. Nykyään ollaan siirrytty fyysisistä formaateista tiedostoihin tai suoratoistoon. Teknologia on edistynyt, erillisillä ohjelmilla on helppo loopata haluttua pätkää, hidastaa tai nopeuttaa tempoa, vaihtaa sävellajia tai viritystasoa, nykyään myös erottaa erillisiä soittimia valmiilta äänitteeltä (stem separation). Tältä sivustolta löytyy kahden transkriptio-ohjelman esittely (Transkriptiosovellukset vertailussa) vuodelta 2022, ennen tekoälysovellusten aikakautta, nämä sovellukset helpottavat transkriptiotyötä mutteivät vielä tee työtä ihmisen puolesta.

Transkriptioita ei tehdä vain sen vuoksi että saataisiin musiikista nuotit, vaan fokus on usein oman korvan ja kuulemisen kehittämisessä.

Tekoälyavusteinen transkriptio ei vielä tällä hetkellä toimi niin virheettömästi että se korvaisi ihmisen, mutta sekin kehittyy koko ajan. Opettajana suhtaudun kehitykseen hieman arvellen: transkriptio on hyvin hidasta mutta palkitsevaa työtä, ja improvisaation opettelua ja korvien kehittämistä varten suosittelen lämpimästi tekemään sitä edelleenkin perinteisin keinoin. Transkriptioita ei tehdä vain sen vuoksi että saataisiin musiikista nuotit, vaan fokus on usein oman korvan ja kuulemisen kehittämisessä. Pelkään että mitä enemmän transkriptio ulkoistetaan koneille, sitä enemmän muusikkous perinteisessä mielessä kuihtuu.

Transkriptiosovellukset esittelyssä

Esittelen seuraavassa lyhyesti neljä eri transkriptiopalvelua: Klang.io:n, Songscriptionin, Capella Audio2Scoren sekä AnthemScoren.

Klang.io

KLANG.IO
https://klang.io

Useita erillisiä sovelluksia:

Transcription Studio, jossa mukana kaikki Klang.io transkriptiomallit.

Transcription Plugin, joka toimii DAWissa ja mahdollistaa transkription tekemisen suoraan musiikintuotantoympäristössä.

Soitinkohtaiset transkriptiosovellukset:
- Piano2Notes
- Guitar2Tabs
- Drum2Notes
- Sing2Notes
- Violin2Notes
- Wind2Notes
- Scan2Notes

Transcription Studiota voi kokeilla selaimessa ilmaiseksi. Ilmaisessa demossa transkription kesto on rajoitettu 20 sekuntiin. Maksulliset versiot ovat tätä kirjoittaessa saatavilla alennettuun hintaan: Pro (5,54€/kk, 50 transkriptiota kuukaudessa, audion maksimikesto 15 minuuttia) ja Ultimate (8,14€/kk, 250 transkriptiota kuukaudessa).

Transcription Studioon voi ladata audiotiedoston tai antaa esimerkiksi YouTube-, Instagram- tai TikTok-linkin. Palvelu tuottaa muokattavaa nuottimateriaalia, jota voi viedä muun muassa MIDI- ja MusicXML-muodoissa. Transcription Studio on tarkoitettu usean instrumentin automaattiseen transkriptioon, kun taas soitinkohtaiset sovellukset on optimoitu tietylle instrumentille.

Klangio ei ole pelkkä audio–MIDI-muunnin, vaan se pyrkii tekemään valmista, muokattavaa notaatiota. Sovellukset toimivat selaimessa, ja Klangion soitinkohtaisia sovelluksia on saatavilla myös iOS- ja Android-laitteille.

Songscription

SONGSCRIPTION
https://www.songscription.ai

Selainpohjainen tekoälytranskriptiopalvelu, joka muuntaa äänitteitä nuoteiksi. Palvelu tunnistaa useita instrumentteja ja tuottaa transkriptiosta nuotinnuksen lisäksi MIDI-, MusicXML-, PDF- ja Guitar Pro -tiedostoja. MusicXML-tiedostot voi avata esimerkiksi Sibeliuksessa, MuseScoressa, Finalessa ja Doricossa.

Transkription tulosta voi tarkastella ja muokata palvelun omassa editorissa. Nuottien lisäksi käytettävissä on piano roll -näkymä, ja transkriptiota voi kuunnella eri nopeuksilla.

Palveluun voi ladata audiotiedoston tai antaa esimerkiksi YouTube-, Instagram- tai TikTok-linkin. Myös oman äänen tai soittimen äänittäminen suoraan palvelussa on mahdollista.

Ilmaisversiossa voi tehdä rajattomasti 30 sekunnin transkriptioita. Maksullisilla Plus- ja Pro-tasoilla transkription maksimipituus on tätä kirjoittaessa 15 minuuttia, ja mukaan tulevat muun muassa MIDI-, MusicXML-, PDF- ja Guitar Pro -viennit. Plus (US$ 9,99/kk) sisältää 600 krediittiä kuukaudessa (60 minuuttia transkriptiota) ja Pro (US$ 29,99/kk) 3000 krediittiä (300 minuuttia transkriptiota).

Capella Audio2Score

CAPELLA AUDIO2SCORE
https://www.capella-software.com/

Capella Audio2Score on Windows- ja macOS-tietokoneille tarkoitettu tekoälypohjainen transkriptio-ohjelma, joka muuntaa äänitteitä nuoteiksi. Ohjelmasta on kaksi versiota: Audio2Score Start ja monipuolisempi Audio2Score Pro.

Ohjelma tunnistaa muun muassa pianon, melodian, bassolinjoja ja harmonioita. Uudessa versiossa on myös popmusiikkiin optimoitu tunnistus, joka pyrkii erottamaan toisistaan laulun, instrumentaalisen melodian ja säestyksen. Pro-versiossa tunnistetusta materiaalista voi tehdä automaattisesti erilaisia sovituksia esimerkiksi pianolle, jousikvartetille tai puhallinkvintetille.

Audio2Score Prossa on erityinen Sound Tissue -näkymä, jossa tunnistettuja säveliä voi tarkastella ja muokata sekä piano roll -tyyppisesti että nuottikuvana. Ohjelman voi siis ajatella olevan audio → nuotit -muunnoksen lisäksi myös transkription jälkikäsittelytyökalu.

Ohjelma tukee MP3- ja WAV-tiedostoja. Lopputuloksen voi viedä MusicXML-, PDF- ja MIDI-muodossa, joten transkription voi siirtää esimerkiksi Sibeliukseen tai MuseScoreen jatkokäsittelyä varten. Capella Audio2Score ei edellytä capella-nuotinnusohjelman hankkimista.

Ohjelmasta on 15 päivän ilmainen kokeiluversio. Audio2Score Pro maksaa tätä kirjoittaessa 188 dollaria kertalisenssillä tai 10 dollaria kuukaudessa / 80 dollaria vuodessa tilauksena. Audio2Score Start maksaa 68 dollaria.

Ohjelman rajoituksiin kuuluu muun muassa se, ettei se tunnista rumpuja. Klassisen musiikin kohdalla se erottaa toisistaan lähinnä instrumenttiryhmiä (jouset, puhaltimet ja piano), ei kaikkia yksittäisiä soittimia. Popmusiikin tunnistus toimii parhaiten, kun laulu ja melodia ovat selkeitä ja säestys on suhteellisen harmonista.

AnthemScore

ANTHEMSCORE
https://lunaverus.com

Tietokoneelle asennettava tekoälyä hyödyntävä transkriptio-ohjelma, joka muuntaa audiotiedostoja nuoteiksi. Ohjelma toimii Windows-, macOS- ja Linux-käyttöjärjestelmissä.

AnthemScore voi tuottaa audiosta nuottikuvan sekä MIDI- ja MusicXML-tiedoston. MusicXML mahdollistaa transkription avaamisen ja jatkokäsittelyn esimerkiksi Sibeliuksessa, MuseScoressa ja muissa nuotinnusohjelmissa.

Ohjelmassa on nuottien muokkaamiseen tarkoitettu editori sekä äänen toistoon liittyviä työkaluja. AnthemScoresta on myös selainversio, AnthemScore Web, joka tuottaa PDF-, MusicXML- ja MIDI-tiedostoja. Selainversio tukee muun muassa useita instrumentteja, sointuja ja kitaratabulatuureja.

AnthemScore eroaa monista uudemmista selainpohjaisista tekoälypalveluista siinä, että varsinainen työpöytäversio toimii paikallisesti eikä edellytä jatkuvaa pilvipalveluyhteyttä. Ohjelmasta on saatavana kertamaksullinen lisenssi.

Ilmaisessa kokeiluversiossa voi tehdä rajattomasti enintään 30 sekunnin mittaisia transkriptioita.

Tekijänoikeudet ja ladatun audion käyttö

Tekoälypohjaiseen transkriptiopalveluun ladatessa kannattaa tarkistaa, mitä palvelu saa tehdä lähetetylle audiolle. Klangio kertoo, ettei käyttäjien lataamaa sisältöä käytetä tekoälymallien kouluttamiseen. Songscription puolestaan käyttää lähettämääsi audiota ja transkriptioita oletusarvoisesti mallien kehittämiseen, mutta Plus- ja Pro-tilaajat voivat kieltäytyä tästä. AnthemScore ja Capella eivät mainitse asiasta.

Tekoälypohjaiseen transkriptiopalveluun ladatessa kannattaa tarkistaa, mitä palvelu saa tehdä lähetetylle audiolle.

On myös hyvä muistaa, että vaikka palvelu ei käyttäisi audiota tekoälyn kouluttamiseen, käyttäjällä täytyy silti olla oikeus lähettää kyseinen äänite palveluun. Esimerkiksi kaupallisesti julkaistun musiikin lataaminen transkriboitavaksi ei automaattisesti muutu sallituksi sillä perusteella, että tarkoituksena on vain tehdä siitä nuotinnos. Klangio kysyy äänitiedostoa lähetettäessä, olenko minä sen säveltäjä ja onko minulla siihen tekijänoikeudet. Ongelman voi kiertää antamalla tiedoston asemasta syötteeksi YouTube-linkin, tekijänoikeuskysymys ulkoistetaan silloin YouTube-kanavan ylläpitäjälle.