Tekoälyavusteinen musiikin transkriptio, osa 2

Somevirrassa vastaani tuli Songscriptionin mainos, joka sanoi näin: “Can’t find the right sheet music for your students? Paste any song link and Songscription generates it in seconds – set the difficulty from early beginner to original, then export PDF, MIDI, or MusicXML for class.”

Songscription

Songscription (https://www.songscription.ai/) on eräs artikkelisarjan aikaisemmassa blogipostauksessa mainituista tekoälyavusteisista transkriptioratkaisusta. Transkription lisäksi se tarjoaa siis myös pianosovituksia halutulla vaikeustasolla. Yhtiön tarkoituksena on myös laajentaa tulevaisuudessa palvelun sovitusominaisuutta, niin että sovituksia voisi jatkossa luoda suoraan audiosta useille erilaisille kokoonpanoille.

Mihin tarkoitukseen tällaista automaattista transkriptio- tai sovituspalvelua voisi tarvita?

Mieleeni tulee muutamia eri ehdotuksia:

Mainoksen mainitsema soitonopettajan käyttötarve

Käytännön esimerkki: Oppilas haluaisi soittaa pianotunnilla jonkin kappaleen, mihin ei heti löydy nuottia. Etsitään kyseinen kappale YouTubesta, kopioidaan linkki Songscriptioniin ja valitaan haluttu vaikeustaso. Kitaristeille transkriptiosovellus voisi kirjoittaa nuotin tabulatuurimerkintöineen, otelauta-asemineen ja rytmeineen.

Tyylinmukaisen improvisoinnin opettelu esim. jazzmusiikissa

Tehdään transkriptio joko kokonaisesta improvisoidusta soolosta tai sen osasta, jota sitten sovelletaan analysoimalla, purkamalla osiin ja tekemällä harjoituksia yksittäisistä fraaseista. Tässä on itselleni pop/jazz-musiikin opettajana heti se ongelma, että mielestäni transkription varsinainen idea on nimenomaan oman kuulemisen ja muusikkouden kehittämisessä. Jos itse transkriptiotyö teetetään muualla, vesittyy tämä idea täysin.

Sävellysapukeino improvisoinnista nuoteiksi

Itse sävellän monesti improvisoiden pianolla ja äänittäen sellaiset ideat, joista tulee ajatus että ne saattaisivat toimia sävellyksen rakennusaineina. Normaalisti prosessi etenee siten, että kuuntelen myöhemmin tallennetta jotka olen äänittänyt improvisaatiostani ja teen niistä nuotin. Voisiko tätä osaa prosessista nopeuttaa automatisoimalla notaatio?

Orkestraation ja sovituksen analysointi ja opiskelu

Voisiko transkriptiopalvelu kirjoittaa automaattisesti esim. sinfoniaorkesterin, big bandin tai kuoron äänitteestä jokaisen stemman erikseen?

Tekijänoikeudet

Voiko tällaista transkriptiopalvelua ylipäänsä käyttää ilman tekijänoikeuksien rikkomista?

Miltei kaikissa yllä olevissa käyttötarkoituksissa jouduin pohtimaan käyttöä myös tekijänoikeuksien kannalta. Antaessani palvelun lähdemateriaaliksi MP3-tiedoston tai esimerkiksi YouTube-linkin minun täytyy vahvistaa, että minulla on oikeus käyttää lataamaani materiaalia. YouTube-linkin antaminen transkriptiopalvelulle ei automaattisesti siirrä tekijänoikeusvastuuta YouTube-kanavan ylläpitäjälle. Songscription sanoo myös käyttöehdoissaan suoraan että sille ladattua audiota voidaan käyttää mallien kehittämiseen. Maksullista palvelua käyttävät voivat halutessaan kieltää siihen ladatun materiaalin koulutuskäytön, ilmaiskäyttäjille tämä ei ole mahdollista.

Käytännön esimerkki: Olen pianonsoiton opettaja ja oppilas haluaisi soittaa Duran Duranin kappaleen “Ordinary World”, josta minulla ei ole nuottia. Löydän kappaleen YouTubesta ja kopioin linkin Songscriptioniin, joka tekee minulle nuotin. Yksityiseen opiskeluun tekoälyllä tehty transkriptio on ok, mutta en ole varma voinko opettajana jakaa tällaista nuottia oppilailleni. Ehkä voisin pyytää heitä itse tekemään ohjelmalla nuotin itselleen, jolloin sitä ei jaettaisi eteenpäin. Toinen tekijänoikeuksiin liittyvä ongelma on silti isompi: tehdessäni pianosovituksen tulisin samalla myös syöttäneeksi Duran Duranin kappaleen Songscriptionin käytettäväksi opetusmateriaaliksi, ja tähän minulla ei ole oikeutta.

Omaa improvisaatiota voin toki käyttää ladata palveluun mielin määrin ilman pelkoa tekijänoikeusrikkomuksista, mutta ehkä en säveltäjänä halua keskeneräisten sävellysteni päätyvän koulutusmateriaaliksi, jos en voi olla varma tuotetaanko sen perusteella tulevaisuudessa generatiivisesti uutta musiikkia. Tilaamalla Songscriptionin maksullisen version ja kieltämällä lataamani materiaalin opetuskäytön tämän ongelman voisi kiertää, jos luottaa Songscriptionin lupauksiin siitä että audio pysyy yksityisenä.

”Neljä tuulihattua” -pianosovitus

Pohtimani tekijänoikeuskysymykset luonnollisesti rajoittavat myös palvelun demonstrointia, josta syystä kokeilin Songscriptionia omilla sävellyksilläni. Halusin ensin kokeilla mainostettua pianosovituksen tekemistä, kappaleeksi valitsin FlipFlop-lastenmusiikkiyhtyeelle säveltämäni laulun “Neljä tuulihattua” (san. Marjatta Kurenniemi).

Vein Youtube-linkin Songscriptioniin, jonka jälkeen pystyn vielä valitsemaan Trim-työkalulla transkriboitavan alueen. Leikkasin alueen ensimmäisen kertosäkeen jälkeen kohtaan 1.09.

Palvelu kysyy ensin mille soittimelle ollaan tekemässä transkriptiota, sitten sitä haluanko transkription vai pianosovituksen, koko kappaleesta laulumelodian kanssa vai ilman laulumelodiaa. Valitsen pianon ja laulumelodian. Tämän jälkeen kysytään vielä pianosovituksen vaikeustasoa.

Ensivaikutelmani on että sovitus on parempi mitä odotin.

Valitsen ensin oletuksena olevan Adaptiven. Pianosovitus valmistuu alle minuutissa. Ensivaikutelmani on että sovitus on parempi mitä odotin. Moni asia on kohdallaan: sointumerkit, tahtilaji, rytmiikka, sävellaji. Jako oikealle ja vasemmalle kädelle vaikuttaa luontevalta. Kappale on kolmimuunteinen valssi, ja jopa laulumelodian kolmimuunteisuus vaikuttaa olevan hyvin siististi notatoitu. Intron rytmiikan kolmimuunteisuuden ohjelma jostain syystä sen sijaan muutti suoraksi. Pianon vasen käsi on myös haastava, sillä se joutuu soittamaan stride-tyyliin välillä bassoääniä, välillä sointuja keskirekisteristä. Voisin silti hyvin käyttää tätä lähtökohtana ja editoida lopputuloksesta viimeistellyn version.

Sen jälkeen kokeilen, minkälainen sovitus syntyy jos valitsen helpoimman vaikeusasteen, Beginner/Intermediate. Audiota ei tarvitse syöttää uudestaan, vaikeustasoa voi muuttaa suoraan. Helpotettu pianoversio näkyy tässä uudessa sovituksessa ennen kaikkea vasemman käden yksiäänisessä linjassa: nyt koko sovituksesta tulee pitkälti kaksiääninen. Melodian rytmiikka on trioleineen edelleen aloittelijalle haastava lukea, sovellus ei ole lähtenyt pyöristämään laulumelodian rytmiä yksinkertaisemmaksi.

Pianotranskriptio ”Niin kauas kuin siivet kantaa”

Halusin testata myös perinteisempää transkriptiota. Käytän tässä demomateriaalina omaa instrumentaalisävellystäni, joka alkaa soolopianolla. Latasin sävellyksen alusta noin minuutin katkelman WAV-tiedostona Songscriptioniin. En antanut palvelulle muuta etukäteistietoa, kuin että tiedostossa soiva soitin on piano, ja että haluan siitä transkription. Kappale on nimeltään ”Niin kauas kuin siivet kantaa”, kuultavissa esim. Spotifyssa. Seuraavassa ensin alkuperäinen itse tekemäni nuotti biisin alusta, jonka alla Songscriptionin tekemä transkriptio samasta pätkästä.

Ensivaikutelmani on edelleen se, että transkriptio on tällaisenaan jo mielestäni yllättävän lähellä valmista. Palvelu on jostain syystä pätkinyt muutaman 4/4-tahdin 2/4:ksi ja kirjoittanut mielestäni turhan sävellajin vaihdon etumerkkien muutoksineen, samoin joissain tahdeissa on ylimääräisiä voiceja taukoineen, joita karsimalla nuottia saisi vielä siistimmäksi. Olen tyytyväinen myös reaalisointumerkkeihin, joskin Songscription on kirjoittanut niitä vähemmän ulos kuin itse. Ehkä syystäkin.

Songscriptionin ilmaisversiolla nuottia ei pysty tallentamaan, se onnistuu maksullisilla versioilla. Ohjelmasta itsestään löytyy kuitenkin yllättävän kattavat editointitoiminnot kuin notaatio-ohjelmasta ikään, voisin hyvin muokata nuotin valmiiksi suoraan Songscriptionin sisällä ja printata siitä PDF:ksi tai paperinuotiksi.

Aion kokeilla palvelua jatkossa myös sävellystyökaluna notatoimaan improvisaatioitani, mutta maksullisella versiolla – en halua että omat keskeneräiset biisini päätyvät tekoälyn koulutusmateriaaliksi.