Virtuaalitodellisuudessa (Virtual Reality = VR) luodaan täysin keinotekoinen maailma digitaalisten välineiden avulla. Tämä voi simuloida todellista ympäristöä tai luoda täysin oman todellisuutensa. Tämä toteutetaan joko suoraan silmien eteen laitettavien monitorien avulla eli virtuaalilaseilla tai –kypärillä, tai vaihtoehtoisesti useamman projisoivan pinnan kautta, jolloin käyttäjä kokee olevansa tilan sisällä.
Lisätty todellisuus (Augmented Reality = AR) puolestaan luo digitaalista materiaalia reaaliajassa käyttäjän näkemään todelliseen ympäristöön. Tästä tunnetuimpia esimerkkejä ovat esimerkiksi Pokémon GO tai urheilutapahtumien televisioinnissa käytetyt merkinnät kuten mäkihyppy- tai keihäskisan karsintaraja. Termin lanseerasi ensimmäisenä Ronald T. Azuma vuonna 1997, jatkaen kolme vuotta aiemmin Paul Milgramin määrittelemää virtuaalista jatkumoa. Tässä jatkumossa lisätty todellisuus sijoittuu laajennetun todellisuuden alakäsitteeksi.
Tutkimuksessaan ”A Survey of Augmented Reality”
( http://www.cs.unc.edu/~azuma/ARpresence.pdf )
Azuma määritteli mahdolliset käyttötarkoitukset tälle teknologialle
jakamalla ne kuuteen ryhmään:
- Medical (lääketieteellinen)
- Manufacturing and repair (laitteiden valmistus, ylläpito ja huolto)
- Annotation and visualization (virtuaalinen kommentointi ja visualisointi)
- Robot path planning (Robotiikan ohjainsuunnittelu)
- Entertainment (viihde)
- Military aircraft (sotilaslentokoneisto)
Kysymys kuuluukin: miten tällaisia teknologisia saavutuksia sitten voitaisiin hyödyntää musiikissa, vielä olennaisemmin sen opetuksessa? Azuman jakamassa järjestelmässä musiikki toki osuu luontevasti kategoriaan ”viihde”, mutta entä pedagoginen käyttö?
Japanilainen Ayato Fujii on hiljattain kehittänyt Microsoftin HoloLens-teknologialle Teomirn-nimisen ohjelmiston, jolla saadaan pianonsoiton opettaja heijastettua kotiympäristöön. Käyttäjä valitsee haluamansa kappaleen ja voi seurata virtuaalilaseilla opettajan soittoa sekä toistaa näkemäänsä.
(Teomirn. Kuvakaappaus, Teomirn Listening Tutorial, youtube.com)
Periaatteessa Teomirn siis perustuu samalle mestari-kisälli –opetussuhteelle, jonka avulla soittamista on opetettu jo vuosisatoja ilman nuotteja tai varsinaista teoreettista lähestymistapaa; pelkän visualisoinnin ja silmä-käsi-koordinaation sekä korvakuulo-opetuksen avulla. Tämä metodi on etenkin kansanmusiikkipiireissä toimiville muusikoille tuttu ja helposti omaksuttava, mutta enemmän nuottikuviin ja teoreettisempaan opetukseen tottuneille varmasti hankalammin suhtauduttava.
(Teomirn. Kuvakaappaus, Teomirn Listening Tutorial, youtube.com)
Mahdollisuudet tällaisen opetuksen laajentamisen suhteen ovat teoriassa lähes rajattomat, mutta vielä toistaiseksi varsin vähäiset.
Musiikin opetuksessa toki saattaisi olla mielenkiintoista saada vaikkapa Itzhak Perlman, Jevgeni Kisin, Eric Clapton tai Max Weinberg pitämään soittotuntia tarvitsematta maksaa itseään kipeäksi. Viihdekäytössä tämä on juuri hiljattain osoittautunut varsin mahdolliseksi, joskin hieman vaihtelevin mielipitein Ronnie James Dion palattua lavoille 7 vuotta kuolemansa jälkeen – hologrammina: https://www.youtube.com/watch?v=-9DBpT9XYb8
Käytännössä tämä luultavasti jäisi kuitenkin loppujen lopuksi kuriositeetin tasolle. Vaikka ajatus laajennettuun todellisuuteen siirretystä opetusvideosta on innostava, se on kuitenkin vain opetusvideo. Ennaltanauhoitettujen kommentointien tai kehujen (tai kuten ylläolevassa Dio-videossa yleisön huudattamisen) lisäksi virtuaalinen opettaja ei ole luonnollisestikaan kykenevä reagoimaan oppilaansa tekemisiin sen enempää kuin perinteinenkään opetusvideo. Tästä johtuen opetustilanne jää pakostakin esimerkin mukaan soittamiseksi ilman ongelmakohtiin tai pieniin nyansseihin puuttumista. Tekoäly ei vielä tee eläviä opettajia tarpeettomaksi.
Teomirn vie siis pykälää pidemmälle saman ajatuksen, joka on periaatteessa lanseerattu jo taannoin Guitar Heron ja Dance Dance Revolutionin kaltaisten soittoa tai rytmiikkaa simuloivissa peleissä. Itse asiassa jo enemmän tai vähemmän kuolleeksi julistettu pelityyppi sai valtavan potkun eteenpäin keväällä 2017 kun Rock Band VR julkaistiin, tarjoten pelaajalle mahdollisuuden hypätä virtuaaliympäristöön leikkimään rocktähteä vielä aiempaa kokonaisvaltaisemmin. Pedagogiselta näkökulmalta katsoen tämä ei kuitenkaan tuo mitään merkittävää lisää musiikin tekemiseen, mutta toisaalta se voi hyvinkin inspiroida jonkun tutustumaan musiikkiin tai soittimiin myös pelimaailman ulkopuolella.
(Rock Band VR. Kuvakaappaus promovideosta www.rockbandvr.com)
Toisaalta virtuaalisiin ympäristöihin perustuvia äänen käsittelyyn tarkoitettuja simulaatioita on ollut saatavilla ja käytössä jo useamman vuoden. Valtaosa ääniteknikoista on vähintään kokeillut käyttää miksauspöytää bluetooth-yhteyden avulla iPadin kautta ja erilaiset mikseri- ja efektimallinnukset ovat olleet studiotekniikassa arkipäivää jo pitkään. Vuosi vuodelta myös normaalin kuluttajan saatavilla oleva ohjelmistomäärä kasvaa ja muuttuu helpommin lähestyttäväksi. Garageband on automaattinen kaupanpäällinen kaikkiin Macin uusiin laitteisiin ja pienelle taloudellisella panostuksella iPadista saa varsin pätevän kotistudion. Virtuaaliset soitinmallinnukset antavat käsitystä soittimen toiminnasta, mutta vielä on kuitenkin matkaa varsinaiseen soiton oppimiseen pelkkien applikaatioiden avulla.
(Garageband. Kuvakaappaus)
360 asteen valo- ja videokuvaus on jo sinänsä vanha keksintö, jolla voidaan kuitenkin tarjota varsin voimakkaita elämyksiä, kun tätä ajattelua aletaan laajentaa keinotekoisen todellisuuden puolelle.
Lontoon Southbank Centre tarjosi vuonna 2017 mahdollisuuden kokea Sibeliuksen viides sinfonia Esa-Pekka Salosen johtamana kotisohvilta virtuaalivälineiden kautta. Virtuaalilasien ja kuulokkeiden avulla kuulija saattoi seurata esitystä haluamallaan tavalla, vaikka kapellimestarin korokkeelta. Korviin tuotettu orkesterin äänenmuodostus riippui osin siitä, mihin suuntaan asiakas halusi kulloinkin katsella. Tätä ajatusta hieman pidemmälle vieden voisi olla tulevaisuudessa mahdollista päästä itse helposti kotonaan soittamaan vaikkapa jousikvartetin, jazztrion tai sinfoniaorkesterin kanssa, mikä taas avaa uusia mahdollisuuksia myös pedagogisella puolella.