Kép és hang viszonyának kérdése jó eséllyel igen gyakran felmerül, ha az ember zenei alkotómunkával foglalkozik. A kontextus sokféle lehet, és a legtriviálisabbaktól (kép által inspirált zenemű, illetve mozgóképhez komponált, annak hagyományos módon alárendelt filmzene) most el is tekintenék. Szintén nem térek ki a zene algoritmikus vizualizációjának népszerű, ám gyakran felületes formáira. Engem mindig az érdekelt leginkább, amikor a két médium egyenrangú, vagy pedig valamilyen különleges, egyedi kapcsolatban áll egymással. Az alábbiakban néhány, az utóbbi években készült audiovizuális munkámat mutatom be röviden, amelyekben ennek a viszonyrendszernek a lehetőségeit kutattam.
A 2016-ban készült három munka (Proof of Concept, PLAY ME, Reality Check), bár más-más műfajú, szorosan kapcsolódik egymáshoz: kettőt hasonló technikával készítettem, a harmadik pedig gyakorlatilag nem más, mint az első kettő anyagaiból létrejött mashup.
A Proof of Concept című videóinstallációban arra tettem kísérletet, hogy a live coding (valós idejű programozás) elvének felhasználásával hozzak létre zenei folyamatot, miközben a hangot előállító, folyamatosan változó szoftveres felület látványa transzparenssé teszi, hogy mi történik. A Max grafikus hangprogramozási környezetet választottam, ahol három egyszerű hanggeneráló blokkot építettem. Az alábbi paramétereket tettem kívülről vezérelhetővé: azt, hogy mikor melyik blokk van jelen; azt, hogy a jelen lévő blokkok kapcsolódnak-e a sztereó hangkimenet egyik vagy másik, esetleg mindkét oldalához; valamint az egyes blokkokra vonatkozó komplex beállítások (presetek) közötti interpolációt.
Mindezeket egy idővonal-alapú szekvenszerből (Ableton Live) vezéreltem úgy, hogy egy viszonylag rövid, előre összerakott szekvenciában mozgattam improvizatív módon a lejátszófejet. Az eredmény a jellemzően lassan kibontakozó live coding és a gyors, virtuóz „hangszerjáték” egyedi ötvözete lett, ahol vizuálisan végig nyomon követhető, hogy a hangban mi miért történik.
Kép és hang viszonya szempontjából tehát ok-okozati összefüggés figyelhető meg, hiszen végig azt látjuk, ami a motorháztető alatt, a hang előállítása érdekében zajlik, illetve kizárólag azt halljuk, amit a képen látható programkód az adott szoftverkörnyezetben létrehoz. Ilyen értelemben nincs csalás: what you see is what you get. Ami mégis talán érdekessé, sőt helyenként humorossá teszi a dolgot, az a live coding-tól alapvetően idegen virtuóz játékmód és a mögötte lévő emberi gesztusok hol zenei, olykor színpadi jellegű átszűrődése.
A PLAY ME című munka egy mozgó grafikus kotta. A Proof of Concept-hez hasonló elvekkel és technikákkal dolgoztam, de ezúttal egy hang nélküli videó lett a végeredmény, mely vizuális értékkel is bír, de részben vagy egészben tetszőleges hangszer(ek)en meg is szólaltatható; ilyenkor a kotta értelmezése teljes mértékben az előadókra van bízva. (Ebből a szempontból – és némileg grafikus elemeiben is – talán Cornelius Cardew 1960-as években készült munkáival rokon.)
Ismét Ableton Live-ból vezéreltem a Max-ben futó saját fejlesztésű szoftvert, de magát a megjelenítést egy INScore nevű, nyílt forráskódú alkalmazás végezte. Több grafikus réteget készítettem, melyeket utólag videóvágó programmal szerkesztettem össze.
Mivel a videó néma, itt kép–hang viszonyról nem beszélhetünk, hacsak nem vesszük számításba a grafikus elemek hordozta áttételes zeneiséget. Valójában a cím, illetve a műfajmegjelölés (videókotta) az, ami egyértelműen audiovizuálissá teszi a munkát, talán még akkor is, ha éppen senki sem „szólaltatja meg” – ilyenkor a néző fejében, ha nem is maga a zene, de a zenére való asszociáció biztosan megszületik.
A Reality Check esetében az előző két projekt anyagából próbáltam egy koncertszituációban is előadható, zeneileg és képileg gondosan megkomponált, változatos dramaturgiájú videót készíteni. Továbbra is ragaszkodtam ahhoz, hogy a hangot létrehozó grafikus programkód végig látható maradjon; hozzáadott rétegként – a hanghoz képest hol okként (kottaként), hol pedig inkább okozatként (illusztrációként) viselkedve – a videókotta részletei jelennek meg. A két réteg közötti kapcsolatok tehát mesterségesen konstruáltak, és – a szerzői szándék szerint legalábbis – a befogadó percepciójában kelnek életre.
Műfaját tekintve ez a leghagyományosabb munka a három közül. Ebből, mármint a műfajból következik a munkamódszer is: az öt és fél perces időkeretet a meglévő anyagokból sűrítéssel, vágással, rétegzéssel töltöttem ki, klasszikus kompozíciós elvek szerint felépítve egy dramaturgiai ívet. Szándékaim szerint egy koherens egész jött létre, ahol a hang és a kép között változatos viszonyrendszer figyelhető meg.
A 100mp*100dB című munka antalaci képeihez készült(1), akivel a Hermina Alkotócsoport keretein belül nyílt egy közös kiállításunk. A hímzett képeket, pontosabban az azokról készült fotókat számítógépes eljárással „bontottam vissza” tollvonásszerű gesztusokra, és ezek segítségével, tiszta lappal indulva, alternatív módon alkottam újra a képeket, időbeli dimenziót kölcsönözve nekik. A gesztusok mindeközben hangeseményeket is vezéreltek, így jött létre a zene, mindegyik képnél más-más alapanyagból és algoritmus szerint.
Ez valójában egy képszonifikációs projekt, de fontos volt számomra, hogy ne a legprimerebb (pixelenkénti, vagy balról-jobbra leolvasáson alapuló) módszerekkel dolgozzak. Hímzésről lévén szó, kézenfekvőnek tűnt, hogy vonalrajzzá (vektorgrafikává) konvertáljam a képeket, és a vonalakkal kezdjek valamit zeneileg. Az általam használt megoldás (a Rama Gottfried által fejlesztett o.svg objektum Max környezetben) sajátossága, hogy összefüggő vonalak helyett sok kis tollvonást eredményezett a visszafejtés, de ez nekem most kifejezetten jól jött. A gesztusokat egyenként 100 másodperces időtartamokban egyenletesen elosztva egészen természetesnek tűnő rajzolási sebességet kaptam. A szonifikáció alapját e tollvonások paraméterei képezték, ami egy organikus, emberközeli kiindulópontot biztosított, miközben megmaradt a flexibilitás, hogy a hét képhez hét gyökeresen eltérő karakterű hanganyag társulhasson.
A Dunántúli táncok előzménye, hogy a Hermina Alkotócsoport néhány tagjával a zsennyei kastélyban 2018 nyarán rövid performanszot adtunk elő kifeszített, kontaktmikrofonokkal ellátott drótok között csúszva-mászva és különböző módokon megszólaltatva azokat. Minderről felülnézeti videófelvétel készült, ennek alapján lekövettem a résztvevőket színes pöttyökkel, és az x-y pozíciójukat zenei vezérlőparaméterekként használva, az eredeti performansz hangfelvételéből kiindulva létrehoztam egy másodlagos, absztraktabb képi és hangzó olvasatot.
Ennek a munkának az az érdekessége, hogy tulajdonképpen egy már létező videó+hangsáv kombinációnak a parafrázisa, ahol többszörös absztrakció történik. Az emberi mozgás fejenként egyetlen pont kétdimenziós pozíciókövetésévé redukálódik, és vizuálisan is a lehető legegyszerűbb megjelenési formát kapja. A mozdulatokhoz eredetileg szervesen kapcsolódó, azokkal ok-okozati viszonyban lévő hanganyag pedig pusztán hangi tulajdonságok alapján újraszervezve, teljesen átértelmezett módon rendelődik hozzá ismét a mozgáshoz. Az eredmény egy olyan videómunka, ahol az minimalista vizuális elemek minden absztrakció ellenére megőriznek valamit a mozgás emberi jellegéből, miközben a kép-hang viszony metamorfózisa teljesen új dramaturgiai helyzetet teremt.
Proof of Concept
2016, videóinstalláció, 10′ 51”
A videóinstalláció az ArtPort 20 című, a PTE Művészeti Kar 20 éves fennállásának alkalmából rendezett kiállításon került bemutatásra a pécsi Zsolnay Negyedben lévő m21 Galériában, 2016. május 27. és június 28. között.
PLAY ME
2016, videókotta, 22′ 27”
A mű a Hermina Galéria 1. évfordulós kiállításán volt látható, 2016. május 30. és június 30. között. A megnyitón a jelen lévő hangszeres zenészek jóvoltából egy pár perces részlet el is hangzott.
Reality Check
2016, videó, 5′ 31”
A videó ősbemutatója a Müsziben volt, 2016. június 2-án, az FModulations 3 című koncert keretében.
100mp*100dB
2017, videó antalaci képeinek felhasználásával, 12’ 20”
A képek és a zenék a 100den*100dm2 / 100mp*100dB című kiállításon kerültek bemutatásra, a Hermina Galériában, 2017. március 17-étől.
Dunántúli táncok
2019, videó, 12’ 21”
Az eredeti performansz felvétele:
A két videó a Kettős Rendszer című kiállításon került bemutatásra a MAMŰ Galériában, 2019. január 4-18. között.
