fields
Főoldal »  Bejegyzések » ( )

DLA kutatási terv

Algoritmizált dramaturgia

Multimédia DLA munkaterv, készítette: Vargha Márk Péter, témavezető: Szirtes János

Bevezetés, előzmények

Debrecenben születtem, ám gyermekkoromat már a nyolcvanas években Tatabányán töltöttem a leépülő bányászat ipari romjai között. A meddőhányó, az erőművek kéményei, és a titokzatos erdei épületek mély nyomot hagytak bennem. A középiskola elvégzése után először szoftverfejlesztőnek készültem, évekig dolgoztam programozóként. Érdeklődésem fokozatosan fordult a művészetek felé. Először novellákat kezdtem írni, később kisregényeket és színdarabokat is. Majd fényképészettel, játék és kísérleti filmekkel és animációval kezdtem foglalkozni. A három részterület, az algoritmizálás, a történetmesélés és a képalkotás azonban csak felváltva került elő, időszakosan háttérbe szorítva a másik kettőt.

Kutatási témám gyökerei a jelenben

A vizuális művészet terén a fotó alapú építészeti tér és fény animáció a legfontosabb számomra. Már több ilyen filmet készítettem, eddig azonban kizárólag az esztétikai szempontokat tartottam szem előtt, az animációk hagyományos, kézi vezérléssel készültek, az általam kitalált dramaturgia szerint.

A média design mesterdiplomámhoz is egy ilyen filmet készítettem, az építésztervezők meghívására a négyes metró két állomásának építkezését fényképeztem. Az animációhoz szükséges nagyszámú fény fázisfotó kezelése, és az építészeti fotózás összetettsége igényelte, hogy elkészüljön egy ezeket támogató szoftverrendszer terve. Két tanárom, Szirtes János és Tasnádi József is támogatta az ötletemet, ám túlságosan összetettnek találtuk ahhoz, hogy MA diplomát készítsek belőle. A további konzultációk során alakult ki a most ismertetett terv, ami már túlmutat egy egyszerű építészeti fotózást segítő szoftveren, és színészet nélküli történetmeséléssel, valamint a dramaturgia algoritmizálásával foglalkozik.

A kutatási téma leírása

Vizsgálatom tárgya a színészet nélküli történetmesélés algoritmizálhatósága. Mestermunkám egy olyan fotóalapú animációs film, ahol a fázisképek variációinak generálása matematikai modellek alapján, szoftveres úton történik.

A munkám alapját egy olyan fényképezési technika adja, ahol egy-egy kész kép elkészítéséhez több tíz, esetenként száz fény vagy egyéb fázisfotó készül. Ez a technika lehetőséget biztosít a különböző fázisok utólagos keverésére, így több teljesen különböző hangulatú kép, vagy akár animációs film is készíthető belőlük.

A számítógép kiváló eszköz, sokkal több, mint egy kalapács, de nem is önálló személyiség. Pontosan azt csinálja, amit megfogalmazunk. Nem gondolkozik el rajta, nem unja az ismétlődéseket. Az én feladatom az, hogy lefordítsam a gép számára, azaz algoritmizáljam az elvégzendőket, ami aztán a nagyszámú bemenő alapanyagból létrehoz több, egymástól lényegesen eltérő variánst. Egy kiindulási állapothoz (értelmezési tartomány) hozzárendelek egy kimeneti állapotot (értékkészlet). Ezek a hozzárendelések tetszőlegesen variálhatók, mint például a képek átlátszósága, egymásra keverési módja, a színezésük, fényintenzitásuk. Akár olyan szabályt is létre lehet hozni, hogy a színek a képen szereplő emberek számától függően változzanak. Egyetlen kitétel a következetesség, aminek végig kell vonulnia a teljes alkotáson. Fontos, hogy ezeket a variánsokat nem kell időrabló módon egyesével, kézzel elkészíteni, a számítógép legyártja őket.

Ez a szó megszokott értelmében nem generatív művészet, hiszen az alapanyag nem számítógépes grafika, hanem a valós létezésből kiragadott pillanatkép, videó felvétel, vagy hang. Ugyanakkor már Bach és Mozart is szerzett szenét szabályszerűségek és dobókockák segítségével. Nem kell ehhez számítógép. Nem akarok mesterséges intelligenciát fejleszteni, az elkövetkező három évben nem is várható, hogy a számítógépek művészi öntudatra ébredjenek. Az elkészült prototípusokat az én művészi ízlésemnek megfelelően szelektálom, ám nem végzek rajtuk további feldolgozást. Az elérendő célt a bemeneti paraméterek, akár a képek, akár az algoritmus változtatásával kívánom elérni. A végső produktum így egy esztétikai szempontoknak megfelelő fotósorozat, animációs film lesz, de akár ide sorolhatjuk a leképezést létrehozó függvényt, vagy annak a konkrét programnyelven megvalósított példányát. A matematika szép, a programozás pedig művészet.

A valós élet különféle jelenségei megfeleltethetőek a számítógépen objektumoknak. Jelen esetben a különféle technikai médiumok által rögzített képekről (hangokról) van szó. Minden objektumnak vannak tulajdonságai, például dimenziók, maximális fényintenzitás, átlagos fényintenzitás, stb. Valamint rendelkeznek metódusokkal, vagyis képesek előre definiált kód végrehajtására, ami a cselekvésnek, viselkedésnek, másokra való reagálásnak felel meg. Például egy erőteljesen piros, sötét árnyalatú kép össze tudja magát hasonlítani egy döntően kék, világos árnyalatú képpel, és az eredmény függvényében képes vele összeadni, összeszorozni magát, vagy megszólaltatni egy hangot, elindítani egy videót, amik szintén objektumok, és ugyanezekre képesek. Ez még nem mesterséges intelligencia, ám a megfelelő szabályok kialakításával érdekes egymásra hatások, viselkedési minták alakulnak ki. A különféle fizikai szabályszerűségek, például a csillapított rezgőmozgáson alapuló fényintenzitás változás pedig kifejezetten harmonikus mozgóképet eredményez.

Egy adott környezet, legyen az épített vagy természeti, egy emberi arc, vagy bármilyen tárgy megvilágításának, színezésének, nézőpontjának, aláfestő hangjának változása a mondanivaló megváltozásával is jár, anélkül, hogy a kép alanya maga is aktív cselekvővé válna. Kísérleti animációm alapanyagává tehető tehát bármely építészeti vagy természetes tér, különféle emberi mozgások fázisképei, gépek zaja, természeti vagy zenei hangok. Így a mestermunka elkészítése alkalmat biztosít kapcsolódásra a performance művészettel, az építőművészettel, a fotóművészettel, a videó művészettel, a zeneművészettel, a színházművészettel, az irodalommal és matematikai algoritmizálással is.

A munka időbeosztása

Az I. félév tematikája

Anyaggyűjtés a témához, különös tekintettel a hasonló műalkotásokra és kutatási projektekre. Szeretnék minél többet tanulni belőlük, de nem akarok olyan utat járni, amin mások már jártak. Ide értve például Faa Balázs, vagy Tasnádi József egyes munkáit is.

Szakirodalom felkutatása. Egyfelől a különféle viselkedésformák leírásáról, a mimikai jelentésekről, és a filmnyelvről. Másfelől a dramatizáláshoz nélkülözhetetlen változások, egyszerűbb esetben fizikai jelenségek, összetettebb esetben emberi, állati, illetve tömeges viselkedési minták matematikai leírásáról. Valamint szükséges lesz ezeknek a számítógépes modellezéséhez a különféle szoftveres megoldások, fejlesztőrendszerek, programozási nyelvek tanulmányozása is.

A témában szaktörténeti és szakelméleti tanulmányok készítése. A konkrét témák kiválasztása a szakirodalom feldolgozása közben fog kialakulni. Elképzelhető például egy összevetése a korai objektum orientált térinformatikai kísérleteknek a napjainkban már mindennaposan használt mérnöki rendszerekkel. Például Ivan Sutherland és Alan Kay Sketchpad-ja 1963-ból. Ezek a rendszerek közvetlenül hatottak a számítógépes animáció kialakulására a hetvenes években.

A II. félév tematikája

Az elméleti alapok lefektetése mellett ezek gyakorlati kipróbálása. A hosszas tervezést nélkülöző, gyors tesztelést lehetővé tevő Rapid Application Development eljárással egyszerű prototípusok készítése. Az elmélet gyakorlati megvalósításának kipróbálása. Az ehhez szükséges felvételek elkészítése.

Habár a mestermunka nem klasszikus film lesz, azért szükséges egyfajta forgatókönyv készítése, a fejlesztési irány meghatározása. Ennek az elméleti munkával párhuzamosan, már korai stádiumban el kell kezdődnie.

A III. félév tematikája

A II félévben elkészült kisebb prototípusok közül az arra érdemesek továbbfejlesztése olyan, a mestermunkánál kisebb terjedelmű, egy-egy részterületet látványosan feltáró, már nem csak kísérletként, de önálló műalkotásként is értékelhető produkciók készítése. Ehhez további felvételek készítése is szükséges, ám ezeknél már az utómunkára, az esztétikára, vagyis a bemutathatóságára is figyelni kell. Ezeknek a produkcióknak a prezentálása szakmai és szakmán kívüli köröknek, hiszen a film mégiscsak a közönségnek készül, a visszajelzések pedig sokszor segítenek hasznos tapasztalatokhoz jutni.

A munkát segítő, nem művészi produktumnak számító prototípusok, például leválogató algoritmusok, fényképezést segítő segédprogramok, stb. közül kiválasztani azokat, amik érdemesek lehetnek továbbfejlesztése, számot tarthatnak mások érdeklődésére, felhasználására is.

A IV. félév tematikája

A mestermunka struktúrájának véglegesítése, a munka felosztása a III. félévben készített produkciókhoz hasonló méretű egységekre. A részfeladatok prioritásának meghatározása. A konkrét részmegoldások a kutatás eredményein alapulnak, de mindenképpen szükség lesz bemenő adatokra létrehozására, amik egyfelől képek, videók és hangok lesznek, valamint ezeknek a viselkedését leíró algoritmusokra. Folyamatos hibakeresés az elkészült kódban. Szoftverdokumentáció készítése.

Az V. félév tematikája

Mestermunka közel kész állapotra hozása. A IV. félévben felosztott részek párhuzamos fejlesztése. A mestermunka világában minden egyes objektum saját életet fog élni, ezért lehetséges a párhuzamos fejlesztés. Eleinte csak a játéktér lesz meg, ami a fejlesztés előrehaladtával népesül be. Folyamatos hibakeresés az elkészült kódban. Szoftverdokumentáció készítése. A segédprogramok végleges elkészítése, ha lesz olyan, ami komolyabb érdeklődésre tarthat számot, de méretében túlnyúlna a DLA programon, akkor is legalább a szoftverterv elkészítése.

A VI. félév tematikája

Széles körű prezentálás. Építészeti média megjelenés, animációs és kísérleti filmfesztiválok, tudományos publikációk megjelentetése a témáról. Az algoritmus végleges formába hozása. További lehetőségek felvázolása az elkészült algoritmus prezentálásra. Egy algoritmus ugyanis nem csak egy konkrét filmet hozhat létre.

A tervezett mestermunka leírása

A mestermunka több formában is létrejön, létrejöhet. Ezek közül a legfontosabb az animációs film, és az azt létrehozó algoritmus. Ez a kettő egy egységet képez, a film esztétikailag megfelelő minőséget képvisel, elméleti és művészeti téren publikálható, fesztiválokon valódi, élvezhető filmként vetíthető.

Ami biztosan elkészül még mellette, az egy fotósorozat. Képi világában természetesen hasonló, mint a film, de nem egyszerűen a filmből kivágott képekről van szó, módosított algoritmus generálja őket. A képekhez szükséges számítási teljesítmény jóval kisebb, így a film dramaturgiájának mutációi valószínűleg szintén képsorozatként születnek meg.

Elképzelhető még egy multi platform interaktív animáció, ahol az algoritmus működésébe beleavatkozhat a néző, aki ezzel közreműködővé válna. Izgalmas lehetőség, de az általam elképzelt minőségű látványvilágot jelenleg még nem képes valós időben létrehozni a gép. Ez további kutatást, fejlesztést, optimalizálást igényelne, ám elképzelhető, hogy ez változni fog a közeli jövőben.

Melléktermékként létrejön még a fényképezést és döntéshozást, animálást segítő szoftver. Ez lehet egy önálló termék vázlata, prototípusa, vagy egy meglévő szoftverrendszerhez plugin. Javarészt tervben fog létezni, kisebb részben implementálva is lehet.

  • 2012-06-04 00:00