Umělá inteligence jako nástroj pro studium audiovizuálních děl: Jana Horáková o projektu Media Art Live Archive

Doc. Mgr. Jana Horáková, Ph.D., působí v Ústavu hudební vědy Filozofické fakulty Masarykovy univerzity, kde je garantkou magisterského studijního programu Teorie interaktivních médií a doktorského programu Digitální kultura a kreativní průmysly. V letech 2019–2022 stála v čele řešitelského týmu projektu Media Art Live Archive, který zkoumal potenciál využití strojového učení a hlubokých neuronových sítí při analýze audiovizuálních děl. Hlavním výstupem projektu je web Vašulka Live Archive. Co web svým návštěvníkům nabízí? A jaké jsou další výstupy projektu? To vše se dozvíte v rozhovoru s hlavní řešitelkou projektu Janou Horákovou.

28. 5. 2024 Kateřina Müllerová

Můžete prosím představit projekt Media Art Live Archive?

Projekt Media Art Live Archive testoval potenciál aplikace strojového učení a hlubokých neuronových sítí při analýze uměleckých videí. Naší ambicí bylo přispět do odborné diskuse o vhodných způsobech uchování a zprostředkování mediálního umění s ohledem na materiální a strukturální specifika těchto děl. Tato debata je v současnosti vedena převážně z pozic archivářů a kurátorů uměleckých sbírek. Projekt Media Art Live Archive do této debaty vnáší hledisko teoretiků a historiků umění a vzhledem k rozhodnutí využívat softwarové nástroje (strojové učení) bych jej zařadila do množiny projektů z oblasti digitálních humanitních věd. Nešlo nám totiž jen o zpracování digitálního archivu uměleckých videí manželů Vašulkových (předních zástupců raného uměleckého videa), ale také o experiment s využitím strojového učení (umělé inteligence) jako analytického nástroje pro studium obsahu audiovizuálních děl, a to jednotlivě i napříč archivem. Proto označuji hlavní výstup projektu – web VasulkaLiveArchive – nikoli jako databázi (i když i tuto funkci efektivně plní), ale jako interaktivní epistemologický nástroj. Je k dispozici zájemcům o tvorbu Vašulkových, kteří kromě vyhledávání v digitálním archivu chtějí zkoumat jejich tvorbu z hlediska tematických i formální leitmotivů, tedy ikonografii jejich tvorby.

Výzkumně aplikační projekt Media Art Live archive: Inteligentní rozhraní pro interaktivní zprostředkování kulturního dědictví (TL02000270, 2019–2022), zkráceně MALA, byl řešen ve spolupráci Ústavu hudební vědy Filozofické fakulty Masarykovy univerzity a Ústavu elektrotechniky Fakulty elektrotechniky a komunikačních technologií Vysokého učení technického v Brně. Jeho realizace byla částečně finančně podpořena Technologickou agenturou České republiky v programu ÉTA. Aplikačními partnery projektu bylo Centrum umění nových médií – Vašulka Kitchen Brno a Dům umění města Brna, dodatečně se do projektu zapojila Galerie TIC.

Mezi hlavní výstupy projektu patří tři softwary. Můžete mi prosím vysvětlit, jak fungují a co umí?

Hlavními výstupy projektu jsou z hlediska technologických inovací tři softwary, z toho dvě neuronové sítě a jeden web. Natrénovali jsme umělé neuronové sítě pro automatické rozpoznání vizuálních a zvukových objektů v díle Vašulkových, které jsou zveřejněny na serveru GitHub v režimu open access. Jejich výstupy jsou integrovány do webu VasulkaLiveArchive.net tak, aby uživatelům sloužily simultánně, jako audiovizuální nástroj. Toto propojení výstupů práce dvou specializovaných softwarů v jediném rozhraní považuji za velice přínosné, protože umožňuje s vysokou mírou exaktnosti studovat vztahy mezi vizuální a akustickou složkou uměleckých videí.

Není to však jediná přidaná hodnota unikátního designu webu Vašulka Live Archive. Jeho uživatelé mohou například vybírat z menu, které kategorie chtějí zkoumat (jednotlivě i v kombinacích) a definovat si míru jejich výskytu ve videích, a to v rozsahu od jednoho do sta procent; mohou studovat tvorbu Vašulkových napříč archivem nebo se ponořit do studia jediného videa, přičemž mají k dispozici vizualizaci toho, co v daný moment „vidí" a „slyší" v příslušném videu neuronové sítě. A ve výčtu funkcí webu bych mohla dál pokračovat. Raději však odkážu zájemce na web, kde si mohou všechno sami vyzkoušet.

doc. Mgr. Jana Horáková, Ph.D.

zástupkyně vedoucího ústavu – Ústav hudební vědy

Působí v Ústavu hudební vědy Filozofické fakulty Masarykovy univerzity, kde je garantkou magisterského studijního programu Teorie interaktivních médií a doktorského programu Digitální kultura a kreativní průmysly. Věnuje se výzkumu umění nových médií a výzkumu vztahu mezi živým uměním a médii jeho archivace a zprostředkování. V letech 2019–2022 stála v čele řešitelského týmu projektu Media Art Live Archive, který zkoumal potenciál využití strojového učení a hlubokých neuronových sítí při analýze audiovizuálních děl.

Fotografie z výstavy Vasulka Live Archive / Interfaces, foto: Barbora Trnková

Jak jste při jejich tvorbě postupovali?

Nejdříve jsme museli zpracovat obsah, v té době neuspořádaného, digitálního archivu, který obsahoval nejen videa, ale i fotografie a textové dokumenty různého typu a od různých autorů. Zjistili jsme, že výhodou i nevýhodou digitálních médií je, že je až příliš snadné tvořit kopie. Takže jsme se vyrovnávali s velkou mírou duplicit a verzí různých videí. I v tom nám ale pomáhala spolupráce s kolegy z VUT, kteří automatizovaně vyhledali všechny soubory typu videí. Podle velikosti souboru jsem zase mohli odhadnout, která verze videa je delší, a tedy pravděpodobně úplnější. Z různých verzí videí jsme nakonec vybrali pokud možno úplné verze videí v nejlepší možné kvalitě, jež byly umístěny do databáze webu VasulkaLiveArchive.net.

Kromě toho jsme definovali kategorie vizuálních a zvukových motivů, které se neuronové sítě musely naučit. Vycházeli jsme přitom ze studia literatury o tvorbě Vašulkových a z vlastní analýzy videí. Využili jsme rovněž teoretické pojmy významných teoretiků umění videa – Petera Weibela a Rosalind Kraussové. Uživatelé webu mohou aplikovat základní pojmy jejich obecně uznávaných definic umění videa na tvorbu Vašulkových a experimentálně tak ověřit jejich platnost.

Je paradoxní, kolik lidského úsilí vyžaduje naprogramování umělé inteligence, kolem které se šíří poplašné zprávy o tom, že nás v práci nahradí. S „otagováním“ trénovacího datasetu nám pomáhali studentky a studenti programu Teorie interaktivních médií, jejichž jména jsou uvedena na stránce Vasulka Live Archive - Credits.

V poslední fázi projektu jsme řešili design webového rozhraní. Inspirací pro nás byly zejména dva weby. Selfieexploratory z dílny Lva Manoviche, u něhož jsme ocenili unikátní rozhraní, které nabízí uživatelům možnost nastavit si parametry vyhledávání v širokém rozsahu, podle vlastních badatelských potřeb. A Activation Atlas, jehož tvůrci vytvořili rozhraní, jež dává nahlédnout do spodních vrstev umělých neuronových sítí, kde se odehrávají procesy strojové analýzy, s cílem posílit všeobecnou mediální gramotnost o umělé inteligenci. Vizualizaci strojového vidění" jsme uplatnili zejména na úvodní straně webu, v části Machine Vision. Chtěli jsme tím vzdát poctu Vašulkovým, které strojové vidění celoživotně fascinovalo. Toto téma zpracovali například v instalacích Allvision (1975)Machine Vision (1978), v nichž se snažili překonat omezení lidského oka a perspektivy s pomocí opticko-kinetické aparatury. Mimochodem, motiv strojového vidění v tvorbě Vašulkových je také možné studovat na našem webu.

Do projektu byly zapojeny i další instituce. Jaká byla jejich role?

Do projektu byly zapojeno několik partnerů: Centrum umění nových médií – Vašulka Kitchen Brno, Dům umění města Brna a Galerie TIC. Ráda bych poděkovala hlavně Centru umění nových médií – Vašulka Kitchen Brno, které nám velkoryse poskytlo dataset s tvorbou Vašulkových bezprostředně poté, co jej získalo do užívání, a vytvořilo prostor ve svém výstavním plánu pro realizaci výstavy VašulkaLiveArchive/Interfaces. Dům umění nám dovolil realizovat videomapping na fasádu přední strany budovy, který ukázal, jak je možné neuronové sítě zapojit do kreativní tvorby typu remake či remix. Videozáznam (z dílny CIT FF MU) je k dispozici zde. Od Domu umění jsme získali rovněž podporu pro náš výjezd na festival Ars Electronica, kde byl projekt Vašulka Live Archive prezentován v roce 2022.

Třetím partnerem byla Galerie TIC. S tou jsme realizovali vedlejší a experimentálnější projekt inspirovaný zkušeností pandemie Covid-19. S využitím umělé inteligence v roli nelidského kurátora jsme uspořádali online výstavu uměleckých děl vzniklých v době pandemie obohacenou o dokumentaci každodennosti zapojených umělců a umělkyň s názvem Černá skříňka/Black Box. V tomto případě byla umělá inteligence aplikována metodou učení bez učitele" a její výstupy byly rámovány sci-fi, postapokalyptickým narativem, kdy AI jako mimozemšťan (alien) objeví černou skříňku obsahující stopy lidské existence a snaží se v ní svým způsobem zorientovat, aby pochopila něco o nás a naší civilizaci.

Fotografie z výstavy Vasulka Live Archive / Interfaces, foto: Barbora Trnková

Jaké jsou další výstupy z projektu?

Vedle hlavního výstupu v podobě webu VasulkaLiveArchive.net jsme vytvořili výstavní triptych VasulkaLiveArchive / Interfaces, který zahrnuje videomapping na fasádu Domu umění, web-epistemologické rozhraní a jeho verzi pro virtuální realitu.

V případě projektu Black Box jsme kromě online výstavy realizovali cyklus tří mezinárodních online symposií Curating online (ČERNÁ SKŘÍŇKA — SYMPOZIUM 3 (cerna-skrinka.cz)) a vydali knihu The Black Box Book (The Black Box Book. Archives and Curatorship in the Age of Transformation of Art Institutions | FF | Munispace – čítárna Masarykovy univerzity) věnovanou online kurátorství, v níž se myslím zcela poprvé objevily kapitoly o AI kurátorství, z nichž několik bylo věnováno českým projektům. Výsledky výzkumu byly postupně publikovány a prezentovány na mezinárodních i domácích fórech a platformách. Všechny jsou dohledatelné zde.

Jaký je přínos dosažených výsledků pro oblast audiovizuálního umění?

Výsledky projektu jsou přínosné vzhledem k využití inovativní výzkumné metody zahrnující práci s umělou inteligencí při zpracování archivu uměleckých videí. Tyto parametry řadí náš projekt do oblasti digitálních humanitních věd, konkrétně do rodiny projektů naplňujících vizi „živého archivu“ („animated" nebo „live archive“), které spojuje využívání technických inovací při zpracování digitalizovaných uměleckých sbírek.

Stejně velký přínos projektu spatřuji ve zpracování podstatné části archivu Vašulkových, konkrétně audiovizuálních záznamů jejich umělecké tvorby, a ve zprostředkování popsaných uměleckých videí mezinárodní veřejnosti na webu VasulkaLiveArchive.net, čímž jsme obohatili uměnovědný a historiografický výzkumu mediálního umění. Přispěli jsme také do oblasti softwarového kurátorství, a to vývojem dvou AI kurátorských agentů: AI kurátora sbírky Vašulkových, zaměřeného na vyhledávání opakujících se motivů v jejich tvorbě, a figurou nelidského AI kurátora v případě projektu Black Box.

Já osobně jsem kromě výše řečeného ocenila možnost zkoumat umělou inteligenci v jejích hraničních projevech a poznat tak z blízka, jak funguje, kde jsou její silné stránky a limity. Lépe se mi potom hodnotí umělecká díla využívající AI z hlediska technické inovativnosti. Další přínos spatřuji v možnosti ověřit si hypotézu, kterou se dlouhodobě zaobírám, a to, že bychom měli vyvíjet metodologický aparát speciálně pro studium digitálního umění a kultury, který bude integrovat práci uměnovědců a technických profesí. Jedině tak budeme schopni uchovat digitální umění jako živou součást našeho kulturního dědictví a studovat digitální umělecká díla v jejich komplexnosti, kterou můžeme ocenit pouze tehdy, pokud jsme schopni propojovat technické a uměnovědné znalosti.

 

Fotografie z výstavy Vasulka Live Archive / Interfaces, foto: Barbora Trnková

Více článků

Přehled všech článků

Používáte starou verzi internetového prohlížeče. Doporučujeme aktualizovat Váš prohlížeč na nejnovější verzi.