Doktoritöös uuritakse visuaalmeediat masinnägemise kaudu
Suurte visuaalsete kogude – maalid, fotod ja muud visuaalmeedia vormid – analüüsimine on nende suuruse ning keerukuse tõttu teadlastele märkimisväärne proovikivi. Tillmann Ohm uuris Tallinna Ülikooli digitehnoloogiate instituudis valminud doktoritöös masinnägemise käsitlusi, kus visuaalne sarnasus on olulisem kui kategooriate määratlus.
Suured visuaalsed kogud, nagu maalid, fotod, joonistused ja muud visuaalmeedia vormid, pakuvad väärtuslikku teavet ajalooliste sündmuste, ühiskonnaelu ning kunstiväljenduse kohta. Need kogud on väga vajalikud, sest aitavad meil mõista, kuidas ühiskond loob ja kasutab pilte kultuurilise tähenduse kujundajana läbi aegade. Ometi on neid endiselt raske uurida, sest nad on väga suured, koosnedes sageli sadadest tuhandetest elementidest, ning keerukad ja mitmetahulised oma visuaalsete omaduste, sisu, konteksti ja metaandmete struktuuri poolest
.
Oma doktoritöös pakub Tillmann Ohm suurte visuaalsete kogude uurimiseks uut viisi. Nimelt kasutab ta masinnägemise objektiivi ega keskendu mitte pildile endale, vaid sellele, mida see meenutab. Selmet paigutada pilte kindlatesse kategooriatesse, organiseeritakse need kaartidena, mis põhinevad algoritmide tajutud visuaalsel sarnasusel. Tulemuseks on piltide matemaatilise kirjelduse kaudu genereeritud sarnasusruumid, kus kahe punkti vaheline kaugus näitab, kui sarnased need pildid on. Väitekirja keskne uurimisküsimus seisneb selles, kuidas inimesed ja masinad modelleerivad, tajuvad ning tõlgendavad visuaalset sarnasust.
Lõputöö peamine tulem on Collection Space Navigator – brauseripõhine kasutajaliides –, mis võimaldab teadlastel ja kuraatoritel uurida visuaalseid kogusid. Kahemõõtmelised sarnasuskaardid võimaldavad avatud, tõlgendavat uurimist, kuna need paljastavad mustreid, klastreid ja visuaalseid seoseid, mida on traditsiooniliste metaandmete või märksõnapõhiste meetodite abil üldiselt keeruline tuvastada. Kasutajaliides toetab interaktiivset navigeerimist, filtreerimist ning eri mudelite ja meetodite võrdlemist. Seega saab liidest kohandada paljude uurimisküsimuste ja kogutüüpide jaoks. See loob silla arvutusanalüüsi ja inimliku kultuuritõlgenduse vahel, võimaldades suuremahulist visuaalset uurimist.
Liidest Collection Space Navigator on kasutatud mitmesuguste kultuuripärandi kogude puhul ja lõimitud valdkondadevaheliste teadustööde töövoogudesse. Ühes peamises juhtumiuuringus analüüsiti üle 200 000 kaadri nõukogude kroonikafilmidest, et leida propagandafilmide pikaajalisi visuaalseid mustreid. Sarnaste piltide klastrid näitasid korduvaid motiive, näiteks lavastatud võimu stseenid Lenini mausoleumi ees, samas kui teised motiivid tooni poolest ajas muutusid, näiteks pika laua taga peetud ametlikud läbirääkimiste stseenid, mis kajastavad muutuvaid propagandastrateegiaid. Neid arenevaid ja püsivaid visuaalseid narratiive on raske vaatamise teel tuvastada, kuid need muutusid sarnasuse uurimisel nähtavaks.
Tillman Ohmi uurimus annab oma panuse kultuuriandmete analüüsi kasvavasse valdkonda. See võimaldab muuseumidel, teadlastel ja avalikkusel saada uusi teadmisi visuaalkultuurist, vaidlustades nii institutsioonilist kui ka algoritmilist autoriteeti, edendades valdkondade koostööd ning parandades meie arusaamist kultuurilistest narratiividest uuenduslike arvutusvahendite abil.
Tallinna Ülikooli digitehnoloogiate instituudi doktorant Tillmann Ohm kaitses oma väitekirja „Visuaalsete andmekogude sarnasusruumide analüüsi meetodite ja tööriistade disain“ ("Designing Processes And Tools to Research Similarity Spaces of Visual Collections") 11. juunil. Doktoritöö juhendaja oli Tallinna Ülikooli professor Maximilian Günther Schich. Oponendid olid Richmondi Ülikooli professor Lauren Tilton ja Max Plancki Inimarengu Instituudi professor Iyad Rahwan.