Comixify – polska sztuczna inteligencja do zmiany filmów w komiksy
Obserwuj w Google
Podczas gdy Disney zarabia na przerabianiu komiksów Marvela na filmy, polscy naukowcy żyją już w przyszłości – na Politechnice warszawskiej stworzono Comixify, narzędzie do automatycznego tłumaczenia wideo na powieści graficzne. Producenci filmowi i wydawnictwa już ustawiają się w kolejki.
Comixify to przykład na to, do czego może być zdolna sztuczna inteligencja. Narzędzie jest w stanie przeanalizować pokazany mu materiał wideo, korzystając z algorytmu rozwijanego dzięki metodzie uczenia ze wzmocnieniem (Reinforcement Learning). Nauczono go rozpoznawania klatek, które są reprezentatywne do przekazywanej historii oraz „prezentują najwyższy potencjał estetyczny i mają największą szansę na popularność”
Gdy wiadomo już, które kadry znajdą się w generowanym komiksie, przychodzi czas na narysowanie ich w odpowiednim stylu.
W tym celu naukowcy wdrażają generatywny model sieci neuronowych typu GAN. GAN to technika uczenia maszynowego za pomocą dwóch różnych sieci: generatora i dyskryminatora. Podczas trenowania algorytm otrzymuje dane (np. obrazki), które generator wykorzystuje do tworzenia nowych instancji danych. Dyskryminator zaś ma na celu sprawdzenie, czy instancja pochodzi z zestawu danych treningowych (prawdziwych), czy wygenerowanych przez sieć generatora (fałszywych). Proces trwa do momentu, w którym generator będzie tworzył instancje tak podobne do zestawu treningowego, że dyskryminator nie będzie już w stanie stwierdzić różnicy.
Comixify z Politechniki Warszawskiej tworzy komiksy na podstawie filmów
W obecnej formie Comixify tworzy komiksy nieme – twórcy zapowiadają jednak rozbudowanie jego możliwości o moduł rozpoznający mowę, dzięki któremu można będzie tworzyć dymki z odpowiednimi kwestiami.
Comixify jest otwarte dla wszystkich chętnych – możliwości polskiego narzędzia można sprawdzić, odwiedzając witrynę comixify.ii.pw.edu.pl. Można eksperymentować wgrywając własny film (o ile nie waży więcej niż 50 MB), bądź też podrzucając linka do publikacji w serwisie YouTube - do wyboru jest kilka opcjo wpływających w widoczny sposób na rezultat końcowy.
Jest się czym interesować – jak chwalą się autorzy narzędzia, „twórcy otrzymali liczne wiadomości od zainteresowanych rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych”.
Comixify stworzyli studenci Wydziału Elektroniki i Technik Informacyjnych Politechniki Warszawskiej: inż. Maciej Pęśko, Adam Svystun i inż. Paweł Andruszkiewicz pod opieką naukową pracowników Zakładu Grafiki Komputerowej Instytutu Informatyki: prof. dr. hab. inż. Przemysława Rokity i dr. inż. Tomasza Trzcińskiego.
