Comixify – polska sztuczna inteligencja do zmiany filmów w komiksy

Michał Tomaszkiewicz
03.01.2019 14:57
Comixify – polska sztuczna inteligencja do zmiany filmów w komiksy

Podczas gdy Disney zarabia na przerabianiu komiksów Marvela na filmy, polscy naukowcy żyją już w przyszłości – na Politechnice warszawskiej stworzono Comixify, narzędzie do automatycznego tłumaczenia wideo na powieści graficzne. Producenci filmowi i wydawnictwa już ustawiają się w kolejki.

Comixify to przykład na to, do czego może być zdolna sztuczna inteligencja. Narzędzie jest w stanie przeanalizować pokazany mu materiał wideo, korzystając z algorytmu rozwijanego dzięki metodzie uczenia ze wzmocnieniem (Reinforcement Learning). Nauczono go rozpoznawania klatek, które są reprezentatywne do przekazywanej historii oraz „prezentują najwyższy potencjał estetyczny i mają największą szansę na popularność”

Gdy wiadomo już, które kadry znajdą się w generowanym komiksie, przychodzi czas na narysowanie ich w odpowiednim stylu.

W tym celu naukowcy wdrażają generatywny model sieci neuronowych typu GAN. GAN to technika uczenia maszynowego za pomocą dwóch różnych sieci: generatora i dyskryminatora. Podczas trenowania algorytm otrzymuje dane (np. obrazki), które generator wykorzystuje do tworzenia nowych instancji danych. Dyskryminator zaś ma na celu sprawdzenie, czy instancja pochodzi z zestawu danych treningowych (prawdziwych), czy wygenerowanych przez sieć generatora (fałszywych). Proces trwa do momentu, w którym generator będzie tworzył instancje tak podobne do zestawu treningowego, że dyskryminator nie będzie już w stanie stwierdzić różnicy.

Comixify z Politechniki Warszawskiej tworzy komiksy na podstawie filmów

W obecnej formie Comixify tworzy komiksy nieme – twórcy zapowiadają jednak rozbudowanie jego możliwości o moduł rozpoznający mowę, dzięki któremu można będzie tworzyć dymki z odpowiednimi kwestiami.

Comixify jest otwarte dla wszystkich chętnych – możliwości polskiego narzędzia można sprawdzić, odwiedzając witrynę comixify.ii.pw.edu.pl. Można eksperymentować wgrywając własny film (o ile nie waży więcej niż 50 MB), bądź też podrzucając linka do publikacji w serwisie YouTube - do wyboru jest kilka opcjo wpływających w widoczny sposób na rezultat końcowy.

comixify_02 Fot. foto: Comixify

Jest się czym interesować – jak chwalą się autorzy narzędzia, „twórcy otrzymali liczne wiadomości od zainteresowanych rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych”.

Comixify stworzyli studenci Wydziału Elektroniki i Technik Informacyjnych Politechniki Warszawskiej: inż. Maciej Pęśko, Adam Svystun i inż. Paweł Andruszkiewicz pod opieką naukową pracowników Zakładu Grafiki Komputerowej Instytutu Informatyki: prof. dr. hab. inż. Przemysława Rokity i dr. inż. Tomasza Trzcińskiego.

Michał Tomaszkiewicz Redaktor antyradia
Polub Antyradio na Facebooku
CZYTAJ TAKŻE
Logo 18plus

Ta strona zawiera treści przeznaczone tylko dla dorosłych jeżeli nie masz ukończonych 18 lat, nie powinieneś jej oglądać.