Dlaczego systemy AI do analizy filmów wciąż mają trudności ze zrozumieniem wytycznych kreatywnych
Dyrektor kreatywny może obejrzeć wstępny montaż i stwierdzić, że wydaje się on zbyt chłodny, zbyt powolny lub niewystarczająco ekskluzywny, a doświadczony montażysta zazwyczaj rozumie, że nie jest to dosłowna instrukcja. Może to oznaczać zmianę rytmu, wybór bardziej intymnej gry aktorskiej, ograniczenie wizualnego bałaganu lub przedłużenie jednego ujęcia o pół sekundy. System wideo oparty na sztucznej inteligencji nie jest jednak w stanie niezawodnie wywnioskować tego wszystkiego wyłącznie na podstawie gustu, dlatego głównym problemem w dziedzinie generatywnego wideo nie jest po prostu jakość obrazu, ale komunikacja. Modele coraz lepiej radzą sobie z generowaniem kinowych ruchów, syntetycznych dialogów, efektów wizualnych i krótkich sekwencji na podstawie tekstu, obrazów lub klipów referencyjnych, jednak twórcy nadal muszą przekładać pomysły o charakterze emocjonalnym, kontekstowym i częściowo intuicyjnym na konkretne instrukcje dotyczące tematu, akcji, scenerii, kamery, oświetlenia, czasu trwania i tonu.
Gdy to przekształcenie nie powiedzie się, technologia może stworzyć materiał, który wygląda na dopracowany, ale pozostaje bezużyteczny. Produkt porusza się nieprawidłowo, twarz rzecznika zmienia się między ujęciami, ruch kamery wydaje się sztuczny lub film wizerunkowy wygląda imponująco pod względem wizualnym, ale nie przekazuje zamierzonego przesłania. Wynik ten niekoniecznie oznacza porażkę pod względem technicznym. Jest to porażka w zakresie spójności kreatywnej.
Scenariusz wideo to tak naprawdę brief produkcyjny
Funkcja „tekst na wideo” jest często przedstawiana tak, jakby użytkownik opisał pomysł i otrzymał gotowy film. W praktyce przydatna instrukcja przypomina raczej skondensowaną specyfikację produkcyjną, ponieważ musi określać główny temat, przebieg akcji, otoczenie, pozycję kamery, charakter obiektywu, ruch, oświetlenie, styl wizualny oraz ton emocjonalny. Gdy wraz z obrazem generowany jest dźwięk, twórca może również musieć określić dialogi, dźwięki otoczenia, muzykę oraz czas trwania poszczególnych wydarzeń.
Oficjalne wytyczne Google dotyczące tworzenia treści dla Veo zalecają opisywanie kadrowania, ruchu kamery, stylu, oświetlenia, postaci i lokalizacji, zamiast opierania się na niejasnych zdaniach narracyjnych. Veo 3.1 może również generować filmy z dźwiękiem, co zwiększa możliwości twórcze, ale wiąże się z koniecznością spójnego kierowania kolejnym elementem.
“Stwórz elegancki filmik przedstawiający kobietę wchodzącą do hotelu” – to zadanie sprawia trudności niemal każdemu, kto ma coś do powiedzenia w tej dziedzinie decyzja dotycząca modelu. Wersja gotowa do wdrożenia byłaby bardziej precyzyjna:
Taki poziom szczegółowości nie gwarantuje właściwego wyniku, ale zawęża pole interpretacyjne i zapewnia modelowi coś, co bardziej przypomina wskazówki reżyserskie.
Model nie uwzględnia kontekstu twórcy
Ludzie pracujący nad projektem gromadzą wiedzę w trakcie jego realizacji. Rozumieją oni wrażliwe kwestie klienta, cel kampanii, wcześniejsze decyzje kreatywne oraz materiały, które zostały już odrzucone. Model wideo zazwyczaj widzi jedynie informacje dostarczone w bieżącej iteracji, chyba że produkt pozwala na zachowanie kontekstu projektu lub zasobów referencyjnych. Nie wie on automatycznie, że “nowoczesny” oznacza raczej powściągliwość redakcyjną niż futurystyczną grafikę, ani że “pewny siebie” nie powinien przekształcać się w agresywny.
Właśnie dlatego pozornie proste prośby mogą dawać tak zróżnicowane wyniki. Słowa takie jak „wyrafinowany”, „autentyczny”, „dynamiczny” czy „filmowy” opisują raczej szerokie kategorie estetyczne niż dokładne wytyczne produkcyjne. Bardziej spójny proces pracy rozróżnia trzy warstwy: cel komunikacyjny, system twórczy oraz instrukcję realizacji. Pierwsza z nich określa, co widz powinien zrozumieć, poczuć lub zrobić. Druga definiuje świat wizualny, styl wykonania i rytm, które powinny wywołać tę reakcję. Trzecia opisuje, co powinno fizycznie pojawić się i wydarzyć się w jednym konkretnym ujęciu.
Na przykład w przypadku kampanii dotyczącej spraw publicznych celem może być sprawienie, by rzecznik ds. polityki sprawiał wrażenie kompetentnego i przystępnego. System kreatywny może opierać się na naturalnym świetle dziennym, realistycznych sceneriach publicznych oraz spokojnym, bezpośrednim sposobie wypowiedzi. Instrukcja generowania opisywałaby wówczas jedno konkretne ujęcie, zamiast prosić model o “sprawienie, by polityk budził zaufanie”. Sztuczna inteligencja może przedstawiać wizualne sygnały kojarzone z zaufaniem, ale nie jest w stanie określić, czy odbiorcy rzeczywiście zaufają tej osobie.
Spójność nadal stanowi problem produkcyjny
Udany pięciosekundowy klip niekoniecznie stanie się udanym 60-sekundowym filmem, ponieważ dłuższe materiały wymagają spójności w zakresie postaci, przedmiotów, strojów, lokalizacji, oświetlenia i ruchu. Osoba, która w jednym ujęciu wygląda przekonująco, w następnym może pojawić się z inną twarzą, w innym wieku lub o innej sylwetce, podczas gdy produkt może zmienić proporcje lub etykietę, a relacje przestrzenne między postaciami mogą stać się niestabilne.
Obecne platformy próbują rozwiązać ten problem, zapewniając twórcom większą kontrolę opartą na materiałach referencyjnych. Funkcja „Gen-4 References” serwisu Runway pozwala użytkownikom przenosić cechy, style, postacie i obiekty z jednego lub kilku obrazów do nowych generacji. Podobnie firma Adobe umożliwia twórcom kierowanie generowaniem wideo za pomocą obrazów, a w niektórych procesach pracy – za pomocą zdefiniowanych klatek początkowych i końcowych. Jej narzędzia Firefly są w coraz większym stopniu ukierunkowane na tworzenie krótkich klipów, materiału uzupełniającego (B-roll), animacji produktów oraz elementów wizualnych, które można następnie wykorzystać w ramach szerszego procesu montażu.
W praktyce oznacza to, że twórcy powinni przestać traktować każdy klip jako odrębną wskazówkę. Skuteczniejszy proces polega na przygotowaniu pakietu materiałów referencyjnych przed rozpoczęciem generowania, zawierającego zatwierdzone wizerunki postaci, ujęcia produktów, garderobę, paletę kolorów, stylizację ujęć, lokalizacje oraz przykłady niedopuszczalnych wyników. System otrzymuje materiały wizualne, zamiast być zmuszonym do ciągłego odtwarzania tego samego świata na podstawie tekstu.
Redagowanie i tworzenie to różne umiejętności
Tradycyjna edycja rozpoczyna się od gotowego materiału. Montażysta decyduje, co w nim uwzględnić, jak go uporządkować oraz jak kontrolować tempo, dźwięk i akcenty. W przypadku wideo generatywnego pojawia się dodatkowe zadanie, ponieważ sam materiał musi najpierw zostać stworzony lub przekształcony. Czynności te nakładają się na siebie, ale nie należy ich mylić.
Model może wygenerować atrakcyjne wizualnie ujęcie, nie rozumiejąc, czy przyczynia się ono do rozwoju fabuły, i może stworzyć kilka prawdopodobnych wariantów, nie wiedząc, który z nich wspiera strategię komunikacyjną. Dlatego właśnie sztuczna inteligencja jest obecnie najbardziej przydatna, gdy wypełnia konkretne luki w tradycyjnym procesie pracy. Zespół ds. komunikacji może wykorzystać ją do stworzenia nastrojowego ujęcia otwierającego, wizualizacji scenariusza przed zleceniem produkcji, dostosowania zdjęcia produktu do mediów społecznościowych lub uzupełnienia mniej istotnego ujęcia, którego nakręcenie byłoby nieproporcjonalnie kosztowne.
Technologia ta staje się mniej niezawodna, gdy wymaga się od niej podjęcia wszystkich decyzji redakcyjnych naraz. Polecenie “Przekształć ten scenariusz w efektowny film wizerunkowy” jest zbyt ogólne, ponieważ narzędzie musi jednocześnie zinterpretować hierarchię narracyjną, tożsamość wizualną, kompozycję ujęć, grę aktorską, tempo akcji oraz reakcję odbiorców. Profesjonalnym rozwiązaniem jest podzielenie pracy na etapy i powierzenie sztucznej inteligencji wyłącznie tej części, którą jest w stanie wykonać niezawodnie.
Kierunek twórczy nadal zależy od doboru
Wykorzystanie sztucznej inteligencji zmienia miejsce, w którym odbywa się praca twórcza. Być może poświęca się mniej czasu na tworzenie poszczególnych efektów, ale za to więcej czasu można przeznaczyć na wybieranie, odrzucanie i dopracowywanie różnych możliwości, co sprawia, że ocena staje się ważniejsza, a nie mniej istotna.
Twórca może nakręcić 20 ujęć, które są technicznie przekonujące, a mimo to nie uzyska spójnego filmu, ponieważ ktoś musi zdecydować, czy materiał filmowy jest zgodny z wizerunkiem marki, odpowiedni pod względem emocjonalnym i przydatny z punktu widzenia narracji. Osoba ta musi również mieć uprawnienia do wstrzymania dalszego kręcenia, gdy pomysł już się sprawdza. Nieograniczona różnorodność może stać się źródłem nieefektywności, gdy zespoły kontynuują poszukiwania tylko dlatego, że każda nowa opcja jest niedroga, unikając jednocześnie trudniejszej decyzji dotyczącej tego, co projekt powinien faktycznie przekazać.
Dlatego też w ramach usystematyzowanego procesu należy określić kryteria zatwierdzania jeszcze przed rozpoczęciem tworzenia materiału. Zespół powinien uzgodnić, co musi zachować spójność wizualną, jaką reakcję emocjonalną ma wywołać materiał, które szczegóły są niepodważalne z prawnego lub merytorycznego punktu widzenia, co sprawiłoby, że klip nie nadawałby się do wykorzystania oraz kto ma ostateczną władzę twórczą. Decyzje te zapobiegają sytuacji, w której produkcja zamienia się w niekończące się rozważanie różnych wariantów.
Poprawia się jakość redagowania tekstów w języku naturalnym
Interakcja między twórcą a oprogramowaniem nabiera coraz bardziej konwersacyjnego charakteru, umożliwiając użytkownikom zgłaszanie zmian za pomocą języka, zamiast ręcznej obróbki każdej klatki. Firma Adobe rozbudowała Firefly o funkcje precyzyjniejszej edycji i sterowania ruchem kamery, natomiast Sora firmy OpenAI obsługuje dane wejściowe w postaci tekstu, obrazów i filmów, a także umożliwia remiksowanie i łączenie istniejących materiałów.
Dzięki temu zaawansowane efekty wideo stają się bardziej dostępne, jednak nie należy mylić sterowania opartego na poleceniach z rozumieniem na poziomie ludzkim. Polecenie “Niech to będzie bardziej dramatyczne” może zmienić kontrast, ruch lub skalę bez poprawy przekazywanej treści, podczas gdy polecenie “Niech mówca wygląda na bardziej autorytatywnego” może skutkować wyrazem twarzy lub postawą, które sprawiają wrażenie sztywnych.
Użytkownicy nadal muszą określić, jaką konkretną zmianę chcą uzyskać. Zamiast prosić system, by “nadał temu bardziej ekskluzywny charakter”, twórca może polecić mu ograniczenie ruchu kamery, usunięcie zbędnych elementów z tła, spowolnienie ruchu obiektu, zmiękczenie jasnych obszarów oraz zatrzymanie końcowej klatki na jedną dodatkową sekundę. Druga wersja opiera się na edytowalnych zmiennych, a nie na abstrakcyjnych preferencjach estetycznych.
Dźwięk nadaje scenie kolejną warstwę orientacji
Dodanie generowanego dźwięku sprawia, że systemy wideo stają się bardziej użyteczne, ale też trudniejsze w reżyserowaniu. Veo 3.1 umożliwia generowanie materiału wideo z dźwiękiem, Runway oferuje procesy robocze łączące materiały referencyjne, ruch i zsynchronizowany dźwięk, a narzędzia firmy Adobe obejmują dubbing oparty na sztucznej inteligencji oraz tłumaczenie filmów na wiele języków.
Dla firm stwarza to praktyczne możliwości w zakresie lokalizacji, szkoleń, prezentacji produktów oraz treści społecznościowych. Firma może dostosować jeden materiał źródłowy do kilku rynków bez konieczności ponownego tworzenia całej produkcji, jednak lokalizacja to coś więcej niż tylko zamiana językowa. Zdanie, które brzmi naturalnie w języku angielskim, może być zbyt długie, by zmieścić się w tym samym czasie wyświetlania w języku niemieckim, podczas gdy bezpośredni, amerykański styl wypowiedzi może wydawać się przesadzony w kontekście szwajcarskiej firmy. Ruchy warg, pauzy, stopień formalności i ton kulturowy – wszystko to wpływa na wiarygodność przekazu.
Sztuczna inteligencja potrafi tłumaczyć i odtwarzać głos, ale lokalny specjalista ds. komunikacji musi nadal sam zdecydować, czy efekt brzmi odpowiednio dla odbiorców.
Ryzyko związane z marką i kwestie prawne należy uwzględnić na etapie produkcji
Wideo generowane algorytmicznie pozwala tworzyć postacie, produkty i sytuacje, które nigdy nie istniały, co oznacza, że weryfikacja i zarządzanie prawami muszą stać się częścią procesu produkcji, a nie jedynie końcową kontrolą prawną. Zespoły powinny ustalić, czy model może wykorzystywać wizerunek prawdziwej osoby, czy wygenerowany materiał wymaga ujawnienia oraz czy platforma zezwala na zamierzone wykorzystanie komercyjne. Klonowanie głosu, syntetyczni rzecznicy oraz realistyczne przedstawienia osób publicznych wymagają szczególnie rygorystycznego zatwierdzenia.
Firma Adobe przedstawia swój model Firefly Video jako przeznaczony do bezpiecznego wykorzystania w celach komercyjnych i wdraża system Content Credentials do swojego ekosystemu generatywnego, jednak każda organizacja musi nadal samodzielnie ocenić konkretny zasób, model, jurysdykcję oraz warunki umowy. Fakt, że platforma może wygenerować obraz, nie oznacza, że firma powinna go opublikować.
Zespoły ds. komunikacji korporacyjnej powinny również sprawdzać wygenerowane materiały filmowe pod kątem niezamierzonych twierdzeń dotyczących faktów. W syntetycznej scenie z fabryki mogą pojawić się niebezpieczne zachowania, obraz z sektora opieki zdrowotnej może przedstawiać niemożliwą do wykonania procedurę, a w filmie dotyczącym sektora publicznego mogą pojawić się elementy architektury, mundury lub wskazówki demograficzne, które fałszywie przedstawiają omawiane miejsce. Wizualna wiarygodność to nie to samo, co zgodność z faktami.
Lepsza metoda pracy
Najbardziej efektywny proces tworzenia filmów z wykorzystaniem sztucznej inteligencji rozpoczyna się jeszcze przed sformułowaniem polecenia. Zespół powinien najpierw określić cel komunikacyjny w jednym zdaniu, a następnie przygotować krótką specyfikację wizualną obejmującą grupę docelową, ton, styl, scenerię i ograniczenia. Następnie film można podzielić na poszczególne ujęcia, podejmując decyzję, które z nich należy nakręcić, nabyć na licencji, wygenerować lub stworzyć na podstawie istniejących materiałów.
Każde wygenerowane ujęcie powinno określać temat i akcję, lokalizację i czas, kadrowanie i ruch kamery, oświetlenie i styl wizualny, czas trwania i tempo, odniesienia dotyczące ciągłości oraz elementy zabronione. Zamiast wielokrotnie przepisywać całą koncepcję, twórcy powinni wygenerować kilka kontrolowanych wariantów, odnotować, które wytyczne, modele i materiały referencyjne posłużyły do stworzenia każdego zatwierdzonego klipu, a następnie przenieść wybrany materiał do środowiska montażowego, gdzie tempo, dźwięk, przejścia i narracja mogą zostać ocenione jako kompletne dzieło.
Ta dokumentacja ma znaczenie, ponieważ wyniki generatywne mogą być trudne do odtworzenia. Zespół, który nie potrafi wyjaśnić, w jaki sposób powstał zatwierdzony zasób, może mieć trudności z jego późniejszym zmodyfikowaniem.
Prawdziwą szansą jest lepsza komunikacja między ludźmi
Narzędzia wideo oparte na sztucznej inteligencji są często opisywane jako sposób na usunięcie barier technicznych między pomysłem a gotowym filmem. Rzeczywiście zmniejszają one niektóre bariery, ale jednocześnie ujawniają słabe punkty briefu. Gdy zespół nie może dojść do porozumienia co do tego, jak powinien wyglądać film wiarygodny, nowoczesny lub oddający ludzki wymiar, sztuczna inteligencja nie rozwiąże tej strategicznej niejasności. Po prostu wygeneruje różne interpretacje tego zagadnienia.
Organizacjami, które dobrze wykorzystują te systemy, nie będą te, które stosują najbardziej rozbudowane instrukcje. Będą to te, które potrafią jasno sformułować cel, wcześnie podjąć decyzje dotyczące strony wizualnej i wyznaczyć technologii ściśle określone zadania. Generatywne systemy wideo coraz lepiej radzą sobie z tworzeniem tego, o co się je prosi. Pozostaje jednak pytanie, czy ludzie zlecający im zadania dokładnie wiedzą, co chcą przekazać.
