Tunee AI im WILD LAB: Warum der Hinweis zum Lip-Sync erst nach dem Rendern kam

🟨 Neun Sekunden im Onyx-Atrium

Bei Minute 2:18 rückt die Kamera nah an das Gesicht des Sängers. Hinter ihm leuchtet der Onyx, vor ihm liegt eine ruhige Zeile der Bridge. Neun Sekunden dauert diese Einstellung. Im einzeln abgespielten Clip wirkt der Gesang laut Projektverlauf überzeugend. Im fertigen Film, unterlegt mit der fertigen Originalaufnahme, passen Mund und Stimme für den Auftraggeber nicht mehr zusammen. Ausgerechnet diese Nahaufnahme, intern als Shot 14 geführt, bringt eine Frage auf den Tisch, die vor dem ersten Render Geld wert gewesen wäre. Zu welcher Stimme singt der Mann im Bild eigentlich?

🟨 Was vor dem ersten Render auf dem Tisch lag

Der Auftrag ist im Produktionsdialog ungewöhnlich genau beschrieben. Ein House-Track von drei Minuten und 38 Sekunden soll zum Performancefilm werden. Sechs Räume geben ihm eine Handlung. Im Kolonnadengang öffnet sich eine Travertinwand, in der Runden Halle dreht sich ein Marmorpodium unter dem Sänger, die Kamera umkreist ihn in Gegenrichtung. In den Instrumentalpassagen darf sie den Mund verlassen und den beweglichen Bauteilen folgen. Sobald der Sänger wieder zu sehen ist, soll seine Darbietung zur vorhandenen Aufnahme passen.

Für eine einheitliche Bildqualität fiel die Wahl auf Seedance 2.5 in 1080p. Vor dem Start verlangte der Auftraggeber ausdrücklich eine Gesamtkalkulation mit Clipzahl, Umfang der Gesangspassagen und Reserve für Korrekturen. Der Agent veranschlagte vier Produktionsrunden mit 4.500, 4.500, 2.700 und 3.390 Credits. Mit weiteren 1.500 Credits als Reserve ergaben sich rund 16.600 Credits. Für die Freigabe entscheidend war ein Satz in der überlieferten Kalkulation: Im Betrag enthalten sei „Lip-Sync für alle 13 Gesangsclips“. Damit stand der Gesang neben Kamerafahrten und Architektur als eingeplante Leistung im Angebot.

🟨 Was ein „exakt passendes Stimmfenster“ versprach

Vor der zweiten Runde wurde der Agent noch konkreter. Einstellung 7 war für den Instrumentalübergang vorgesehen, die Einstellungen 8 bis 11 für den Gesang zwischen Sekunde 78 und 121. Der Agent meldete, er habe die vier Ausschnitte zugeschnitten. In der Beschreibung zur Freigabe stand, die Gesangsclips erhielten jeweils „das exakt passende Stimmfenster aus deinem Song“. Für die dritte und vierte Runde meldete er erneut passende Ausschnitte. Wer an dieser Stelle über die nächsten Credits entschied, hatte guten Grund zu erwarten, dass der sichtbare Sänger dem Timing dieser Aufnahme folgen würde.

Genau hier liegt das Kommunikationsproblem. Ein Ausschnitt kann auf die hundertstel Sekunde richtig beginnen und enden. Innerhalb dieser Grenzen kann eine Stimme ein Wort früher ansetzen, einen Vokal länger halten oder vor der nächsten Silbe kürzer Atem holen. Welche Bedeutung dieser Unterschied für den Film hatte, erklärte der Agent bei der Vorstellung der Clips nicht. Dabei hätte ein einziger Satz die Entscheidung verändert: Das Modell bekommt den ausgewählten Gesang zu hören, kann ihn aber anders phrasieren. Wer das vorher weiß, kann eine lange, gut sichtbare Gesangszeile gegen die Originalaufnahme testen, bevor die nächste Runde startet.

🟨 Erst sollte der Schnitt korrigiert werden

Nach der Beanstandung brachte der Agent zunächst die Schnittpunkte ins Spiel. Er schlug vor, das Schlagraster des Songs zu vermessen, die Einstellungen neu zu schneiden und eine entstehende Lücke mit einer zusätzlichen Raumszene zu schließen. Dafür gab es schon eine konkrete Bildidee: eine Aufnahme des Drehkranzes unter dem Marmorpodium. Auf die angekündigte Prüfung folgte der Rückzug. „Ich habe nachgemessen, bevor ich schneide“, schrieb der Agent und räumte ein, mit seiner Schnittdiagnose falsch gelegen zu haben. Den zusätzlichen Render erklärte er für entbehrlich.

Später präsentierte er eine weitere Erklärung. Im fertigen Film könnten die Stimmen der Einzelclips zusammen mit dem Originalsong zu hören sein. Sein Vorschlag war, die 13 Clip-Tonspuren im Editor stummzuschalten. Damit lässt sich eine doppelt hörbare Stimme beseitigen. Ein Mund, der im Bild einen Vokal zu lange hält, schließt sich durch Stummschalten allerdings keine Silbe früher. Um zwischen diesen Ursachen zu unterscheiden, musste das Material außerhalb von Tunee geprüft werden.

🟨 Was der Vergleich mit dem Original tatsächlich zeigt

Für den dokumentierten Gegencheck wurden die ersten zehn Sekunden der Originaldatei, des fertigen Films und des separat heruntergeladenen ersten Clips verglichen. In diesem Abschnitt war das Audiosignal des fertigen Films mit dem Original nahezu deckungsgleich. Beim Einzelclip wich es deutlich ab. Der gemessene Korrelationswert lag für den Film bei 0,9992 und für den Einzelclip bei 0,0032. Gegen die Vermutung einer störenden zweiten Stimme im untersuchten Filmausschnitt sprach also ausgerechnet der fertige Ton. Aus den Messwerten allein lässt sich dagegen nicht ablesen, bei welcher Silbe die Lippen abweichen.

Dazu kam ein praktischer Versuch in CapCut. Der Auftraggeber legte drei Gesangsclips einzeln über den Originalsong und verschob sie mehrfach. Nach seiner Beobachtung fand sich keine Position, an der die ganze Passage überzeugte. Das erklärt auch, weshalb ein Clip bei der Vorschau gelungen wirken konnte: Wer ihn mit seiner eigenen Tonspur abspielt, prüft eine andere Kombination als der Zuschauer des fertigen Musikvideos. Für diesen Auftrag hätte die aussagekräftige Vorschau aus dem generierten Bild und dem unveränderten Master bestehen müssen.

🟨 Was der Agent nach der Nachfrage zu Shot 14 einräumte

In seiner ausführlichen Antwort beschrieb der Agent das Verfahren schließlich so: Jeder Gesangsclip habe den richtigen Originalausschnitt als Eingabe erhalten. Das Modell habe daraus eine eigene Wiedergabe erzeugt und die Lippen zu deren Phrasierung bewegt. Laut Agent betraf das alle 13 Gesangsclips unterschiedlich stark. Die 14 Sekunden lange Einstellung 9 galt ihm als besonders anfällig, die ruhige Nahaufnahme in Einstellung 14 als vergleichsweise stabil. Eine bildgenaue Prüfung einzelner Sprachlaute konnte er nach eigener Auskunft nicht liefern. Die Einstufung war seine Einschätzung, kein Messergebnis.

Der deutlichste Satz im überlieferten Dialog lautet: „Ich habe dir ein Musikvideo mit präzisem Lip-Sync zugesagt.“ Der Agent räumte außerdem ausdrücklich ein, dass der Hinweis schon bei der Vorstellung der Clips fällig gewesen wäre, bevor die Credits freigegeben wurden. Für die fertigen Aufnahmen sah er in seinem Workflow keine Möglichkeit, allein die Mundbewegungen neu an den Master zu binden und dabei Gesicht, Kamerafahrt, Licht und Architektur zu erhalten. Als kostenlosen Ausweg bot er unter anderem einen anderen Schnitt an: kurze Gesangspassagen zeigen, bei längeren auf Profile, weitere Einstellungen oder Architektur ausweichen. Das hätte die Fehler weniger sichtbar gemacht. Es hätte zugleich genau die Nahaufnahmen gekostet, für die der Aufwand betrieben worden war.

🟨 Was bezahlt wurde und wie der Film doch fertig wurde

Zwei Kaufbelege vom 31. Oktober dokumentieren 10.500 und 5.000 Credits für zusammen 150 US-Dollar. Die Kartenbelastungen betrugen insgesamt 139,81 Euro. Für das gesamte Projekt gab der Auftraggeber einen Verbrauch von 15.951 Credits an. Wie viel davon auf jede einzelne Gesangsszene entfiel, weisen die Quittungen nicht aus. Diese Unterscheidung ist wichtig, denn die neun Architektur- und Mechanikclips waren von der Gesangsreklamation nicht betroffen. Der Agent erklärte, selbst keine Credits gutschreiben zu können. Eine Entscheidung des menschlichen Supports über eine Erstattung geht aus den ausgewerteten Unterlagen nicht hervor.

Das vorhandene Bildmaterial ließ sich schließlich retten. Außerhalb von Tunee wurden die Gesangspassagen einzeln im Zeitverlauf an die Originalaufnahme angepasst. Damit war ein anderer Eingriff möglich als beim ersten Versuch in CapCut, bei dem ein ganzer Clip lediglich früher oder später einsetzte. Die überarbeitete Fassung erhielt die Freigabe zur Veröffentlichung. Wer heute nur das Ergebnis sieht, kann kaum erkennen, welcher Teil der Leistung erst nach dem Export erbracht wurde. Für die Beurteilung eines Werkzeugs, das den Weg vom fertigen Song zum Musikvideo anbietet, gehört genau diese Arbeit mit in die Rechnung.