„Maxton Hall“ als Testlauf
Prime Video: KI soll Synchronfassungen natürlicher wirken lassen
Amazon startet bei Prime Video ein neues KI-Experiment. Der Streamingdienst passt künftig die Mundbewegungen von Schauspielern nachträglich an eine übersetzte Synchronfassung an. Die sogenannte visuelle Synchronisation kombiniert künstliche Intelligenz mit klassischen VFX-Verfahren und soll dafür sorgen, dass Bild und gesprochener Dialog besser zusammenpassen.
Wichtig dabei: Die Stimmen werden bei der neuen Funktion nicht von einer KI erzeugt. Amazon verwendet weiterhin von menschlichen Synchronsprechern eingesprochene Tonspuren und verändert stattdessen das Videobild. Nach Angaben von Prime Video soll dadurch der bei Synchronfassungen häufig sichtbare Unterschied zwischen den Lippenbewegungen und den übersetzten Dialogen verschwinden.
Zum Start setzt Amazon die Technik bei der deutschen Eigenproduktion „Maxton Hall – Die Welt zwischen uns“ ein. Die englischen Synchronfassungen der ersten beiden Staffeln stehen weltweit bereits mit den angepassten Lippenbewegungen zur Verfügung. Wenn die dritte und zugleich letzte Staffel am 9. Dezember startet, soll auch diese die neue Technik nutzen.
„Maxton Hall“ macht den Anfang
Wie The Verge berichtet, will Amazon die Funktion künftig auf weitere Filme und Serien ausweiten. Konkrete Titel oder zusätzliche Sprachen nennt der Streaminganbieter bislang allerdings nicht.
Amazon betont, dass die Bearbeitung unter kreativer Kontrolle stattfindet und die künstlerische Gestaltung der Produktionen erhalten bleiben soll. Eingriffe dieser Art sind nicht völlig neu. Auch Meta und YouTube experimentieren mit KI-Systemen, die neben einer Übersetzung die sichtbaren Mundbewegungen an die jeweilige Sprache anpassen.
Amazon experimentiert schon länger mit KI
Prime Video setzt künstliche Intelligenz inzwischen an mehreren Stellen ein. Bereits im vergangenen Jahr startete Amazon einen Test mit KI-gestützten Synchronfassungen. Zunächst wurden zwölf ältere Filme und Serien auf Englisch und lateinamerikanischem Spanisch vertont, die zuvor überhaupt keine entsprechende Synchronfassung besaßen. Dabei arbeiten Lokalisierungsfachleute gemeinsam mit KI-Systemen. Amazon bezeichnet das Verfahren selbst als hybriden Ansatz.
Nicht alle KI-Experimente des Streamingdienstes verliefen bislang erfolgreich. Automatisch generierte Staffelzusammenfassungen musste Prime Video Ende vergangenen Jahres wieder entfernen, nachdem sich unter anderem bei „Fallout“ mehrere inhaltliche Fehler eingeschlichen hatten.
Bei der neuen Lippensynchronisation bleibt die eigentliche schauspielerische Leistung zumindest auf der Tonspur in menschlicher Hand. Die KI verändert stattdessen sichtbar das Ausgangsmaterial – und dürfte damit erneut Diskussionen darüber anstoßen, wie weit Streaminganbieter bei der nachträglichen Bearbeitung von Filmen und Serien gehen sollten.
Die Idee ist gar nicht schlecht. Bin auf die Umsetzung gespannt.
Darüber kann man sich nicht beschweren, solange noch mit echten Menschen synchronisiert wird. Bin gespannt wie das aussieht
Naja, ob die Schauspieler das so gut finden, wenn sie „verzerrt“ werden?
Als Schauspieler würde ich das schon diskutieren. Immerhin wird er nachträglich ‚verändert‘ und der Schauspieler selbst hat darauf keinen Einfluss mehr. Mich stört das ehrlich gesagt überhaupt nicht wenn die Synchronisation nicht zu den Lippen passt. Ich finde es manchmal sogar interessant wenn ich sehe dass der Schauspieler im Original nur 1-2 Worte sagt und in der synchronisierten Fassung mehr und höre mir dann gerne auch mal das Original an.
Gute Synchron-Dialogbücher passen zu den Lippenbewegungen. Das ist nämlich essentiell beim Schreiben der Dialoge.
Ich denke, man hat sich schon so daran gewöhnt, dass es schon gar nicht mehr stört. Synchronsprecher haben es so gut es eben geht, perfektioniert.
Ich finde es nicht so toll die Mundbewegung und damit die Mimik der Schauspieler künstlich zu verändern.
Ja, geht mir ähnlich! Vieles (nicht alle!) was mit KI inzwischen möglich ist, finde ich ethisch gesehen leicht schmuddelig.
Finde ich auch, sogar so sehr, dass ich den originalen Sprech bei deutschen Filme störend finde.
Ich habe das mal bei „Fall“ gesehen, dort allerdings auch mit den Original-Stimmen der Darsteller. Das Ergebnis war fast kaum zu glauben.
Ich selbst bin höchst sensibel was Asynchronität betrifft (wenn ich minimale asynchrone Lippenbewegungen nicht ertragen kann, kann mein Partner das Problem noch gar nicht erkennen – selbst wenn ich es ihm ausdrücklich zeige). Deswegen kann ich synchronisierte Filme nicht anschauen, ich muss immer den O-Ton sehen. KI könnte mir eventuell auf diese Art auch mal einen synchronisierten Film zugänglich machen.
In Zukunft werd ich dann wohl nur noch Original Ton schauen. Die Entwicklung gefällt mir nicht. Stellt Synchronsprecher ein!
Interessant wäre es zu wissen, wie man dann einfach die Tonspur wechseln kann, wenn das ein anderes Video ist. Die deutschen Übersetzungen sind teilweise grausig, besonders wenn es um den amerikanischen Kontext geht bei Redewendungen, Persönlichkeiten, Ereignissen usw. Was daraus teilweise für das deutsche Publikum gemacht wird, ist wirklich krass. In Serien ist das auch richtig übel, wenn im englischen Original mal deutsch gesprochen wird. Dann wird daraus in der deutschen Synchronisation Niederländisch, Dänisch etc. Ich weiß meckern auf hohen Niveau. Wenn man immer auf Deutsch guckt, nimmt man das hin bzw. fällt das nicht auf. Aber wer gerne ins Orginal wechselt, stellt sich schon viele Fragen.