Die WAV-Datei liefert Timing, Pausen, Tempo und Sprechweise; das Porträt liefert das Gesicht. Erzeuge zuerst nur fünf oder zehn Sekunden. Prüfe das erste Wort, eine Pause und das Schließen des Mundes am Ende, bevor du den vollständigen Clip erstellst.
Was die WAV-Datei steuert und was nicht
Die WAV-Datei steuert den Sprechrhythmus, bestimmt aber nicht das Aussehen der Person und garantiert keine natürliche Bewegung. Trenne bei der Fehlersuche die Rolle des Audios von der des Bildes.
Das Audio kann Folgendes beeinflussen:
- Beginn und Ende der Sprache
- Timing von Wörtern und Pausen
- Sprechtempo und Rhythmus
- Betonung, Emotion und Stimmenergie
- Gesamtlänge des audiogesteuerten Clips
Das Audio bestimmt nicht:
- Das Aussehen der Person oder Figur
- Gesichtswinkel, Beleuchtung oder Bilddetails
- Hintergrund und Bildausschnitt
- Stärke der Kopf- oder Körperbewegung
- Ob ein stilisierter Mund jeden Laut sauber formen kann
Ein sprechendes Gesicht auf Basis eines Porträts benötigt neu erzeugte Gesichtsbewegungen. Bei der Lippensynchronisation eines Videos bleibt die vorhandene Darbietung erhalten; vor allem der Mund wird an das neue Audio angepasst.
Diese Trennung unterscheidet Porträtanimation auch von videobasierter Lippensynchronisation. Beim Porträt-Workflow liefert das Bild die Figur und das Audio die Sprechweise. Beim Video-Workflow ist die Darbietung bereits im Quellclip enthalten.
Prüfe die WAV-Datei vor dem Upload
Eine Datei kann technisch gültig und trotzdem als Spracheingabe ungeeignet sein. Höre die Aufnahme vollständig an und behebe offensichtliche Probleme vor der Videogenerierung.
WAV-Vorprüfung:
- Kompatibilität bestätigen. Prüfe die aktuell unterstützten Dateitypen, Größen und Längen. Nicht jede WAV-Codierung wird akzeptiert.
- Vom Anfang bis zum Ende anhören. Eine Datei, die sich öffnen lässt, ist nicht automatisch vollständig oder fehlerfrei.
- Sprachverständlichkeit prüfen. Jedes notwendige Wort sollte ohne Untertitel verständlich sein.
- Clipping erkennen. Abgeflachte Spitzen oder Knacken können Konsonanten verdecken.
- Störgeräusche reduzieren. Entferne Musik, Raumgeräusche, Echo, Brummen oder Verkehr, wenn sie die Sprache überdecken.
- Unbeabsichtigte Stille kürzen. Entferne leeren Raum am Anfang und Ende, aber behalte beabsichtigte Pausen.
- Tempo prüfen. Sehr schnelles Sprechen gibt dem erzeugten Mund weniger Zeit für klare Formen.
- Inhalt bestätigen. Korrigiere Namen, Zahlen, Aussprache und endgültige Formulierungen vor der Animation.
- Erlaubnis prüfen. Verwende nur Stimmen und Aufnahmen, die du animieren und veröffentlichen darfst.
DomoAI Talking Avatar unterstützt MP3, WAV und M4A bis 80 MB. Klare Sprache ohne Hintergrundmusik ist der verlässlichste Ausgangspunkt.
Gib keine allgemeingültige Abtastrate oder Bittiefe vor, ohne das gewählte Tool zu prüfen. WAV ist eine Containerbezeichnung und unterstützte Codierungen unterscheiden sich. Verständliche Sprache in einer akzeptierten Datei ist wichtiger als eine pauschale technische Einstellung.
Füge eine bewusste Pause als Synchronisationstest ein
Setze etwa in der Mitte der Testaufnahme eine kurze natürliche Pause. Beispiel: „Deine erste Szene ist fertig. [Pause] Prüfen wir gemeinsam das Timing.“
Die Pause schafft einen sichtbaren Prüfpunkt: Der Mund sollte sich schließen oder beruhigen, wenn die Stimme stoppt. Weitere Bewegung kann durch Restgeräusche, Musik, Atem, Raumton oder das Modell selbst entstehen.
Halte den Test kurz. Fünf oder zehn Sekunden reichen für das erste Wort, eine Pause und das Schließen des Mundes am Ende.
Wähle ein Gesicht, das dem Audio folgen kann
Das Porträt muss genügend Gesichtsinformationen für stabile Bewegung enthalten. Eine saubere WAV-Datei kann keinen verdeckten Mund, starken Seitenwinkel oder ein unscharfes Gesicht reparieren.
Beginne mit einem Bild mit:
- Einem klaren Motiv
- Frontalem oder nahezu frontalem Kopf
- Sichtbarem Mund in neutraler Position
- Gleichmäßiger Beleuchtung im unteren Gesicht
- Scharfen Augen, Lippen und Kieferkonturen
- Etwas Platz um den Kopf für kleine Bewegungen
Vermeide Hände, Mikrofone, Haare, Schatten oder Accessoires vor dem Mund. Ein zu enger Ausschnitt kann bei Kopfbewegungen sichtbare Randfehler erzeugen.
Illustrationen, Anime-Figuren, Tiere, Gemälde und historische Porträts brauchen eventuell mehr Tests, weil Proportionen und Texturen von normalen Fotos abweichen. Wähle klare Augen- und Mundformen und erzeuge eine kurze Probe, bevor du eine lange WAV-Datei verwendest.
Stimmt das Timing, aber das Aussehen der Person verändert sich, prüfe Porträt und Bewegungsanweisung. Korrigiere die Quelle mit Bildbearbeitung oder reduziere die Bewegung. Bleibt das Gesicht stabil, aber der Mund startet spät, prüfe WAV-Datei oder Synchronisation.
Erzeuge den ersten audiogesteuerten Clip
Die erste Generierung testet die Eingaben und ist nicht die Endproduktion. Halte die Einstellungen kontrolliert, damit jedes Ergebnis eine nachvollziehbare Ursache hat.
Gehe in dieser Reihenfolge vor:
- Lade das freigegebene Porträt hoch.
- Öffne Talking Avatar und verwende DomoAI Text zu Sprache, eine direkte Aufnahme oder einen MP3-, WAV- oder M4A-Upload.
- Füge die geprüfte WAV-Datei hinzu.
- Wähle eine kurze unterstützte Testdauer.
- Ergänze eine zurückhaltende Spielanweisung, falls das Tool dies unterstützt.
- Prüfe Bild und Audio vor dem Absenden.
- Erzeuge den Clip und speichere die verwendeten Einstellungen.
Beispiel:
Sprich natürlich mit kleinen Kopfbewegungen, gelegentlichem Blinzeln und einem neutralen Ausdruck während der Pause.
Staple keine widersprüchlichen Anweisungen. Große Gesten, schnelle Drehungen oder extreme Gesichtsausdrücke erschweren die Beurteilung der eigentlichen WAV-Lippensynchronisation.
Benenne jede Version klar, etwa portraitA_wav-clean_motion-low_v01. Verwende nach einer Audioänderung einen neuen Namen. Ein Einstellungsprotokoll verhindert Vergleiche zwischen Clips, bei denen mehrere Eingaben gleichzeitig geändert wurden.
Wende den Video-Upscaler erst auf den ausgewählten Clip an, nachdem Timing, Gesichtskonsistenz und Bildausschnitt geprüft wurden.
Vergleiche das Ergebnis mit der Wellenform
Synchronisation lässt sich leichter bewerten, wenn du das Video mit benannten Momenten im Audio vergleichst. Zufälliges Wiederholen führt oft nur zu vagen Eindrücken.
Markiere diese Punkte:
- Erster Spracheinsatz: Beginnt der Mund mit dem ersten hörbaren Wort?
- Schnelle Konsonantenfolge: Erzeugen scharfe Laute plausible Mundformen?
- Bewusste Pause: Schließt oder beruhigt sich der Mund, wenn die Stimme stoppt?
- Betontes Wort: Passt die visuelle Energie zur Sprechweise?
- Letztes Wort: Stoppt der Mund nach dem Audio?
Sieh den Clip einmal mit normalem Ton, einmal stumm und einmal verlangsamt. Normale Wiedergabe zeigt die Publikumserfahrung. Stumm fallen wiederholte Kopfbewegungen, Flackern und Veränderungen im Gesicht auf. Verlangsamt findest du den Frame, in dem ein Versatz beginnt.
Verwende eine zeitcodierte Prüftabelle:
| Zeit | Audioereignis | Bildprüfung | Ergebnis | Nächster Test |
|---|---|---|---|---|
| 00:01 | Erstes Wort | Mund beginnt mit der Sprache | Bestanden | Keiner |
| 00:08 | Bewusste Pause | Mund bewegt sich weiter | Fehlgeschlagen | Geräusch in der Pause prüfen |
| 00:17 | Letztes Wort | Mund schließt zu spät | Prüfen | Audioende kürzen und erneut testen |
Sieh nach einer Einzelbildprüfung den ganzen Clip bei normaler Geschwindigkeit. Ein winziger Versatz, der nur in Zeitlupe sichtbar ist, kann unbedeutend sein; wiederholte Fehler in Pausen fallen dagegen meist auf.
Trenne Audio- von Bildproblemen
Ändere nur die Eingabe, die mit dem sichtbaren Symptom verbunden ist. Ohne klare Hypothese kann erneute Generierung Zeit und Credits verbrauchen, ohne die Ursache zu beheben.
| Symptom | Wahrscheinliche Quelle | Nächster Test |
|---|---|---|
| Mund bewegt sich in Stille | Restgeräusch, Musik, Atem oder Modellverhalten | Sauberere Pause verwenden und kurzen Test wiederholen |
| Mund startet spät | Stille am Anfang oder Timingversatz | Anfang kürzen und Einsatz vergleichen |
| Schnelle Wörter wirken schwach | Zu schnelles Sprechen oder wenig Munddetail | Satz verlangsamen oder klareres Porträt nutzen |
| Unteres Gesicht dehnt sich | Seitenwinkel, verdeckter Mund oder starke Bewegung | Frontales Bild verwenden und Bewegung reduzieren |
| Das Gesicht der Person verändert sich | Wenig Detail, enger Ausschnitt oder Generierungsvarianz | Schärfere Quelle und festen Ausschnitt nutzen |
| Kopf bleibt steif | Zu wenig Bewegung oder zu restriktive Anweisung | Eine kleine konkrete Bewegung testen |
| Timing driftet später | Langer Clip oder Audioproblem | WAV in kurze freigegebene Abschnitte teilen |
Ändere pro Version nur eine Variable. Wenn du Audio bereinigst, Porträt wechselst und die Bewegungsanweisung zugleich änderst, lässt sich die Verbesserung nicht zuordnen.
Teile lange Skripte an natürlichen Satz- oder Szenengrenzen. Halte Porträt, Ausschnitt und Bewegungsanweisung zwischen den Abschnitten konstant. Prüfe die Schnitte, weil getrennte Clips leicht unterschiedliche Positionen oder Ausdrücke haben können.
Optionale Entwicklermethode für geprüfte Medien
Automatisiere erst, nachdem Porträt und WAV-Datei in einem manuellen Test funktionieren. Ein erfolgreicher Upload beweist keine ausreichende Bildqualität.
Bestätige für einen API-Workflow die aktuelle Authentifizierung und Uploadmethode. Nutze die Talking Avatar API für Medienreferenzen, Anforderungsfelder, Dauerregeln, Callbacks und Fehlermeldungen. Übergib dasselbe validierte Bild und Audio und speichere Task-ID, Eingabeversion, Einstellungen, Ausgabe und Fehlerstatus.
Die vollständige Implementierung gehört in die Entwicklerdokumentation. Der Creator-Workflow sollte sich auf Vorbereitung und Validierung konzentrieren.
Häufig gestellte Fragen
Kann eine WAV-Datei allein ein Standbild animieren?
Nein. Ein kompatibles Gesichtsbild ist ebenfalls erforderlich. Das Audio bestimmt Timing und Sprechweise, das Bild das Aussehen der Person.
Sollte die WAV-Datei Hintergrundmusik enthalten?
Normalerweise nicht. Reine Sprache lässt sich leichter analysieren und synchronisieren. Füge Musik erst im Schnitt hinzu, nachdem Stimme und Mundtiming geprüft wurden.
Warum bewegt sich der Mund während der Stille?
Die Pause kann Geräusch, Musik, Atem oder Raumton enthalten. Auch das Modell kann kleine Bewegungen fortsetzen. Prüfe die Wellenform, erzeuge eine sauberere Pause und vergleiche eine kurze Neugenerierung.
Ist WAV für sprechende Gesichter besser als MP3?
Nicht automatisch. Nutze ein unterstütztes Format und priorisiere klare Sprache. Wenn beide Formate akzeptiert werden, vergleiche dieselbe Aufnahme, statt dem Container die Qualität zuzuschreiben.
Teste eine Pause vor der vollständigen Aufnahme
Nutze ein klares Porträt und eine saubere, autorisierte Aufnahme. Füge eine bewusste Pause ein, markiere die Zeiten und ändere bei Problemen nur eine Variable. Erstelle den vollständigen Clip erst, wenn die kurze Version stabil ist.
