Digitale Film-Restaurierung des blauen Strohhuts
| 7. Juni 2011 | Veröffentlicht von admin unter Berichte |
Ob „Der blaue Strohhut“ wirklich blau war, konnte weder damals noch heute das Filmpublikum sehen, aber er war Mittelpunkt der gleichnamigen 1949 in Schwarzweiß gedrehten Filmkomödie von Viktor Tourjansky. Es handelte sich um ein modisches Damenhütchen, das im Verlauf einer Reihe galanter Liebesabenteuer seine hübschen Besitzerinnen wechselte: Margot Hielscher, Gisela Schmidting und Mady Rahl trugen ihn und Karl Schönböck und Gustav Knuth bewunderten ihn – oder genauer, ihre Trägerinnen. Der operettenhafte Film mit Musik von Paul Linke gilt als Klassiker des deutschen Nachkriegsfilms – wirklich gesehen hat ihn kaum jemand in den letzten 20 Jahren. Der Grund war, dass die einzig wohl noch vorhandene Filmkopie, ein Dup-Positiv, derartige Zerstörungen aufwies, dass man sie einem breiteren Publikum nicht zumuten konnte.
Nicht restaurierbar?
Der Film galt in Fachkreisen als „nicht restaurierbar“, insbesondere, weil große Teile des Films durch Bakterienbefall und Bakterienfraß im Prinzip irreparabel geschädigt waren und er zudem in weiten Teilen einen sehr schlechten Bildstand hatte. Die eigentliche Filmschicht besteht ja aus Gelatine, aus einem organischen Material also. Schimmelpilzbildung bei Filmen, die mit zu hoher Luftfeuchtigkeit gelagert und/oder nicht ausreichend lange nach dem Entwicklungsprozess ausgewässert wurden, ist nicht selten. Je nach Einwirkdauer fressen die Bakterien real die Filmschicht ganz oder teilweise weg oder bilden Zusammenklumpungen mit dem Silberbild des Films. Als sichtbares Ergebnis finden sich scharfkantige weiße Punkte, schwarze Punkte oder Zwischenstadien, die sich dann als halbtransparenter Punkt, über die Fläche wolkenförmig, zeigen. Eine Bearbeitung des Originalfilms mit irgendwelchen Bädern oder Reinigungsflüssigkeiten bringt keine wirkliche Verbesserung, weil an den weggefressenen Stellen nichts mehr „reingezaubert“ werden kann.
Rainer M. Engel, Projekt-Supervisor bei scientific Media
Oder doch? Die Filmszenen, die Rainer M. Engel (Foto) am 31. Mai 2011 vor der Regionalgruppe Berlin/Brandenburg der FKTG im direkten Vergleich zueinander zeigte, ließen schon den Schluss zu, dass hier ein Zauberpulver benutzt wurde. Tatsächlich war es aber der Mathematik geschuldet. Mit bestimmten, unterschiedlichen Rechenoperationen, sogenannten Algorithmen, wurde es möglich, die defekten Stellen mit den richtigen oder zumindest dem Original sehr nahe kommenden Werten wieder auszubessern. Bewerkstelligt hat das das relativ junge Unternehmen, scientific│Media aus Berlin, das seit 2008 im Bereich Image Processing und Filmrestaurierung mit eigenen Entwicklungen tätig ist und erste Erfahrungen durch die Mitarbeit an den Restaurierungsarbeiten bei dem Film „Metropolis“ vorweisen konnte. Waren es damals einzelne Tools, die man zur Lösung von Restaurierungsproblemen einsetzte, so wurden diese weiter geführt und in den Kontext eines Workflows gebracht. Durch individuelle Kaskadierung verschiedenster Tools lässt sich so ein Workflow spezifisch genau auf den jeweiligen Anwendungsfall zusammenstellen, der dafür dann optimal ist oder durch Variation der Algorithmen genau an die Aufgabenstellung angepasst werden kann.
Neben Standard-Bausteinen bestehen die Tools aus eingearbeiteten Open-Source-Programmteilen und neuen Eigenprogrammierungen. Besonders hervorzuheben sind in diesem Zusammenhang die Bildstabilisierung und was die Entwickler mit DeBlob bezeichnen, das Erkennen der Bildpunktartefakte und daraus resultierend ihre Reparatur.
Analyse
Angeliefert wurde der im Original 89-minütige 35-mm-Schwarzweiß-Film als digitale HDTV-Abtastung, die sehr sorgfältig mit einem „Spirit“-Abtaster von GrassValley erfolgte. Eine erste Analyse zeigte die bereits erwähnten extremen Belastungen, neben einer allerdings nicht sehr starken Verschmutzung also riesige Mengen an kleinen schwarzen punktförmigen Stellen, halbtransparenten, mittelgroßen Stellen und sehr großen weißen Stellen
Bild 1. Originalbild aus dem Film „Der blaue Strohhut“ mit großen weißen Punkten, die durch Bakterienfraß im Film zurückzuführen sind
(Bild 1). Der Schärfegrad des Materials war sehr gut, was wichtig war, um die aus anderen Bildern vorhandenen Stellen als Ersatz verwerten zu können. Der Bildstand war schlecht, das Bild ruckelte und tanzte, aber gewissermaßen Glück im Unglück, war, dass es sich nur um Verschiebungen, nicht noch um zusätzliche Verzerrungen handelte.
FlowStabilize
Die Arbeit begann mit dem Tool „FlowStabilize“, für die Behebung der Bildstandsfehler. Für die Stabilisierung gibt es mehrere Möglichkeiten, die je nach Problemfall auch zur Ausführung kamen: Stabilisierung auf einen Festpunkt, Stabilisierung auf einen Festpunkt und einen zweiten Punkt, so dass eine eventuell vorhandene Drehung auch stabilisiert werden kann oder eine Mehrpunktermittlungstabilisierung, die in der Lage ist, auch Verschiebungen an den Ecken auszugleichen. Der Vorgang selbst sollte in einem Durchgang erfolgen können, denn wenn ein nicht ganz auskorrigierter Bildstand ein weiteres Mal behandelt wird, kann er nie optimal ausgeglichen werden können, da die verbliebenen Fehler der ersten Korrektur durch das erneute Pixelsampling zu neuen Problemen bei den weiteren Schritten führt. Die verfügbaren Tools boten die Möglichkeit, die einzelnen Analyseschritte beliebig oft in der Simulation zu wiederholen, bis sich letztlich eine Gesamt-Verschiebesumme für die Szene(n) ergibt, mit der dann der Filmteil beaufschlagt wird.
Im Gegensatz zu Standard-Tools ist eine Besonderheit dieses eigen entwickelten Tools, dass hier keine vergrößernde Ausschnittmaske gewählt wird, um die sich durch die Verschiebung an den Rändern ergebende schwarze (weil ja im Bild nicht mehr vorhandene) Fläche auszugleichen, sondern dass diese Fläche durch die sichtbaren Bildanteile aus den vorangegangenen oder dahinter liegenden Bildern ausgefüllt wird (Edge Compensation). Es wird also nur das Bild verschoben und muss nicht neu gesampelt werden, was für die Erkennung der Bewegung von später zu behandelnden Artefakten in der Szene wesentlich ist und zu qualitativ deutlich verbesserter Qualität des Störausgleichs führt. Durch ein neues Samplen ergäbe sich darüber hinaus eine technisch bedingte geringere Schärfe.
Wesentlich ist, dass wirklich nur der Bildstand stabilisiert wird und nicht auf eventuelle Bewegungen der Kamera oder gar der Akteure im Bild stabilisiert wird, wie das bei Standard-Programmen nicht selten zu beobachten ist.
DeBlob
Der zweite, sich daran anschließende wesentliche Schritt nennt sich DeBlob. Als erstes kommt es darauf an, die Stellen im Bild, an denen sich der Bakterienfraß in Form von unregelmäßigen weißen und schwarzen Punkten zeigt, zu erkennen. Ganz wesentlich dabei war gerade bei diesem Film mit den extrem starken Störstellen die Erkennung von sogenannten „stehende Belastungen“. Das heißt, es war im Gegensatz zu Schmutz, der an einer bestimmten Stelle meist nur in einem einzelnen Bild vorkommt, so, dass auch das zweite, nachfolgende Bild an der gleichen Stelle geschädigt war, und vielleicht sogar die gleiche Stelle im dritten oder vierten Bild. Ein sturer Austausch des Contents in einem Bild durch die gleiche Stelle des zweiten Bildes hätte demzufolge keine Verbesserung gebracht, sondern im Gegenteil eine Manifestierung der Störung, und damit das genaue Gegenteil dessen, was erreicht werden sollte. Je öfter die Defekte an den gleichen Stellen in den Bildern hintereinander liegend vorkommen, desto schwieriger wird es, diese Aufgabe zu lösen.
Bild 2. Automatische Erkennung der orange kenntlich gemachten ausgefressenen Punkte im Filmbild
Die orange Einfärbung im Bild 2 macht die erkannten Fehler in einem Einzelbild erst einmal sichtbar, die bei diesem Film bis zu 10% Anteil am Gesamtbild betragen konnte.
Bild 3. Die blauen Punkte zeigen die Fehlerpunkte des ersten (orange) und der nachfolgenden drei Bilder (blau). Nur die jetzt noch erkennbaren orangefarbigen Punkte lassen sich durch den Ersatzwert aus den späteren Bildern wählen. Der Ersatz eines orangen Punkts durch eine blaue angezeigte Stelle würde nur den „fehlenden“ Punkt durch einen gleich fehlenden ersetzen, also zu keinem vernünftigen Ergebnis führen
Bild 3 zeigt die Punkte, die zusammen über drei Bilder hintereinander gesehen, Defekte haben. Man erkennt, dass nur noch vereinzelte orange gefärbte Störstellen zu sehen sind. Und nur bei diesen Störstellen, lassen sich die entsprechenden gleichen Stellen als Retuschewert aus Bildern davor oder danach übernehmen.
Erst also, wenn man erkannt hat, wo es Stellen gibt, an denen man Content zum Ausbessern (Retuschieren) der fehlerhaften Stelle benutzen kann, beginnt die Arbeit der automatischen Retusche. Das heißt, es muss aus einem anderen brauchbaren Bild Content ausgewählt werden, der in die Störstelle auch passt. Ist der Content mehrere Bilder von der eigentlich zu ersetzenden Störstelle entfernt, muss versucht werden auch eine Anpassung in der Geometrie und von der Dichte usw. zu erreichen. Eine besondere Schwierigkeit ergibt sich bei fein aufgelöster Bewegung im Bild (z.B. Taktstock) oder bei langsamen Kameraschwenks. Hier werden zur Verdeckung der Störstellen ja nicht genau die örtlich gleichen Punkte in den Ersatzbildern gewählt, sondern der Originalort muss mit dem Bewegungsvektor des zu ersetzenden Bildes beaufschlagt werden. Und die Bewertung, ob dann dieser Bildpunkt ohne Störung ist (also als Ersatzwert gewählt werden kann oder nicht) stellt die allerhöchsten Ansprüche an den Algorithmus und an die Prozessorleistung.
Manchmal muss man zur Lösung spezifischer Einzellösungen noch ein Tool mit anderen Algorithmen dazwischen hängen, um eine Optimierung des Ergebnisses zu erreichen. Spezialfälle wie verbesserte Helligkeitsanpassung bei sich bewegenden Bildinhalten durch eine neue Methode einer gewichteten Medianfilterung über bis zu fünf Bilder bringen hier eine Verbesserung in der Festlegung des einzusetzenden Grauwerts. Die Reduzierung von Blooming-Effekten, die leicht durch zu schnelle Bewegung im Bild und eine zu geringe Anzahl von Bildern zur Medianfilterung entstehen können, mussten durch weitere Annäherungsalgorithmen erreicht werden. Ein weiterer Aspekt ist, dass es im aufgenommenen Bild selbst reale Details gibt, die in ihrer Form und Farbe sehr nahe und ähnlich einer Störstelle sind (im Film beispielsweise schwarze Knöpfe am Kleid). Dies stellt sehr hohe Anforderungen an jede Filterung. Zudem konnten halbdurchsichtige Stellen nicht durch klassische Methoden entfernt werden, da hier die Helligkeitsunterschiede zu unbelasteten Bildstellen zu gering ausfallen. Für diese über den gesamten Film verteilten Belastungen wurde ein Texture Management eingesetzt, das dann als letzter Schritt durchgeführt wurde.
Resultat
Die einzelnen wesentlichen Stufen dieser Retusche waren also Prefiltering der Qriginalsequenz, die DeBlob-Erkennung (fast in reiner Datendurchsatzzeit), und dann eine sehr komplexe motion estimation und eine motion compensation. Bei der Auswertung des gesamten Films mit seinen teilweise extremen Störungen und Artefakten hat es sich gezeigt, dass der CPU-Rechenaufwand bei etwa 15% des Films so hoch war, wie für die Bearbeitung des gesamten Rests des Films gebraucht wurde. Bei den verbliebenen 85% wurde ein gutes Resultat bereits durch Kaskadierung von fünf automatischen wirkenden Einzelschritten erreicht.
Bild 4. Beispielszenenbilder, die vortrefflich die gelungene Restaurierung zeigen
Die aufwendige und wenn man es vergleichend gesehen hat schier unglaublich gut gelungene Restaurierung (Bild 4) der Filmszene ist Teil des Dienstleistungsunternehmens von scientific│Media. Nachstehend eine Szene (ohne Ton) im Vorher/Nachher-Vergleich.
Dabei kommt es auf die automatische, algorithmus-gesteuerte Bearbeitung an. Eine händische Einzelbildretusche wäre nicht nur schlechter, sondern vom Zeitaufwand und somit von den Kosten her vollkommen unrealistisch. Über die Kosten selbst wurde trotzdem keine Auskunft gegeben, da das Unternehmen diesen Teil als Dienstleistung für eine Partner-Produktionsfirma ausgeführt hat. Der Workflow für diese und ähnliche Arbeiten ist aber abhängig von den gewählten Prozessoren und außerdem parallelisierbar, so dass auch der Zeitaufwand dafür optimiert werden kann. Die Eigenentwicklungen bieten darüber hinaus die Flexibilität spezifische Parallelisierungsstufen zu programmieren oder zusätzliche Features in den bestehenden Workflow einzubinden. Die Erfahrungen im Bereich der Restaurierung beziehen sich im Moment noch auf Schwarzweiß-Film. Bei Farbfilm kommen weitere Tools hinzu, die in den Workflow einzubeziehen wären.
Der Bericht basiert auf einem Vortrag von Dipl. Digital Artist Rainer M. Engel, scientific│Media, Berlin
Foto des Referenten: © Norbert Bolewski
Fotos Filmbilder: © scientific│Media, Schorchtfilm, Magic-Picture
Filmausschnitte: © scientific│Media, Schorchtfilm, Magic-Picture
Weitere vorher/nachher-Ausschnitte aus dem Film finden sich hier:
Artikel drucken
-- Download Digitale Film-Restaurierung des blauen Strohhuts as PDF --
Ich kannte das Projekt über den DVD Label Magic-Picture.
Eine fantastische und gelungene Arbeit. Respekt !!!
Allerdings stellt sich immer die Frage, ich persönlich bin im Filmlizenzhandel tätig,nach den Kosten. Sind diese im heutigen Marktumfeld mit diesem Produkt überhaupt noch zu recoupen ?
Da gibt es leider auch den weniger schönen Satz: „In Schönheit sterben“.
Auch für mich bleibt es beeindruckend und faszinierend, was man mit Mathe alles ermöglichen kann. Und im Text wurde ja auch ersichtlich, daß die Algorithmen immer mehr verfeinert werden – damit eine bessere/schnellere automatische Restaurierung möglich ist. So wird, so kann ich mir vorstellen, Projekt für Projekt die Restaurierung im Endeffekt um ein kleines Stück effektiver und damit kostengünstiger.
Ich kenne keine Preise – und kann daher ganz naiv das Ergebnis genießen.
Genau so ist es, das interessante ist ja, dass es sich um (ein- und aus-)schaltbare Tools handelt, die innerhalb des Gesamt-Workflows gesetzt und deren Parameter modifiziert werden können. Je präziser solch ein Tool auf den jeweiligen Abstimmungsfall zuzuschneiden ist, desto geringer der Zeitaufwand – und gerade bei der Restaurierung ist das ein ganz wesentlicher Faktor für die Preisfindung. Es ist mit Sicherheit zu erwarten, dass der Preis längerfristig reduziert werden kann. Ob das für im jeweiligen Einzelfall vertretbar ist, ist eine rein kaufmännische und hier nicht näher zu betrachtende Überlegung. Was den konkreten Fall anbelangt, so wird der Film als DVD angeboten werden, und ich gehe mal davon aus, dass der Produzent die Sache schon durchgerechnet haben wird und zu der Erkenntnis gelangt sein dürfte, dass es sich “rechnet”.
„Der blaue Strohhut“ zählt nach meiner Meinung zu einem unwiederbringlichen Kulturgut, wenn man sich mit Film beschäftigt. Hier sollte auch von staatlicher Seite Hilfestellung gegeben werden, in Zeiten knapper Kassen nicht leicht.
Auf den DVD Verkauf,damit es sich „rechnet“,zu hoffen wage ich als erfahrener Lizenzhändler zu bezweifeln. Der Markt für diese Genre ist sehr eingeschränkt. Lediglich ein Fernsehverkauf, was ich den beteiligten sehr wünsche,
würde die Kosten recoupen.
Digitale Film-Restaurierung wie hier, eine fantastische Angelegenheit, großes Lob.Letztlich geht es in diesem Blog
im wesentlichen nur um Technik und die Möglichkeiten.
Als Kaufmann muss ich allerdings leider auch die andere Seite der Mediale sehen.