Nvidia DLAA (Deep Learning Anti-Aliasing) in Entwicklung

[yopparai]

Die Funktionsweise von neuronalen Netzen und ihre Verwendung bei DLSS zu erklären wäre mal ein schöner Artikel für eine Videospielwebseite. Leider gibt es sowas kaum.

[Irenicus]

hab mal geschaut, bei den kommentaren gibt es positive und negative reaktionen zu der mod, gibt da auch unterschiedliche versionen, die dll datei ist von der unreal engine 5, mit der aktuellen dll dort soll es wohl zu ghosting kommen.

mit einer früheren version hatte jemand bessere performance, gut, das sind halt alles aussagen die nicht wirklich verifiziert sind^^

[Levi]

besser subjektiv als spekulativ wie bei deiner "argumentation".

Nö, ich rede Fakten, nicht Spekulation.

Alle Antworten sind immer nur "die KI macht irgendwas". Das ist einfach nur Marketing-Geblubber, nie gibts Details, wie das ganze eigentlich funktioniert. Euch ist schon klar, dass "KI" ein super beliebter Werbebegriff ist, aber gleichzeitig so vage, dass es eigentlich nichts bedeutet? Genauso wie du eine simple Matrize machen kannst, und dann nennst du das ein neuronales Netzwerk.

Ohm. Hast du meine Erklärung, die weit über "irgendwas" hinaus ging mit Absicht ignoriert?
Weiterhin: ein neutrales Netzwerk ist schon noch mal etwas anderes als eine "simple Matrize" (was auch immer du da in diesem zusammenhang meinst).

Und natürlich ist da viel Marketing bla blub dabei.
Die Technik dahinter ist nunmal trotzdem vorhanden und liefert interessante Ergebnisse und das nicht nur theoretisch. Wenn du nicht weiß, was ein trainiertes neurales Netzwerk leisten kann, (was du definitiv nicht tust), dann unterlasse es doch bitte einfach hier Leuten vorzuwerfen, sie würden auf Marketing bla blub rein fallen.


Ich habe die erklärt, was das neurale Netz hier tut. Soll ich dir noch erklären, was ein Neurales Netz ist?
Auch dafür gibt's eine relativ einfache Erklärung, ohne zu sehr ins technische Detail zu gehen:
Im Grunde ist ein Neurales Netz ein großer Entscheidungsbaum. Dieser wurde aber nicht händisch generiert, sondern durch "trainieren". Das trainieren funktioniert ein bißchen ähnlich zu Evolution: Netze die gute Ergebnisse liefern werden genommen und auf Basis dieser werden die Netze weiter verfeinert (natürlich automatisch)

[Irenicus]

Alle Antworten sind immer nur "die KI macht irgendwas". Das ist einfach nur Marketing-Geblubber, nie gibts Details, wie das ganze eigentlich funktioniert.

im groben steht ja in meinem quote wie es funktioniert, aber ist ja wohl klar warum nvidia nicht genau veröffentlicht wie das funktioniert.

amd hat afaik noch nicht mal angefangen in richtung "ki" was zu entwickeln, da wäre nvidia ja schön blöd denen mit einer veröffentlichten "blaupause" zu helfen.^^

Euch ist schon klar, dass "KI" ein super beliebter Werbebegriff ist, aber gleichzeitig so vage, dass es eigentlich nichts bedeutet? Genauso wie du eine simple Matrize machen kannst, und dann nennst du das ein neuronales Netzwerk.

klar sind die bezeichnungen marketing, wie auch deep learning, hat auch niemand bestritten.^^

sowas wie eine echte ki gibts auch sowieso nirgends, hat sich aber als begriff seit ewiger zeit in der videospielbranche eben etabliert, kann man jetzt auch nicht mehr ändern.^^

[johndoe711686]

Zumal man sicher sein kann, dass nvidia nicht sagt, wie das funktioniert, wäre ja geschäftlich absurd.

Dass man KI etwas über verwendet aktuell, mag ja sein, aber es handelt sich hierbei um machine learning, das ist kein 0815 Algorithmus.

[Levi]

sowas wie eine echte ki gibts auch sowieso nirgends, hat sich aber als begriff seit ewiger zeit in der videospielbranche eben etabliert, kann man jetzt auch nicht mehr ändern.^^

Nicht so bescheiden. Der Begriff ist in der gesamten IT verwendet, wenn man von der Verwendung von neuronalen Netzen Umgangssprachlich spricht. Egal ob Bild Verbesserung. Bild Analyse. Sound Analyse, Optimierung von Abläufen... Und und und.

[Temeter]

Ich weiß auch, was ein neuronales Netz ist, und wie es generiert wird. Aber wie gesagt, was genau macht das? Fügt es einfach nur nach dem "gelernten" Muster Pixelmuster und "Greebling" in die Hochskalierungs-Algorithmus ein?

im groben steht ja in meinem quote wie es funktioniert, aber ist ja wohl klar warum nvidia nicht genau veröffentlicht wie das funktioniert.

amd hat afaik noch nicht mal angefangen in richtung "ki" was zu entwickeln, da wäre nvidia ja schön blöd denen mit einer veröffentlichten "blaupause" zu helfen.^^

Joah, aber das Problem ist einfach, dass es keine echte Erklärung dafür gibt, warum DLSS so besser sein soll, obwohl es weniger Daten hat. Das ist vom Prinzip her einfach unlogisch.

klar sind die bezeichnungen marketing, wie auch deep learning, hat auch niemand bestritten.^^

sowas wie eine echte ki gibts auch sowieso nirgends, hat sich aber als begriff seit ewiger zeit in der videospielbranche eben etabliert, kann man jetzt auch nicht mehr ändern.^^

Es ist ein extrem etablierter Begriff, richtig. Aber KI ist damit auch so vage, dass es praktisch alles beschreiben kann, was auch nur im minimalsten Maße automatisiert ist.

Zumal man sicher sein kann, dass nvidia nicht sagt, wie das funktioniert, wäre ja geschäftlich absurd.

Dass man KI etwas über verwendet aktuell, mag ja sein, aber es handelt sich hierbei um machine learning, das ist kein 0815 Algorithmus.

Ich würde mal vermuten, dass das "Machine learning"-Ding einfach nur dafür benutzt wird, um die Software zu entwickeln. Das ist mittlerweile Standard.
Und dieser Code wird dann mit den Treibern/Spielem rausgeschickt, um mit DLSS zu laufen.

Aber wie der Code eigentlich aussieht oder auch nur ansatzweise funktioniert, darüber sagt das eigentlich gar nichts aus^^

[Leon-x]

Joah, aber das Problem ist einfach, dass es keine echte Erklärung dafür gibt, warum DLSS so besser sein soll, obwohl es weniger Daten hat. Das ist vom Prinzip her einfach unlogisch.

Ich habe doch schon zich Sachen verlinkt und Erklärungen von erfahrenen Leuten in anderen DLSS Threads kopiert.

Wollen wir da jetzt wirklich wieder so tun als wäre man bei Wissen 0?

Quellmaterial für DLS ist 12-16k Bild was auf dem Nvidia-Server antrainiert wird. Muss nicht für jedes Game einzeln gemacht werden. Es muss nur mit der Zeit genug Daten haben wie Objekte auszusehen haben um diese dann im Treiber simpel zu hinterlegen. Dazu hilft es die Darstellung verschiedener Engine zu kennen.

So schwer kann es doch gar nicht sein dahinter zu kommen. Wenn , wie schon 1000x erklärt, in 2160p Bild eine feine Stromleistung/Drahtzaun/Gitterkorb/Haare unterbrochen ist kann es DLSS auch aus der 1440p Renderauflösung auf 2160p korrekt als eine durchgezogenen Leistung rekonstruieren weil es im 16k Master eben alle Details hat. Ist nicht bloßes Gerate sondern Netzwerk lernt aus dem wesentlich höher aufgelösten Quellmaterial was selbst bei 3840x2160p durchs Pixelraster rutscht.
Dadurch kommen Detail hinzu die man erst auf 8k oder 16k Bildschirmen nativ sehen würde.

Doch, DLSS kann Dinge rekonstruieren die erst bei weit höherer Renderauflösung da wären. Häufig wird aber der Fehler bei Entwicklern gemacht LOD nicht auf die Zielauflösung festzulegen sondern auf 1080p oder 1440p je nach DLSS Mode.
Dazu gibt es eigentlich Richtlinie von Nvidia die aber mancher Entwickler oft noch ignoriert. F1 2021 hat man es aber beim letzten Patch wieder richtig angepasst.

[johndoe711686]

Das ist vom Prinzip her einfach unlogisch.

Es ist total unlogisch, dass die Erde sich um die Sonne dreht, man sieht doch, dass die Sonne sich bewegt am Himmel.

[yopparai]

Naja komm, das ist jetzt auch unfair. Ich versteh Temeters Problem damit schon, es geht hier darum, woher die Informationen für den Algorithmus kommen sollen, wenn nicht aus dem Eingabebild. Das meint er mit „unlogisch“.

Allerdings sind die Informationen tatsächlich da. Der Punkt ist, dass sie eben in den Trainingsdaten des Netzwerks stecken. Und dann nach dem Training eben in stark kondensierter Form im Netzwerk selbst.

Wenn man z.B. eine kontrastreiche Kante in niedriger Auflösung ins Netz einspeist, dann ist das ein Muster, das das Netz beim Training schon einmal identifizieren musste (bzw. wahrscheinlich eher tausende Male) und dort eben auch mit einer hochauflösenden Version abgleichen konnte. Entsprechend sind die Verbindungen zwischen virtuellen Neuronen, die zu so einem Muster passen stärker als andere und setzen sich dann bei der Anwendung auf unbekannte Eingabedaten durch.

Klar ist, dass das Netz nicht alle theoretisch möglichen Eingangsdaten interpretieren können wird, aber sehr wohl solche, die oft in Videospiel-Bildmaterial zu sehen sind. Deswegen ist der Datenbedarf beschränkt.

Er ist allerdings nicht gleich 0. Und genau das unterscheidet das Verfahren von „normalen“ Algorithmen zu Erhöhung der Bildschärfe. Ein Schärfungsalgorithmus ist ein Verfahren, das man immer schrittweise nach Schema F abarbeiten kann, es bringt eigentlich keine neuen Informationen ins Bild. Eine Verfahren, das aber auf einem neuronalen Netz basiert (das ja aufwendig parametriert wird), schleppt immer noch einen Haufen Informationen über Bildstrukturen mit sich herum. Auch wenn diese Daten immer noch wesentlich kleiner sind als die originalen Trainingsdaten, aus denen man es erzeugt hat.

[OchsvormBerg]

besser subjektiv als spekulativ wie bei deiner "argumentation".

Nö, ich rede Fakten, nicht Spekulation.

Alle Antworten sind immer nur "die KI macht irgendwas". Das ist einfach nur Marketing-Geblubber, nie gibts Details, wie das ganze eigentlich funktioniert. Euch ist schon klar, dass "KI" ein super beliebter Werbebegriff ist, aber gleichzeitig so vage, dass es eigentlich nichts bedeutet? Genauso wie du eine simple Matrize machen kannst, und dann nennst du das ein neuronales Netzwerk.

Klar, was der Bauer nicht kennt frisst er nicht...

Wenn Du Dir einbildest das beurteilen zu können ohne es selbst getestet zu haben und ohne Dich richtig über DLSS informiert zu haben, kann man Dir auch nicht mehr helfen. Was KI-Algorythmen mittlerweile alles können, kann man sich ja sehr schön Netz anlesen bzw. ansehen. Ich empfehle in dem Zusammenhang:



Da sieht man sehr schön was z.B. Deepfakes mittlerweile können (die sehr ähnlich funktionieren wie DLSS). Das ist sicher sehr viel mehr als Marketing Geblubber.

DLSS ist noch eine recht junge Technologie, die aber jetzt schon wirklich gute Ergebnisse liefern kann. Ich kann mir gut vorstellen, dass es 10 Jahren Standard sein wird, dass quasi jedes Spiel damit läuft.

[johndoe711686]

Naja komm, das ist jetzt auch unfair. Ich versteh Temeters Problem damit schon, es geht hier darum, woher die Informationen für den Algorithmus kommen sollen, wenn nicht aus dem Eingabebild. Das meint er mit „unlogisch“.

Alles als magic abzutun, weil man nicht weiß was dahinter steckt, es für einen aber nicht logisch ist, geht schon in die Richtung.

Natürlich nimmt DLSS nicht irgendein 1080p Bild und macht es besser, es bedient sich der Erfahrung aus 16K Material, dort ist alles drin, was man braucht um das 4K Bild zu verbessern. Es kommt also nicht aus dem nichts.

@Triadfish
Die ganze Deepfake Sache finde ich echt beängstigend. Das birgt enorme Gefahren. Wenn sich da irgendwelche Leute als jemand anderes ausgeben können. "Echte" VR Pornos mit Prominenten ist noch das geringste, aber wenn plötzlich jeder einen Trump erschaffen kann, der sagt was immer man möchte oder einen Biden.

Macht mir eher Angst.

[Chibiterasu]

Finde ich auch eher beunruhigend. Politische Gegner kann man damit leicht diskreditieren. Je nach Regierung/Regime nicht komplett abwegig.

[Leon-x]

Wenn man z.B. eine kontrastreiche Kante in niedriger Auflösung ins Netz einspeist, dann ist das ein Muster, das das Netz beim Training schon einmal identifizieren musste (bzw. wahrscheinlich eher tausende Male) und dort eben auch mit einer hochauflösenden Version abgleichen konnte. Entsprechend sind die Verbindungen zwischen virtuellen Neuronen, die zu so einem Muster passen stärker als andere und setzen sich dann bei der Anwendung auf unbekannte Eingabedaten durch.

Klar ist, dass das Netz nicht alle theoretisch möglichen Eingangsdaten interpretieren können wird, aber sehr wohl solche, die oft in Videospiel-Bildmaterial zu sehen sind. Deswegen ist der Datenbedarf beschränkt.

Natürlich werden nicht alle daten letzten Endes am haimischen Rechner landen. dennoch werden eben die nötigen Datenpakete bei den Treiberupdates von Nvidia für neue Games eben dann mitgeliefert. Die weisen es wiederum passenden Hardwareinheiten zu die Turing und Ampere hat.

Wir wissen auch dass DLSS eine temporale Komponente benötigt die mehrere Bilder in Framebuffer analysiert um auch die Daten zuzuordnen wenn sich ein Objekt (Bewegungsvektoren) bewegt. Dewegen gab es bei ersten Version noch stärkeres Ghosting oder filigrane Objekte wie Blätter oder Würmchen aus Death Stranding die dann Konturen nach sich zogen. Wurde ja wiederum mit neuen DLSS Version wesentlich verbessert bis dass es fast vollständig verschwunden ist.
Ähnliches Prinzip wie Zwischenbildberechnung bei TVs funktionieren wenn sie zum erfassen wohin sich z.B. ein Fußball bewegt.

Man muss ja auch bei solchen Handy-Apps die Gesichter erkennen (von Mensch und Tier) keine 200 Seiten Doktorarbeit über Quellcode lesen um in Grundzügen zu verstehen wie sie Software arbeitet und dass mehr nötig ist als dem Programm beizubringen bei Strichmännchen zwei Augen, Nase und Mund zu erkennen.

Es gibt auch von PCGH und anderen Seiten genug Erklärungen woraus die "Detail" eben oft korrekt gewonnen werden. Natürlich geht es nicht darum dass DLSS aus 1440p Renderauflösung eine 2160p Bildschärfe machen kann. Da muss man entweder behutsam etwas nachschärfen um in die Nähe zu kommen oder eben neue Verfahren wie hier dann bei nativer Auflösung einsetzen.
Trotzdem weiß man ja in etwa dass sich die Software die Details nicht einfach aus der unendlichen virtuellen Raum holt und rumratet. Gewisse angelernte Struktur steckt halt dahinter.
Wüsste nicht was daran sehr unlogisch sein soll.

Ich sage auch nicht dass DLSS absolut fehlerfrei ist oder für jedes Spiel die beste Lösung. Wie gesagt gibt es auch schlechte Ausführungen. Nur kommen halt zu einem Bild eben mehrere Faktoren zusammen und viele Leute sitzen nicht mal sehr nah vor sehr großen Bildschirmen um im Blindtest wohl natives 4k Bild von DLSS Quality zu unterschieden.
Rechenleistung zu sparen um andere optische Effekte hervorzuheben ist halt auch Lösung als nur reine Pixelberechnung bei niedrigeren Settings.

[johndoe711686]

Finde ich auch eher beunruhigend. Politische Gegner kann man damit leicht diskreditieren. Je nach Regierung/Regime nicht komplett abwegig.

Richtig, und dann versuch mal zu beweisen, dass in dem Video nicht Nawalny spricht. Bei entsprechender Propaganda ist das ein sehr sehr dunkles Werkzeug.