Eure komischsten Minecraft-Träume sind jetzt Realität!

[ppiittii]

Es gibt seit kurzem ein neues "open-world AI model" von Decart, mit dem sich eine KI-generierte Version von Minecraft spielen lässt. Das ganze funktioniert als echtzeit-Videogeneration, die auf unterschiedliche Inputs (WASD, Maus, etc.) reagiert und somit das Spiel rendert. Dazu wurde das Modell auf vielen vielen Stunden an Videomaterial von Minecraft Gameplay traniert. Einige Artikel sprechen bereits von der "Zukunft der echtzeit KI-Videogeneration"...

Naja, wenn so die Zukunft aussieht, bleibe ich gerne in der Gegenwart. Ich habe mir das ganze nämlich einmal selber angesehen und ausprobiert:

Ansehen auf

Bei Interesse kann das jede*r selber ausprobieren unter oasis.decart.ai/welcome. Aktuell funktioniert die Anwendung aber nur in Chrome. Man sitzt zuerst für ca. 10 Minuten in einer Warteschlange und hat anschließend 10 Minuten im Spiel zur Verfügung. Außerdem gibt es eine Liste mit Aufgaben, z.B. das Bauen einer 2x2 Wand, Wasserbläschen generieren, u.v.m. Das eigene Gameplay gibt's am Ende sogar als Video zum downloaden. Für mich war das Abschließen auch nur einer einzigen einfachen Aufgabe dank der fehlenden Objektpermanenz jedenfalls unmöglich...

Was meint ihr? Ist das tatsächlich "the future"?

 

[Bavabian]

ich verstehe nicht ganz was da genau vor sich geht (bin vielleicht auch zu alt für sowas), aber es sieht für mich eher wie ein Fiebertraum aus... oder wenn ich einen zuviel über den Durst getrunken hab

 

[fscript]

Das ist eigentlich sehr spannend, was da passiert. Die KI ist im wesentlichen nichts anderes als eine KI die versucht aus deinem Prompt ein Bild zu generieren. Mit ein paar wenigen Unterschieden. Sie hat ein Bild als Start von welchem aus sie weiter arbeitet und der "Prompt" sind die Maus und Tastaturinputs welche normalerweise in Minecraft den Spieler-Avatar steuern.

Jetzt hat die KI aber keinerlei Verständnis von Kontext. Eine KI ist lediglich darauf trainiert ein plausibles Ergebnis zu liefern, aber sie hat nur begrenzt Kenntnis von der übergeordneten Logik. Aus diesem Grund sind z.B. Bild-KIs schlecht darin Schrift in Bildern zu generieren (oder die richtige Anzahl Finger) oder Chat-KIs im Rechnen. Wir haben Chat-KIs mittlerweile beigebracht, einen Taschenrechner zu verwenden, aber für den Chatbot ist 1+1=3 genauso plausibel wie 1+1=5. Eine Bild-KI hat Bild gelernt, eine Chat-KI hat Sprache gelernt, aber keine von beiden kennen die höhere Logik hinter dem was sie produzieren.

Zurück zu der Minecraft-KI. Für diese muss das Bild plausibel nach Minecraft aussehen und sie muss plausibel auf den Input des Nutzers reagieren. Wenn du dich drehst bewegt sich das Bild seitwärts und am Rand wird etwas neues generiert. Wenn du dich zurück drehst genauso. Die KI kennt kein Zurück. Sie kennt nur, was auf dem Bild ist und an den Rändern rät sie, was als nächstes am plausibelsten ist. Wenn du in den Himmel schaust, könntest du theoretisch überall sein und wenn du wieder runter schaust, bist du dann halt da, wo die KI rät wo du bist. Wenn auf dem Bild irgendetwas undeutlich ist, versucht die KI etwas draus zu machen, was plausibel nach Minecraft aussieht. Deswegen verändern manche Dinge auf dem Bild beim betrachten ihr aussehen.

Beispielsweise bei 1:11 sieht man rechts unten am Bildrand etwas, das erst wie ein Toter Busch, dann wie ein Papagei und schließlich wie ein Löwenzahn aussieht. Letzteres ist einfach am plausibelsten, weil man in Minecraft am häufigsten Löwenzahn sieht.
Zählen kann die KI aber auch nicht wirklich. Die Zahlen unten in der Hotbar ändern gerne einfach mal so ihre Werte, wenn sie überhaut mal erkennbar sind (Text kann die Bild KI ja auch nicht wirklich).
Bei 4:28 sieht man auch, dass die KI das Konzept von Leben nicht kennt. Vor dem merkwürdigen Hintergrund sind schwarze herzen plötzlich plausibler, aber eines bleibt rot, weil das eine immer rot ist. Hunger? Feuerschaden? Das versteht die KI nicht wirklich.

Wenn KIs etwas erfinden, das für uns nicht logisch ist, wird gerne gesagt, die KI habe das halluziniert. In @ppiittiis Video sehen wir eine KI 10 Minuten lange Halluzinieren.

 

[codecrafter09]

Es ist ein bisschen so, als würde man jemandem (der KI) beim Träumen zusehen aber man kann die Träume der KI steuern