Es ist eine neue Unity 3D-basierte Erstellungssuite in Arbeit, die Live2D-Leistungserfassung über das ARCore-Toolkit für erweiterte Realität von Google nutzt. Die Software ermöglicht die Gesichtsverfolgung in Echtzeit über eine Webkamera oder ein anderes Aufnahmegerät, wobei die gerenderte Ausgabe erfolgt, während die Leistung oder Bewegungen visualisiert werden.
Denchi Soft hat ein zehnminütiges Video veröffentlicht, um die Funktionsweise der Software zu demonstrieren und zu demonstrieren, was Sie von Kit erwarten können, wenn es irgendwann im ersten Quartal 2020 für die Öffentlichkeit freigegeben wird.
Sie können die unten stehende Videodemonstration ansehen.
Während das Video skizziert, werden die Gesichtsdaten von ARCore gelesen und gespeichert und dann in die neuronale Lernpipeline Tensor Flow eingespeist, die in Unity 3Ds Barracuda integriert ist. Von dort werden die Daten über ein UDP-Protokoll zum Main gestreamt VTube-Studio Frontend unter Verwendung der Live2D-Animationen und Bedienelemente der Benutzeroberfläche.
Nachdem wir die Grundlagen der Funktionsweise der Software erläutert haben, werden wir demonstrieren, wie Farbtöne und physisch gerenderte Beleuchtung auch auf die Live2D-Modelle angewendet werden können, um die Wahrnehmung dynamischer Echtzeitbeleuchtung zu erzeugen.
Sie können auch den Hintergrund anpassen, verschiedene Szenen importieren und sogar Hotkeys einrichten, um Gesichtsausdrücke zu ändern, benutzerdefinierte Makros zu laden und spezifische Reaktionen zu erstellen, um den Livestream zu beleben.
Es gibt bereits einige 3D-Lösungen, die sich ähnlich wie was verhalten VTube-Studio Das ist möglich, aber wenn Sie mehr daran interessiert waren, handgezeichnete Zeichen zu verwenden, wie im obigen Video dargestellt, dann VTube-Studio ist definitiv der richtige Weg.
Wenn YouTube nicht implodieren würde, würde ich wahrscheinlich sagen, dass es spannende Zeiten für Virtual-Tuber geben würde, aber im Moment sieht es für Enthusiasten, die sich mit der Erstellung von Inhalten befassen möchten, nicht allzu gut aus, es sei denn, Sie haben es zum Teufel gemacht davon und keine wesentlichen Einnahmen aus dem Bestreben zu generieren.
Sie können mehr darüber zu erfahren, VTube-Studio von Denchi Soft beim Auschecken der GitHub Seite.
(Danke für den Newstipp Wondy Bergers)