100.000 Stunden Videos: Xiaomi veröffentlicht KI-Modell für autonome Roboter - Golem.de

Viel hilft viel: Xiaomi hat mit über 100.000 Stunden Videomaterial ein KI-Modell für Roboter trainiert. Es soll das beste Open-Weights-Modell sein.

Zwei Roboter packen zusammen einen Koffer, einer übergibt gerade gefaltete Kleidung. (Bild: Xiaomi)

Zwei Roboter packen zusammen einen Koffer, einer übergibt gerade gefaltete Kleidung. Bild: Xiaomi

Auf Robotern ruhen große Hoffnungen in der Volksrepublik China: Sie sollen angesichts der alternden Bevölkerung vielfältige Aufgaben in Industrie, Haushalt und Militär übernehmen. Auch Xiaomi will von diesem Wachstumsmarkt profitieren. Grundlage dafür ist Xiaomi-Robotics-1(öffnet im neuen Fenster), eine Familie von KI-Modellen, die es Robotern ermöglichen, anhand von Sprachbefehlen komplexe Aufgaben zu erledigen.

Nach Angabe der Entwickler bewältigt Xiaomi-Robotics-1 eine Reihe von Roboter-Benchmarks – Robocasa, Robocasa365, Robodojo und Vlabench – deutlich besser als andere Modelle wie Nvidias Gr00t. Grundlage ist ein umfangreicher Satz an Trainingsdaten, anhand dessen drei Modellvarianten mit 2, 5 und 10 Milliarden Parametern trainiert wurden. Code und Modellparameter will Xiaomi veröffentlichen, sie werden wohl in den nächsten Tagen im Huggingface-Repository von Xiaomi Robotics(öffnet im neuen Fenster) zu finden sein.

Details von Modell und Trainingsprozess beschreiben die Entwickler in einem bei Arxiv verfügbaren(öffnet im neuen Fenster) technischen Bericht. Xiaomi-Robotics-1 kombiniert demzufolge ein Vision-Language-Modell (VLM, genutzt wird Qwen3-VL), das die Szene beschreibt und Befehle interpretiert, mit einem Diffusion Transformer, welcher daraus Handlungen ableitet. Der aktuelle Zustand des Roboters wird dabei als zusätzliches Eingabe-Token codiert.

KI macht Datenberge handhabbar

Die Entwickler orientierten sich für Xiaomi-Robotics-1 an Konzepten großer Sprachmodelle. Das zeigt sich beim Training, das in zwei Abschnitte aufgeteilt ist.

Zunächst erfolgt ein Pre-Training, in dem das Modell lernt, einen Ausgangs- in einen Zielzustand zu überführen. Daran schließt sich ein Post-Training an, in dem das Modell auf einen konkreten Roboter angepasst wird und lernt, menschliche Kommandos zu interpretieren. Auch bei den Trainingsdaten orientierten sich Xiaomis Entwickler an LLMs: Mehr ist besser.

Für das Pre-Training wurden nach Angabe der Autoren über 100.000 Stunden Videomaterial genutzt, für das Post-Training rund 10.000 Stunden. Ein Teil davon stammt von Robotern und aus freien Trainingsdatensätzen. Weitere Trainingsdaten wurden anhand des Universal Manipulation Framework(öffnet im neuen Fenster) (UMI) generiert, bei dem Menschen mit den vom Roboter genutzten Manipulatoren in verschiedenen Umgebungen Beispielaufgaben ausführen.

Diese Daten müssen in einzelne Szenen zerlegt und annotiert, also beschrieben, werden. Das kann aufwendiger sein als das Erzeugen der Daten. Xiaomis Entwickler nahmen daher KI zu Hilfe: Die Labels erstellten sie automatisiert mit Qwen3.5-27B. Die Videos werden dafür in Segmente fester Länge zerlegt. Die Annotation des gesamten Videomaterials soll so nur zwei Wochen gedauert haben. Angaben zur Hardware machen die Entwickler ebensowenig wie zur Trainingsdauer des eigentlichen Modells.