Forscher der Abteilung Apple Machine Learning Research haben eine Methode zur Erstellung synthetischer Daten für das Training von Agenten auf großen Sprachmodellen vorgestellt, die keine reale Softwareumgebung erfordert. Der traditionelle Prozess der Datenerfassung stößt hierbei auf eine erhebliche Skalierbarkeitsbeschränkung, da er üblicherweise vollständig implementierte Umgebungen mit ausführbaren APIs und realistisch vorbefüllten Datenbanken benötigt.
Die vorgeschlagene Lösung nutzt große Sprachmodelle als digitale Weltmodelle, die in Echtzeit arbeiten. Allein mit Hilfe von API-Spezifikationen generiert das System Interaktionstrajektorien, die das Verhalten eines Agents in einer Umgebung unter Beibehaltung des Zustands simulieren. Dies ermöglicht es, den Schritt der Erstellung komplexer Infrastrukturunterstützung für jedes neue Lernszenario zu umgehen.
Dieser Ansatz beseitigt theoretisch den Engpass, der mit der Notwendigkeit verbunden ist, für jede Aufgabe ein Backend zu emulieren. Die Methode verlässt sich ausschließlich auf Schnittstellenbeschreibungen und erzeugt die Illusion einer Interaktion mit einem lebendigen System, was die Vorbereitung von Datensätzen für das Training autonomer Agenten erheblich beschleunigen könnte.
redaktioneller Kommentar
Warum es wichtig ist
Eine wahrscheinliche Folge wird die Standardisierung von Agenten-Lernprozessen rund um textbasierte API-Spezifikationen sein. Das nächste beobachtbare Signal wird das Erscheinen von Publikationen sein, die die Effektivität von auf synthetischen Daten trainierten Agenten mit solchen vergleichen, die auf realen Logs trainiert wurden. Die größte Unsicherheit bleibt das Risiko, dass Modelle Artefakte der Simulation erlernen, die nicht auf reale Systeme übertragbar sind.