CoreWeave möchte, dass KI-Agenten aus ihren Fehlern lernen

Ein KI-Agent kann in einer kontrollierten Demonstration zwar überzeugend agieren, versagt jedoch möglicherweise, sobald er auf eine unbekannte Kundenanfrage, eine mehrdeutige Anweisung oder ein Software-Tool stößt, das sich anders als erwartet verhält. Unternehmen müssen dann herausfinden, was schiefgelaufen ist, den Fehler reproduzieren, das System anpassen und erneut testen. Dieser Prozess kann Wochen dauern, während der Agent weiterhin mit neuen Situationen konfrontiert wird in Produktion.

CoreWeave möchte diesen Zyklus verkürzen. Der US-amerikanische Cloud-Infrastrukturanbieter hat eine Plattform eingeführt, die den Betrieb von KI-Agenten enger mit den Systemen verknüpft, die zu deren Überwachung, Bewertung und Nachtrainierung eingesetzt werden. Daten, die während der Arbeit eines Agenten generiert werden, können in Feedback für spätere Verbesserungen umgewandelt werden, anstatt verstreut in Protokollen, Support-Tickets und manuell zusammengestellten Testdatensätzen zu verbleiben.

Das Unternehmen bezeichnet dies als „Verbesserung autonomer Agenten“. Der Begriff suggeriert, dass sich Maschinen selbst beibringen, doch in der Praxis verläuft die Entwicklung eher kontrolliert. CoreWeave baut eine integrierte technische Schleife auf, über die Unternehmen das Verhalten eines Agenten beobachten, Schwachstellen identifizieren, Experimente durchführen und mithilfe von verstärkendem Lernen dessen Leistung verbessern können.

Für Unternehmensanwender liegt die wesentliche Veränderung weniger im Begriff “autonom” als vielmehr in der Zusammenführung mehrerer bisher getrennter Prozesse.

Die Produktionsumgebung wird Teil des Schulungssystems

KI-Modelle wurden bisher in der Regel vor ihrer Bereitstellung trainiert und anschließend überwacht. An diesen beiden Phasen sind oft unterschiedliche Teams, Tools und Datensätze beteiligt. Entwickler erstellen ein Modell oder einen Agenten, testen es anhand einer Reihe von erwarteten Szenarien und geben es frei, sobald seine Leistung einen akzeptablen Schwellenwert erreicht hat. Bei der Überwachung im Produktivbetrieb können zwar neue Fehler zutage treten, doch um diese Erkenntnisse in ein besseres System umzusetzen, ist ein weiterer Entwicklungszyklus erforderlich.

Diese Struktur funktioniert bei herkömmlicher Software recht gut, da dort dieselbe Eingabe in der Regel zu einem vorhersehbaren Ergebnis führt. KI-Agenten lassen sich hingegen schwieriger testen, da sie Sprache interpretieren, Werkzeuge auswählen und eine Abfolge von Entscheidungen treffen. Die Anzahl der möglichen Interaktionen nimmt rapide zu, insbesondere wenn ein Agent mit Unternehmensdatenbanken, externen Anwendungen oder Betriebssystemen verbunden ist.

Ein vor der Inbetriebnahme zusammengestellter Testdatensatz kann nicht alle Anfragen abdecken, die der Agent erhalten wird. Er mag bei Routinefällen gut funktionieren, versagt jedoch, wenn mehrere kleinere Komplikationen gleichzeitig auftreten. Ein Kundendienstmitarbeiter könnte beispielsweise zwar die richtigen Kontoinformationen abrufen und die Rückerstattungsrichtlinien des Unternehmens verstehen, dennoch die falsche Maßnahme ergreifen, weil eine ungewöhnliche vertragliche Ausnahme anders formuliert war als in den während der Tests verwendeten Beispielen.

Die Plattform von CoreWeave ist darauf ausgelegt, solche Produktionserfahrungen wieder in die Entwicklung einfließen zu lassen. Die Inferenzinfrastruktur von CoreWeave führt den Agenten aus, während die Technologie von Weights & Biases Ablaufverläufe aufzeichnet, Ergebnisse auswertet und die Leistung überwacht. Die Funktionen des verstärkenden Lernens von OpenPipe können dann genutzt werden, um den Agenten anhand ausgewählter Beispiele zu trainieren und erfolgreicheres Verhalten zu belohnen.

Anstatt jeden Produktionsausfall als Einzelfall zu betrachten, können Entwickler wiederkehrende Muster nutzen, um neue Trainingssignale zu generieren.

CoreWeave steigt in der KI-Wertschöpfungskette auf

Aus der Ankündigung geht zudem hervor, wie sich nach Ansicht von CoreWeave die Position des Unternehmens auf dem KI-Markt weiterentwickeln wird.

Das Unternehmen machte sich einen Namen damit, dass es Zugang zu Grafikverarbeitungsinfrastruktur für das Training und den Betrieb großer KI-Modelle bot. Dieses Geschäft ist nach wie vor kapitalintensiv und hängt in hohem Maße von der Fähigkeit ab, Rechenzentrumskapazitäten aufzubauen, moderne Chips zu beschaffen und teure Hardware produktiv zu nutzen.

Rechenkapazität allein entwickelt sich jedoch zunehmend zu einem wettbewerbsorientierten Produkt. Große Cloud-Anbieter bauen ihre KI-Infrastruktur aus, Modellentwickler knüpfen engere Beziehungen zu Chipherstellern, und Unternehmenskunden erwarten zunehmend Software, die ihnen beim Betrieb von KI-Systemen hilft, anstatt lediglich Prozessoren zu mieten.

CoreWeave hat daher Kompetenzen im Bereich der Infrastrukturebene ausgebaut. Das Unternehmen hat Weights & Biases übernommen, dessen Software zur Nachverfolgung von Machine-Learning-Experimenten und zur Überwachung von Modellen eingesetzt wird, und eine Vereinbarung zur Übernahme von OpenPipe getroffen, einem Spezialisten für Reinforcement Learning für KI-Agenten. Die neue Plattform kombiniert diese Ressourcen mit den Inferenzdiensten und isolierten Testumgebungen von CoreWeave.

Die wirtschaftliche Logik liegt auf der Hand. Ein Kunde, der denselben Anbieter nutzt, um einen Agenten zu betreiben, dessen Verhalten zu beobachten, Fehler auszuwerten und weiteres Training durchzuführen, bindet sich immer stärker an die Technologie dieses Anbieters. CoreWeave kann sich so einen größeren Anteil am Budget für die KI-Entwicklung sichern und gleichzeitig dafür sorgen, dass seine Infrastruktur schwerer zu ersetzen ist.

Dies ist eine gängige Strategie im Cloud-Computing: Man beginnt mit der Infrastruktur und fügt nach und nach die Tools hinzu, mit denen die Kunden die Arbeitslast verwalten. Der Unterschied besteht darin, dass KI-Agenten ungewöhnlich hohe betriebliche Anforderungen stellen. Sie können bei der Planung einer Aufgabe, beim Abrufen von Daten und bei der Nutzung von Software-Tools zahlreiche Modellaufrufe ausführen. Jeder zusätzliche Schritt beansprucht Rechenkapazität und führt zu einer weiteren potenziellen Fehlerquelle.

Eine Plattform, die diese Systeme zuverlässiger macht, könnte daher sowohl die Software-Umsätze als auch die Nachfrage nach der zugrunde liegenden Infrastruktur steigern.

Verbesserung bedeutet nicht, dass es sich um eine unbeaufsichtigte Evolution handelt

Die Aussicht, dass sich Agenten durch ihre eigene Aktivität verbessern, wirft eine naheliegende Frage zur Steuerung auf. Ein System, das sein Verhalten ändert, darf nicht effizienter darin werden, das falsche Ergebnis zu erzielen.

Produktionsdaten können vertrauliche Informationen, Ausnahmefälle und Beispiele für Fehlentscheidungen von Menschen enthalten. Auch die Nutzerzufriedenheit ist kein verlässlicher Maßstab für die Richtigkeit. Ein Agent kann positives Feedback erhalten, weil er eine schnelle oder angenehme Antwort liefert, selbst wenn diese Antwort gegen eine Richtlinie verstößt, ein Risiko übersieht oder Informationen erfindet.

Unternehmen müssen daher entscheiden, welche Interaktionen als nützliches Schulungsmaterial gelten, wie der Erfolg gemessen wird und wer Änderungen genehmigt, bevor diese veröffentlicht werden. In regulierten Branchen müssen die Bewertungskriterien möglicherweise neben Geschwindigkeit und Aufgabenerfüllung auch rechtliche, Compliance- und Dokumentationsanforderungen berücksichtigen.

Das verstärkende Lernen reagiert besonders empfindlich auf die Gestaltung seiner Belohnungssignale. Wenn ein System für das Erreichen eines eng gefassten Ziels belohnt wird, kann es Abkürzungen entdecken, die das gemessene Ergebnis zwar technisch verbessern, aber den Gesamtprozess schwächen. Ein Agent, der angewiesen ist, Supportfälle schnell zu lösen, könnte lernen, diese vorzeitig abzuschließen. Ein Programmieragent, der in erster Linie daran gemessen wird, ob Software automatisierte Tests besteht, könnte instabile Lösungen produzieren, die an anderer Stelle Sicherheits- oder Wartungsprobleme verursachen.

Der Wert der Plattform von CoreWeave hängt daher von der Qualität der Kontrollmechanismen ab, die rund um den Regelkreis aufgebaut sind. Durch Observability lässt sich das Verhalten von Agenten leichter überprüfen, doch sie legt nicht fest, welches Verhalten akzeptabel ist. Automatisierung kann das Experimentieren beschleunigen, ohne die Verantwortung für das Ergebnis aufzuheben.

Unternehmen müssen noch definieren, wie „gut“ aussieht

Diese Ankündigung könnte Führungskräfte dazu anregen, sich KI-Systeme vorzustellen, die sich ohne nennenswerten menschlichen Eingriff schrittweise verbessern. In den meisten Organisationen wird jedoch die schwierigere Herausforderung noch vor der technologischen Umsetzung liegen: die Festlegung eines verlässlichen Maßstabs, anhand dessen Verbesserungen beurteilt werden können.

Ein Agent, der für interne Recherchen eingesetzt wird, muss nachweisen können, dass seine Quellen korrekt und seine Schlussfolgerungen nachvollziehbar sind. Ein Agent, der Finanzgeschäfte abwickelt, unterliegt strengen Beschränkungen hinsichtlich der Transaktionen, die er initiieren darf. Ein Vertriebsmitarbeiter wird möglicherweise anhand der Konversionsrate bewertet, aber auch hinsichtlich der Preisdisziplin, der Eignung der Angebote und der Versprechen, die er potenziellen Kunden gibt.

Diese Bedingungen lassen sich nicht allein aus der Modellleistung ableiten. Sie spiegeln die geschäftlichen Prioritäten, die Risikobereitschaft und die Betriebsvorschriften des Unternehmens wider.

Unternehmen, die eine kontinuierliche Verbesserung ihrer Agenten anstreben, benötigen zuverlässige Bewertungsdatensätze, klare Genehmigungsverfahren und eine Dokumentation darüber, wie sich die jeweilige Version von der vorherigen unterscheidet. Außerdem müssen sie jederzeit in der Lage sein, ein Experiment abzubrechen, eine Änderung rückgängig zu machen und die Schritte nachzuvollziehen, die zu einem unerwünschten Ergebnis geführt haben.

Der Entwicklungszyklus mag zwar schneller werden, doch die Governance darf nicht länger eine jährliche Maßnahme bleiben, die erst nach der Bereitstellung durchgeführt wird.

Vom Modelltraining zum operativen Lernen

Die Markteinführung von CoreWeave spiegelt einen umfassenderen Wandel im Bereich der Unternehmens-KI wider. Der Wettbewerbsvorteil verlagert sich weg vom gelegentlichen Zugriff auf ein leistungsstarkes Modell hin zur Fähigkeit, ein KI-System anhand der Erfahrungen aus einer bestimmten Betriebsumgebung zu verbessern.

Allgemeine Modelle stehen vielen Unternehmen zur Verfügung. Was die einzelnen Implementierungen voneinander unterscheidet, sind die unternehmensspezifischen Daten, Auswertungsmethoden, Arbeitsabläufe und das gesammelte Wissen darüber, wo das System versagt. Eine Plattform, die diese Signale erfasst und in ein besseres Verhalten umsetzt, kann einen Agenten nützlicher machen, ohne dass jedes Mal, wenn die Leistung zu wünschen übrig lässt, ein neues Grundmodell erforderlich ist.

CoreWeave setzt darauf, dass dieser kontinuierliche Lernzyklus zu einem zentralen Bestandteil der KI-Infrastruktur werden wird. Das Unternehmen stellt zudem eine ehrgeizigere Behauptung hinsichtlich seiner eigenen Zukunft auf: Es beabsichtigt nicht, lediglich der Ort zu bleiben, an dem KI-Workloads ausgeführt werden.

Ob die Plattform zuverlässige Verbesserungen im Unternehmensmaßstab liefert, hängt von Ergebnissen ab, die noch nicht vorliegen. Die Integration von Inferenz, Überwachung, Auswertung und verstärkendem Lernen beseitigt technische Hindernisse, kann jedoch nicht garantieren, dass ein Agent die richtigen Erkenntnisse gewinnt.

Die Unternehmen, die am meisten davon profitieren werden, sind nicht diejenigen, die ihren Mitarbeitern lediglich erlauben, häufiger Wechsel vorzunehmen. Es werden vielmehr jene sein, die in der Lage sind, Erfahrungen aus der Praxis in sorgfältig ausgewählte Belege umzusetzen – und echte Verbesserungen von einer höheren Punktzahl bei einer falschen Kennzahl zu unterscheiden.