CoreWeave quiere que los agentes de IA aprendan de sus errores

Un agente de IA puede funcionar de forma convincente en una demostración controlada y, aun así, fallar en cuanto se enfrenta a una solicitud de un cliente desconocida, una instrucción ambigua o una herramienta de software que se comporta de forma diferente a lo esperado. Las empresas tienen entonces que identificar qué ha fallado, reproducir el fallo, ajustar el sistema y volver a probarlo. El proceso puede llevar semanas, mientras el agente sigue enfrentándose a nuevas situaciones en producción.

CoreWeave quiere acortar ese ciclo. El proveedor estadounidense de infraestructura en la nube ha presentado una plataforma que vincula más estrechamente el funcionamiento de los agentes de IA con los sistemas utilizados para supervisarlos, evaluarlos y volver a entrenarlos. Los datos generados mientras un agente está trabajando pueden convertirse en información útil para futuras mejoras, en lugar de quedar dispersos en registros, tickets de asistencia y conjuntos de pruebas recopilados manualmente.

La empresa describe esto como la mejora de los agentes autónomos. La terminología sugiere que las máquinas aprenden por sí mismas, aunque en la práctica el proceso está más controlado. CoreWeave está creando un ciclo técnico integrado a través del cual las organizaciones pueden observar el comportamiento de un agente, identificar sus puntos débiles, realizar experimentos y utilizar el aprendizaje por refuerzo para mejorar su rendimiento.

Para los usuarios empresariales, el cambio importante no radica tanto en la palabra “autónomo” como en la integración de varios procesos que antes estaban separados.

El entorno de producción pasa a formar parte del sistema de formación

Tradicionalmente, los modelos de IA se han entrenado antes de su implementación y se han supervisado posteriormente. Estas dos fases suelen implicar a equipos, herramientas y conjuntos de datos diferentes. Los ingenieros desarrollan un modelo o agente, lo prueban con una serie de escenarios previstos y lo ponen en marcha una vez que su rendimiento alcanza un umbral aceptable. La supervisión en producción puede revelar nuevos errores, pero convertir esas observaciones en un sistema mejorado requiere otro ciclo de desarrollo.

Esa estructura funciona razonablemente bien para el software convencional, en el que una misma entrada suele producir un resultado predecible. Los agentes de IA son más difíciles de probar porque interpretan el lenguaje, seleccionan herramientas y toman una secuencia de decisiones. El número de interacciones posibles aumenta rápidamente, sobre todo cuando un agente está conectado a bases de datos corporativas, aplicaciones externas o sistemas operativos.

Un conjunto de evaluación creado antes de la puesta en marcha no puede abarcar todas las solicitudes que recibirá el agente. Puede funcionar bien en casos rutinarios y fallar cuando se dan varias pequeñas complicaciones a la vez. Un agente de atención al cliente, por ejemplo, podría recuperar la información correcta de la cuenta y comprender la política de reembolsos de la empresa, pero aun así tomar una medida errónea porque una excepción contractual inusual se expresaba de forma diferente a los ejemplos utilizados durante las pruebas.

La plataforma de CoreWeave está diseñada para que esa experiencia de producción se incorpore al proceso de desarrollo. Su infraestructura de inferencia ejecuta el agente, mientras que la tecnología de Weights & Biases registra los rastros, evalúa los resultados y supervisa el rendimiento. A continuación, las capacidades de aprendizaje por refuerzo de OpenPipe pueden utilizarse para entrenar al agente con ejemplos seleccionados y recompensar los comportamientos más exitosos.

En lugar de considerar cada fallo de producción como un incidente aislado, los desarrolladores pueden utilizar patrones recurrentes para crear nuevas señales de entrenamiento.

CoreWeave avanza en la cadena de valor de la IA

El comunicado también revela cómo ve CoreWeave la evolución de su posición en el mercado de la inteligencia artificial.

La empresa saltó a la fama al ofrecer acceso a una infraestructura de procesamiento gráfico para el entrenamiento y el funcionamiento de grandes modelos de inteligencia artificial. Ese negocio sigue siendo muy intensivo en capital y depende en gran medida de la capacidad de ampliar la capacidad de los centros de datos, conseguir chips avanzados y mantener el costoso hardware en uso productivo.

Sin embargo, la capacidad de cálculo por sí sola se está convirtiendo en un producto cada vez más competitivo. Los grandes proveedores de servicios en la nube están ampliando su infraestructura de IA, los desarrolladores de modelos están estrechando sus vínculos con los fabricantes de chips y los clientes empresariales esperan cada vez más un software que les ayude a gestionar sistemas de IA, en lugar de limitarse a alquilar procesadores.

Por ello, CoreWeave ha ido desarrollando capacidades en torno a la capa de infraestructura. Adquirió Weights & Biases, cuyo software se utiliza para realizar un seguimiento de los experimentos de aprendizaje automático y supervisar los modelos, y acordó adquirir OpenPipe, una empresa especializada en aprendizaje por refuerzo para agentes de IA. La nueva plataforma combina estos activos con los servicios de inferencia y los entornos de pruebas aislados de CoreWeave.

La lógica comercial es clara. Un cliente que recurre al mismo proveedor para ejecutar un agente, observar su comportamiento, evaluar los fallos y llevar a cabo un entrenamiento adicional se va integrando cada vez más en la tecnología de dicho proveedor. CoreWeave puede hacerse con una mayor parte del presupuesto destinado al desarrollo de la IA, al tiempo que hace que su infraestructura sea más difícil de sustituir.

Se trata de una estrategia habitual en la computación en la nube: empezar por la infraestructura e ir añadiendo poco a poco las herramientas con las que los clientes gestionan la carga de trabajo. La diferencia radica en que los agentes de IA generan unos requisitos operativos excepcionalmente exigentes. Pueden realizar numerosas llamadas a modelos mientras planifican una tarea, consultan datos y utilizan herramientas de software. Cada paso adicional consume capacidad de cálculo e introduce otro posible punto de fallo.

Por lo tanto, una plataforma que haga que esos sistemas sean más fiables podría aumentar tanto los ingresos por software como la demanda de la infraestructura subyacente.

La mejora no significa evolución sin supervisión

La posibilidad de que los agentes mejoren a partir de su propia actividad plantea una cuestión obvia en materia de gobernanza. Un sistema que modifica su comportamiento no debe volverse más eficiente a la hora de producir un resultado erróneo.

Los datos de producción pueden contener información confidencial, casos anómalos y ejemplos de decisiones humanas erróneas. La satisfacción del usuario tampoco es un indicador fiable de la corrección. Un agente puede recibir comentarios positivos por dar una respuesta rápida o agradable, incluso cuando dicha respuesta incumpla una política, pase por alto un riesgo o invente información.

Por consiguiente, las empresas deberán decidir qué interacciones pueden considerarse material formativo útil, cómo se mide el éxito y quién aprueba los cambios antes de su publicación. En los sectores regulados, es posible que los criterios de evaluación deban incluir requisitos legales, de cumplimiento normativo y de documentación, además de la rapidez y la finalización de las tareas.

El aprendizaje por refuerzo es especialmente sensible al diseño de sus señales de recompensa. Cuando se recompensa a un sistema por alcanzar un objetivo concreto, este puede descubrir atajos que, técnicamente, mejoran el resultado medido, pero que debilitan el proceso en su conjunto. Un agente al que se le haya encomendado resolver rápidamente los casos de asistencia técnica podría aprender a cerrarlos prematuramente. Un agente de programación cuya eficacia se evalúe principalmente en función de si el software supera las pruebas automatizadas podría generar soluciones frágiles que provoquen problemas de seguridad o de mantenimiento en otros ámbitos.

Por lo tanto, el valor de la plataforma de CoreWeave dependerá de la calidad de los controles establecidos en torno al ciclo de retroalimentación. La observabilidad facilita la inspección del comportamiento de los agentes, pero no determina qué comportamiento es aceptable. La automatización puede acelerar la experimentación sin eximir de la responsabilidad por los resultados.

Las empresas aún tienen que definir qué se considera un buen resultado

Este anuncio podría animar a los directivos a imaginar sistemas de inteligencia artificial que mejoren progresivamente con una mínima intervención humana. En la mayoría de las organizaciones, el problema más difícil surgirá antes que la tecnología: definir un criterio fiable con el que evaluar dicha mejora.

Un agente dedicado a la investigación interna debe demostrar que sus fuentes son fiables y que sus conclusiones son verificables. Un agente que se encarga de operaciones financieras debe estar sujeto a límites estrictos en cuanto a las transacciones que puede iniciar. A un agente de ventas se le puede evaluar en función de la tasa de conversión, pero también en cuanto a la disciplina en la fijación de precios, la idoneidad y las promesas que hace a los posibles clientes.

Estas condiciones no pueden deducirse únicamente a partir del rendimiento del modelo. Reflejan las prioridades comerciales de la empresa, su apetito de riesgo y sus normas de funcionamiento.

Las organizaciones que se planteen mejorar continuamente sus agentes necesitarán conjuntos de datos de evaluación sólidos, procesos de aprobación claros y un registro de las diferencias entre cada versión y la anterior. Además, deben conservar la capacidad de detener un experimento, revertir un cambio y reconstruir las acciones que dieron lugar a un resultado indeseable.

Puede que el ciclo de ingeniería se acelere, pero la gobernanza no puede seguir siendo un ejercicio anual que se lleve a cabo tras la implementación.

Del entrenamiento de modelos al aprendizaje operativo

El lanzamiento de CoreWeave refleja una transición más amplia en el ámbito de la IA empresarial. La ventaja competitiva está pasando de consistir en el acceso ocasional a un modelo potente a la capacidad de mejorar un sistema de IA utilizando la experiencia adquirida en un entorno operativo específico.

Muchas empresas disponen de modelos de uso general. Lo que distingue una implementación de otra son los datos propios de la organización, los métodos de evaluación, los flujos de trabajo y el conocimiento acumulado sobre los puntos débiles del sistema. Una plataforma que capte esas señales y las convierta en un mejor comportamiento puede hacer que un agente resulte más útil sin necesidad de recurrir a un nuevo modelo base cada vez que el rendimiento no sea el esperado.

CoreWeave apuesta por que este ciclo de aprendizaje continuo se convierta en una parte fundamental de la infraestructura de IA. La empresa también plantea una visión más ambiciosa sobre su propio futuro: no pretende limitarse a ser simplemente el lugar donde se ejecutan las cargas de trabajo de IA.

Que la plataforma ofrezca una mejora fiable a escala empresarial dependerá de unos resultados que aún no están disponibles. La integración de la inferencia, la supervisión, la evaluación y el aprendizaje por refuerzo elimina las dificultades técnicas, pero no puede garantizar que un agente aprenda la lección adecuada.

Las empresas que más se beneficien no serán aquellas que simplemente permitan a sus agentes cambiar con mayor frecuencia. Serán aquellas capaces de plasmar la experiencia del mundo real en datos cuidadosamente seleccionados, y de distinguir una mejora real de una puntuación más alta en un indicador erróneo.