Días 1 y 2. Revisión del consumo
Qué modelos usas, en qué tareas, con cuántos tokens y a qué coste. Parto de tus facturas, del panel del proveedor y de los registros de tu aplicación.
Auditoría de costes de LLM
Modelo caro, solo cuando hace falta.
Reviso qué modelos usa tu producto, para qué tareas y cuánto te cuesta cada una. Después instalo en tu código un router que envía las peticiones sencillas a modelos más baratos y deja las difíciles para los caros.
- Plazo
- Una semana
- Precio
- Cerrado y por escrito
- Entrega
- Código, pruebas y documentación
- Dónde
- En tu repositorio
Para quién es
Equipos con un LLM en producción.
- Tienes agentes, un chatbot o un bot de voz que atienden a usuarios reales.
- La factura de OpenAI, Anthropic u otro proveedor sube cada mes y no está claro qué parte del producto la genera.
- Casi todas las peticiones van al mismo modelo, aunque muchas sean sencillas.
Antes y después
Cada petición, al modelo que le toca.
El reparto real sale de tus datos, no de este dibujo.
Antes
Después
La semana
Qué hago cada día.
Cinco días laborables desde que tengo los accesos. Cada paso deja algo que puedes revisar.
Día 3. Propuesta por escrito
Qué tareas pueden pasar a un modelo más barato, qué ahorro cabe esperar con tus datos y qué riesgo tiene cada cambio. Si el ahorro no compensa, lo sabrás en este punto, antes de instalar nada.
Días 4 y 5. Router y pruebas
Instalo el router en una rama de tu repositorio. Las pruebas comparan las respuestas del modelo barato con las del caro sobre tus casos reales.
Entrega. Documentación y traspaso
Cómo se configura, cómo se mide el ahorro y cómo se desactiva con un cambio de configuración.
Qué te llevas
Informe de consumo
Gasto por modelo y por tarea, con los datos de origen y las cuentas a la vista.
Router en tu código
Configurable por tarea y desactivable con un cambio de configuración.
Pruebas de calidad
Una tarea solo pasa al modelo barato si supera la comparación con tus casos.
Registro de costes
Coste por petición y por modelo, para comprobar el ahorro después de la entrega.
Documentación
Para que tu equipo mantenga y ajuste el router sin depender de mí.
Qué necesito de ti
- Acceso de lectura al panel de facturación del proveedor o una exportación del consumo.
- Una muestra de peticiones reales, anonimizada si contiene datos personales.
- Acceso a una rama del repositorio donde se hacen las llamadas al modelo.
- Una persona de tu equipo que revise y apruebe el cambio.
La capa de decisión
Decidir rápido y por poco dinero.
Si elegir el modelo cuesta casi lo mismo que la respuesta, el ahorro desaparece. Hay varios modelos pensados para esta tarea. El más conocido es Jev, de TypeSafe AI, que tarda entre 70 y 500 ms en devolver una decisión tipada, según su fabricante.
Si prefieres no añadir otro proveedor, la decisión puede tomarla un modelo pequeño del proveedor que ya usas o un conjunto de reglas. Lo elegimos juntos y queda por escrito.
Precio
Una cifra cerrada, antes de empezar.
El precio depende del número de flujos, proveedores y entornos. Lo acordamos por escrito junto con el alcance y el plazo, antes de tocar nada.
Primera conversación
Quince minutos para ver qué proveedor usas, cuánto gastas y si un router tiene sentido en tu caso.
Propuesta por escrito
Alcance, plazo y precio cerrado. Sin horas abiertas ni costes que aparezcan después.
Si el ahorro no compensa
La revisión de los primeros días lo muestra antes de instalar nada, y decidimos por escrito si seguir, reducir el alcance o parar.
Preguntas frecuentes
Lo que suele preguntarse antes.
Solicitud
Cuéntame tu caso en un minuto.
Con estos datos puedo decirte, antes de hablar, si un router tiene sentido en tu producto. Te responderé personalmente.
Siguiente paso
Cuéntame qué te está costando.
Si te ha llegado un correo mío, basta con responderlo. Si no, escribe a esta dirección con el proveedor que usas y lo que pagas al mes, aunque sea aproximado. Si prefieres hablarlo, pide una llamada de 15 minutos y te propongo horarios.