Precio de entrada en caché
Un descuento sobre los tokens de entrada que se repiten entre llamadas: un prompt de sistema estable, ejemplos few-shot, un documento largo. El prefijo en caché se factura a aproximadamente el 10-25% de la tarifa de entrada normal.
Qué es
Cuando peticiones consecutivas comparten un prefijo de apertura idéntico, el proveedor puede reutilizar su cómputo. Pagas una pequeña tarifa única de «escritura de caché» y luego una tarifa de «lectura de caché» muy rebajada en cada llamada posterior que acierta el mismo prefijo (dentro de un TTL corto).
Es una función de facturación, distinta del caché KV en la GPU.
Por qué importa
Para cualquier app con un prompt fijo grande (instrucciones de agente, un esquema, una base de conocimiento) la caché puede reducir la factura de entrada entre un 50 y un 90%. Solo funciona si el prefijo es idéntico byte a byte y las peticiones son lo bastante frecuentes para mantenerlo caliente.
Ejemplo
Un agente de código con un prompt de sistema de 12K tokens, 100K llamadas/mes: la entrada sin caché son ~1,2B de tokens. A 3 $/1M son 3.600 $. Con lecturas de caché a 0,30 $/1M el mismo prefijo cuesta ~360 $: un ahorro de 3.240 $.