Fine-tuning
Seguir entrenando un modelo existente con tus propios ejemplos para que se adapte a una tarea, un estilo o un formato. Más barato y rápido que entrenar desde cero; sigue siendo un costo de GPU que pagas una vez por ejecución.
Qué es
Tomas un modelo base preentrenado, le das de unos cientos a unos cientos de miles de pares entrada/salida y ejecutas unas cuantas pasadas de entrenamiento (épocas). Los pesos se desplazan hacia tus datos. El resultado es un modelo nuevo que alojas tú o subes a un proveedor que aloja fine-tunes.
Dos grandes familias: fine-tuning completo (actualiza todos los pesos: caro) y los métodos eficientes en parámetros como lora / qlora (actualizan un pequeño complemento: baratos). La mayoría se refiere a la segunda.
Por qué importa
El fine-tuning es una alternativa a un prompt de sistema largo + ejemplos few-shot. Bien hecho, permite que un modelo más pequeño y barato iguale a uno más grande en tu tarea concreta, lo que cambia tu costo por millón de tokens por petición para siempre, no solo una vez.
Hecho por el motivo equivocado (añadir conocimiento: usa rag en su lugar) quema tiempo de GPU para poca ganancia.
Impacto en costo e infraestructura
Costo = GPU-horas de la ejecución + almacenamiento de los pesos resultantes + (si se aloja) un sobrecosto de servicio por token. Una ejecución lora sobre un modelo de 7-8B suele costar de unos dólares a unas decenas de dólares de tiempo de GPU; un fine-tuning completo de un modelo de 70B, de cientos a miles.
Modela tu ejecución con la calculadora de costo de fine-tuning antes de alquilar nada.
Conceptos relacionados
Úsalo en Obolith
Preguntas frecuentes
¿Fine-tuning o RAG?
RAG para darle al modelo datos que debe consultar. Fine-tuning para cambiar cómo se comporta: tono, formato, seguir un estilo de instrucciones concreto. Se combinan bien.