FP16 / BF16
Formatos de coma flotante de 16 bits. La precisión por defecto para servir modelos grandes: ~2 bytes por parámetro. BF16 cambia bits de mantisa por rango y es el estándar en la etapa de entrenamiento.
Qué es
FP16 y BF16 usan ambos 16 bits. FP16 tiene más precisión pero un rango estrecho (puede desbordar); BF16 tiene el mismo rango que un float de 32 bits con menos precisión, lo que lo hace más estable para entrenar. Para inferencia, cualquiera da salida de calidad completa a 2 bytes/parámetro.
Por qué importa
Es la referencia contra la que se miden el presupuesto de VRAM y el ahorro de la cuantización. «El modelo de 70B necesita 140 GB» asume fp16/bf16.