FP8
Coma flotante de 8 bits. Reduce a la mitad la memoria frente a 16 bits manteniendo un rango de coma flotante, así que la pérdida de calidad suele ser menor que con el INT8 entero. Necesita soporte de hardware (Hopper, Blackwell, MI300).
Qué es
FP8 se usa cada vez más para servir modelos de frontera: pesos y a veces activaciones a 8 bits, con escalado por tensor para preservar la precisión. Las GPU recientes tienen tensor cores FP8 nativos, así que también acelera el prefill.
Por qué importa
FP8 permite que un modelo quepa en un escalón de VRAM más pequeño con menos riesgo de calidad que int4, pero solo compensa en GPU que lo soportan: un factor al elegir hardware.