FP8
Flottant 8 bits. Divise par deux la mémoire face au 16 bits tout en gardant une plage flottante, donc perte de qualité en général plus faible que l'INT8 entier. Exige un support matériel (Hopper, Blackwell, MI300).
Ce que c'est
Le FP8 sert de plus en plus les modèles de pointe : poids et parfois activations en 8 bits, avec un scaling par tenseur pour préserver la précision. Les GPU récents ont des tensor cores FP8 natifs, ce qui accélère aussi le prefill.
Pourquoi c'est important
Le FP8 permet à un modèle de tenir dans un palier VRAM plus petit avec moins de risque qu'int4, mais ne paie que sur les GPU qui le supportent - un critère de choix matériel.