Fine-tuning complet
Un fine-tuning qui met à jour tous les poids du modèle, pas un petit adaptateur. Plafond de qualité le plus haut, mais demande plusieurs fois la taille du modèle en VRAM et généralement un nœud multi-GPU.
Ce que c'est
Chaque paramètre est entraînable. En plus des poids il faut garder les gradients et l'état de l'optimiseur (avec Adam, ~2x les poids encore), donc la VRAM de pointe ≈ 4x la taille du modèle en fp16 avant la mémoire d'activations. Un modèle 70B demande ~8x GPU de 80 Go ; des techniques comme ZeRO / FSDP répartissent ça sur le nœud.
Pourquoi c'est important
Le fine-tuning complet vaut le coup quand un adaptateur lora plafonne sous ta barre de qualité - changement de comportement profond, nouvelle langue, distribution de sortie très différente. Pour la plupart des tâches métier, LoRA/QLoRA t'y amènent pour un dixième du coût.