Fine-tuning completo
Um fine-tuning que atualiza todos os pesos do modelo, não um pequeno adaptador. O teto de qualidade mais alto, mas precisa de várias vezes o tamanho do modelo em VRAM e normalmente um nó multi-GPU.
O que é
Todo parâmetro é treinável. Além dos pesos, você precisa manter os gradientes e o estado do otimizador (com Adam, mais ~2× os pesos), então a VRAM de pico é cerca de 4× o tamanho do modelo em fp16 antes da memória de ativações. Um modelo de 70B precisa de ~8 GPUs de 80 GB; técnicas como ZeRO / FSDP distribuem isso pelo nó.
Por que importa
O fine-tuning completo vale a pena quando um adaptador lora estaciona abaixo da sua régua de qualidade — mudança de comportamento profunda, um idioma novo, uma distribuição de saída muito diferente. Para a maioria das tarefas de negócio, LoRA/QLoRA levam você lá por um décimo do custo.