Note informative, sans valeur de conseil. Une idée par note, reliée à ses voisines et aux outils concernés.
L'idée en deux mots
Le fine-tuning (ajustement fin) consiste à prolonger l'entraînement d'un modèle déjà existant sur vos exemples, pour qu'il épouse un domaine, un ton ou un format précis. Longtemps réservé aux gros laboratoires, il s'est démocratisé grâce à des méthodes « économes » comme LoRA et QLoRA. Au lieu de toucher aux milliards de poids, LoRA fige le modèle d'origine et n'entraîne que de petites matrices d'adaptation — souvent moins de 1 % de la taille totale.
QLoRA pousse l'astuce plus loin en chargeant le modèle de base en 4 bits, ce qui divise encore la mémoire nécessaire. De fil en aiguille, ajuster un modèle de 7 milliards de paramètres devient possible sur une carte graphique grand public, en une après-midi — là où il fallait, hier, une ferme de serveurs.
Pourquoi c'est une belle nouvelle
Le fine-tuning local, c'est la personnalisation sans renoncer à la souveraineté : vos exemples d'entraînement restent chez vous. On obtient de petits « adaptateurs » qu'on active à la demande, réutilisables et partageables. Cela dit, pour ajouter des connaissances plutôt qu'un style, le RAG est souvent plus simple et plus traçable : les deux approches se complètent.
À relier
- La quantification — ce qui rend QLoRA possible.
- Le RAG — l'alternative pour ajouter du savoir.
- Monter en compétence — un terrain d'apprentissage idéal.
- La souveraineté — personnaliser sans exposer ses données.