Les grands modèles de langage (LLM) peuvent être adaptés à des usages spécialisés via deux grandes approches :
la recherche vectorielle (RAG) et le fine-tuning (SFT, GRPO).
Faut-il privilégier la mémoire externe ou l’apprentissage intégré ? Cet article explore les avantages, les limites et l’ambivalence de ces deux paradigmes.

🔹 Paradigme 1 : la recherche vectorielle (RAG)

La recherche vectorielle repose sur des embeddings qui transforment des textes en vecteurs pour comparer leur similarité.
Lorsqu’un utilisateur pose une question, le système interroge une base vectorielle et fournit le contexte le plus pertinent au LLM.

Avantages du RAG

• Flexibilité et mises à jour sans réentraînement
• Scalabilité pour des corpus massifs
• Fraîcheur de l’information (intégration en temps réel)
• Coûts réduits par rapport au fine-tuning

Limites du RAG

• Dépendance à la qualité des embeddings et du découpage
• Le modèle ne possède pas les connaissances en interne
• Risque de bruit si la recherche est imprécise

🔹 Paradigme 2 : le fine-tuning (SFT/GRPO)

Le fine-tuning modifie directement les poids du modèle afin qu’il intègre des connaissances spécifiques ou adopte un style particulier.
Les techniques comme le Supervised Fine-Tuning (SFT) ou le GRPO permettent de spécialiser le modèle.

Avantages du fine-tuning

• Spécialisation et intégration profonde des connaissances
• Style et ton homogènes dans les réponses
• Robustesse accrue sur des tâches répétitives
• Réduction de la latence (pas d’appel externe)

Limites du fine-tuning

• Coûts élevés en GPU et données annotées
• Rigidité : réentraînement nécessaire pour chaque mise à jour
• Risque de surapprentissage si trop spécialisé

 Deux visions du savoir

Le RAG ressemble à la consultation d’une encyclopédie : flexible et mise à jour en continu.
Le fine-tuning ressemble à l’apprentissage par cœur : intégré et performant, mais plus rigide.

 Exemple concret : le choix d’un véhicule

Cas d’usage : un LLM doit identifier le make/model/version d’un véhicule parmi des milliers de choix.

• Avec RAG : chaque modèle est vectorisé et comparé à la requête. Solution simple et évolutive.
• Avec Fine-tuning : le modèle apprend directement la taxonomie. Solution performante mais coûteuse à maintenir.

La meilleure solution est souvent hybride : RAG réduit l’espace de recherche et un modèle fine-tuné choisit le meilleur candidat.

 Vers un futur hybride

Plutôt que de choisir entre RAG et fine-tuning, il est souvent judicieux de les combiner.
Le RAG apporte la souplesse, le fine-tuning apporte la robustesse.
C’est dans leur complémentarité que réside la meilleure stratégie.

 Conclusion

En résumé, le choix entre RAG et fine-tuning dépend du besoin :
souplesse et mise à jour dynamique ou spécialisation et robustesse.
Dans la pratique, les systèmes les plus performants adoptent une approche hybride.