Ajustement précis ou apprentissage en contexte : de nouvelles recherches guident une meilleure personnalisation du LLM pour les tâches du monde réel

Deux approches populaires pour personnaliser les grands modèles de langage (LLM) pour les tâches en aval sont le réglage fin et l'apprentissage en contexte (ICL). Dans une étude récente , des chercheurs de Google DeepMind et de l'Université de Stanford ont exploré les capacités de généralisation de ces deux méthodes. Ils ont constaté que l'ICL présente une plus grande capacité de généralisation (bien que son coût de calcul lors de l'inférence soit plus élevé). Ils proposent également une nouvelle approche pour tirer le meilleur parti des deux approches.

Les résultats peuvent aider les développeurs à prendre des décisions cruciales lors de la création d’applications LLM pour leurs données d’entreprise sur mesure.

Le réglage fin consiste à utiliser un LLM pré-entraîné et à l'entraîner davantage sur un jeu de données plus restreint et spécialisé. Cela permet d'ajuster les paramètres internes du modèle pour lui enseigner de nouvelles connaissances ou compétences. L'apprentissage en contexte (ICL), en revanche, ne modifie pas les paramètres sous-jacents du modèle. Il guide le LLM en fournissant des exemples de la tâche souhaitée directement dans l'invite de saisie. Le modèle utilise ensuite ces exemples pour déterminer comment traiter une nouvelle requête similaire.

Les chercheurs ont entrepris de comparer rigoureusement la capacité des modèles à se généraliser à de nouvelles tâches grâce à ces deux méthodes. Ils ont construit des « ensembles de données synthétiques contrôlés de connaissances factuelles » dotés de structures complexes et cohérentes, telles que des arbres généalogiques imaginaires ou des hiérarchies de concepts fictifs.

Pour s'assurer qu'ils testaient la capacité du modèle à apprendre de nouvelles informations, ils ont remplacé tous les noms, adjectifs et verbes par des termes absurdes, évitant ainsi tout chevauchement avec les données que les LLM auraient pu rencontrer lors de la pré-formation.

Les modèles ont ensuite été testés sur divers défis de généralisation. Par exemple, un test impliquait de simples inversions . Si un modèle était entraîné sur le principe que « les femp sont plus dangereux que les glons », pouvait-il déduire correctement que « les glons sont moins dangereux que les femp » ? Un autre test portait sur des syllogismes simples , une forme de déduction logique. Si on lui demandait « Tous les glons sont des yomp » et « Tous les troff sont des glons », le modèle pouvait-il déduire que « Tous les troff sont des yomp » ? Ils ont également utilisé un « test de structure sémantique » plus complexe, avec une hiérarchie plus riche de ces faits inventés, pour tester une compréhension plus nuancée.

« Nos résultats se concentrent principalement sur les paramètres concernant la façon dont les modèles se généralisent aux déductions et aux inversions à partir d'un réglage fin sur de nouvelles structures de connaissances, avec des implications claires pour les situations où le réglage fin est utilisé pour adapter un modèle à des informations spécifiques à l'entreprise et exclusives », a déclaré à VentureBeat Andrew Lampinen, chercheur scientifique chez Google DeepMind et auteur principal de l'article.

Pour évaluer les performances, les chercheurs ont affiné Gemini 1.5 Flash sur ces ensembles de données. Pour ICL, ils ont alimenté l'ensemble des données d'entraînement (ou de larges sous-ensembles) comme contexte pour un modèle optimisé par les instructions avant de poser les questions du test.

Les résultats ont systématiquement montré que, dans des contextes de données appariées, l'ICL permettait une meilleure généralisation que le réglage fin standard. Les modèles utilisant l'ICL étaient généralement plus performants pour des tâches telles que l'inversion de relations ou la réalisation de déductions logiques à partir du contexte fourni. Les modèles pré-entraînés, sans réglage fin ni ICL, obtenaient de faibles performances, ce qui témoigne de la nouveauté des données de test.

« L'un des principaux compromis à prendre en compte est que, même si l'ICL ne nécessite pas de réglage fin (ce qui permet de réduire les coûts de formation), il est généralement plus coûteux en calcul à chaque utilisation, car il nécessite d'apporter un contexte supplémentaire au modèle », a expliqué Lampinen. « En revanche, l'ICL a tendance à mieux se généraliser aux ensembles de données et aux modèles que nous avons évalués. »

Partant du constat que l'ICL excelle dans la généralisation flexible, les chercheurs ont proposé une nouvelle méthode pour améliorer le réglage fin : l'ajout d'inférences contextuelles aux données de réglage fin. L'idée principale est d'utiliser les capacités ICL du LLM pour générer des exemples plus diversifiés et plus riches en inférences, puis d'ajouter ces exemples enrichis à l'ensemble de données utilisé pour le réglage fin.

Ils ont exploré deux principales stratégies d’augmentation des données :

1. Stratégie locale : cette approche se concentre sur des informations individuelles. Le LLM est invité à reformuler des phrases isolées à partir des données d'apprentissage ou à en tirer des conclusions directes, par exemple en générant des inversions.
2. Une stratégie globale : Le LLM reçoit l'ensemble complet des données de formation comme contexte, puis est invité à générer des inférences en reliant un document ou un fait particulier au reste des informations fournies, conduisant à une trace de raisonnement plus longue des inférences pertinentes.

Lorsque les modèles ont été affinés sur ces ensembles de données enrichis, les gains ont été significatifs. Ce réglage affiné a considérablement amélioré la généralisation, surpassant non seulement le réglage fin standard, mais aussi l'ICL simple.

« Par exemple, si l'un des documents de l'entreprise indique que « XYZ est un outil interne d'analyse de données », nos résultats suggèrent que l'ICL et le réglage fin augmenté seront plus efficaces pour permettre au modèle de répondre à des questions connexes telles que « Quels outils internes d'analyse de données existent ? » », a déclaré Lampinen.

Cette approche offre une voie d'avenir prometteuse aux entreprises. En investissant dans la création de ces ensembles de données enrichis par ICL, les développeurs peuvent créer des modèles affinés dotés de capacités de généralisation renforcées.

Cela peut conduire à des applications LLM plus robustes et plus fiables, plus performantes sur des entrées diverses et réelles, sans encourir les coûts de temps d'inférence continus associés aux grandes invites contextuelles.

« Le réglage fin augmenté augmente généralement le coût du processus de réglage fin du modèle, car il nécessite une étape supplémentaire d'ICL pour enrichir les données, suivie d'un réglage fin », a déclaré Lampinen. « La justification de ce surcoût par la généralisation améliorée dépendra du cas d'utilisation spécifique. Cependant, il est moins coûteux en termes de calcul que l'application d'ICL à chaque utilisation du modèle, une fois amorti sur plusieurs utilisations. »

Bien que Lampinen ait noté que des recherches supplémentaires sont nécessaires pour voir comment les composants qu'ils ont étudiés interagissent dans différents contextes, il a ajouté que leurs résultats indiquent que les développeurs pourraient vouloir envisager d'explorer le réglage fin augmenté dans les cas où ils constatent des performances inadéquates du seul réglage fin.

« En fin de compte, nous espérons que ce travail contribuera à la science de la compréhension de l’apprentissage et de la généralisation dans les modèles fondamentaux, ainsi qu’aux aspects pratiques de leur adaptation aux tâches en aval », a déclaré Lampinen.