Tout savoir sur le comparateur
Foire aux questions
Oui, si vous activez la recherche web avant d’envoyer votre question dans l’arène. Les deux modèles reçoivent alors les mêmes extraits de pages trouvées en ligne, avec leurs adresses, et s’appuient dessus pour répondre. Les sources consultées s’affichent sous votre message.
Sans la recherche web, les modèles répondent uniquement à partir de ce qu’ils ont appris pendant leur entraînement : ils ne vérifient rien en ligne, et les faits récents ou très précis peuvent manquer.
La recherche web ajoute du texte à la requête envoyée aux modèles. Elle augmente donc le nombre de jetons traités, et avec lui l’énergie affichée dans le bilan.
Pas les yeux fermés. Un modèle de langage produit le texte le plus vraisemblable, pas le plus exact. Il peut affirmer une chose fausse avec le même aplomb qu’une chose vraie, inventer une date, une citation ou une référence. C’est ce qu’on appelle une hallucination, et aucun modèle n’en est exempt.
La recherche web réduit le risque sans le supprimer. Le modèle s’appuie alors sur des pages réelles, mais il peut les lire de travers, en tirer une conclusion qu’elles ne portent pas, ou tomber sur une source elle-même fausse. Les sources s’affichent précisément pour que vous puissiez vérifier.
C’est aussi ce que le comparateur rend visible : quand deux modèles répondent à la même question et se contredisent, au moins l’un des deux a tort. Cette divergence rappelle utilement qu’une réponse assurée n’est pas une réponse vérifiée.
Avec la recherche web activée, oui. Les modèles reçoivent alors des extraits de pages avec leurs adresses, et peuvent renvoyer vers elles. Les sources consultées s’affichent aussi sous votre message, pour que vous puissiez les vérifier vous-même.
Sans la recherche web, non. Un modèle de langage seul est incapable de citer les sources qui ont servi à produire sa réponse. Il prédit le mot suivant le plus probable à partir de la distribution statistique de ses données d’entraînement. Il peut synthétiser des informations venues de milliers de textes, mais il ne garde aucune trace de leur origine. S’il vous donne malgré tout une référence, elle peut être inventée.
C’est le principe de la Génération Augmentée par Récupération (RAG), dont la recherche web de compar:IA est une forme : donner au modèle des documents extérieurs au moment de répondre, pour qu’il s’appuie dessus et puisse les citer.
Vous avez posé la question suivante “explique-moi la motion de censure à l'œuvre actuellement en France à l'Assemblée nationale et cite-moi tes sources” et avez été déçu·e des réponses ? C’est normal…
Les modèles d'IA conversationnels “bruts” ne peuvent pas répondre aux questions sur l'actualité la plus récente. Ils sont entraînés sur des ensembles de données statiques et ne peuvent pas interagir avec le web ou ouvrir des liens. Ils n'ont pas la capacité de se mettre à jour en temps réel avec les événements qui se déroulent dans le monde. Les informations auxquelles le modèle a accès sont limitées à la date de son dernier entraînement.
Par conséquent, si vous posez une question sur un fait d’actualité récent, le modèle s'appuiera sur des informations potentiellement obsolètes, risquant de générer des réponses inexactes.
Dans le cas de Perplexity, Copilot ou ChatGPT, les modèles d’IA conversationnelle dits “bruts” sont associés à d’autres briques technologiques qui permettent de se connecter à internet pour accéder à des informations en temps réel. On parle alors “d’agents conversationnels”.
Sur compar:IA, activez la recherche web avant d’envoyer votre question : les modèles reçoivent alors des extraits de pages récentes et peuvent répondre sur l’actualité. Sans cette option, ils restent limités à leurs données d’entraînement.
Si vous intégrez une URL dans une requête, le modèle conversationnel ne peut pas y accéder directement. Les modèles de langage traitent le texte de la requête mais n'ont pas la capacité d'interagir avec le web ou d'ouvrir des liens. Ils sont entraînés sur un ensemble de données textuelles fixes et leurs réponses reposent sur ces données d’entraînement. Lorsqu'une question est posées, les modèles utilisent cet entraînement pour générer une réponse mais ne peuvent pas accéder à de nouvelles informations en ligne.
Par analogie, imaginez un étudiant passant un examen sans accès à internet. Il peut utiliser ses connaissances acquises pour répondre aux questions, mais ne peut pas consulter de sites web pour obtenir des informations supplémentaires.
La recherche web change en partie la donne : activée, elle fournit aux modèles le contenu de pages trouvées en ligne. Elle n’ouvre pas pour autant l’adresse précise que vous collez, elle lance une recherche à partir de votre message.
L'IA conversationnelle répond directement en formulant des phrases à partir d’un grand ensemble de données sur lesquelles le modèle a été entraîné, tandis qu’un moteur de recherche propose des liens et des ressources pour que l’internaute les explore lui-même.
Le comparateur a été conçu et développé dans le cadre d’une start-up d’État portée par le ministère de la Culture et intégrée au programme Beta.gouv.fr de la Direction interministérielle du numérique (DINUM), qui aide les administrations publiques françaises à construire des services numériques utiles, simples et faciles à utiliser.
Il est aujourd’hui financé par le ministère de la Culture, la DINUM et l’Alliance for Language Technologies (ALT-EDIC).
Le classement repose sur les votes des utilisateurs, et sur rien d’autre. À chaque duel, deux modèles répondent à l’aveugle et vous désignez celui que vous préférez.
Ces duels alimentent un modèle statistique de Bradley-Terry, qui attribue à chaque modèle le niveau expliquant au mieux l’ensemble des duels observés, exprimé sous forme de score Elo comme aux échecs. Chaque score est assorti d’un intervalle de confiance : un modèle peu affronté a un rang bien plus incertain qu’un modèle jugé des milliers de fois.
Le classement s’affiche par défaut avec le contrôle de style, qui neutralise l’effet des habitudes de présentation, longueur de la réponse ou mise en forme, pour ne comparer que le fond. Vous pouvez désactiver ce contrôle et voir le classement brut.
Il mesure une préférence humaine sur des usages réels, en langue européenne. Ce n’est pas un test de connaissances : un modèle en tête ici peut être devancé sur un examen technique.
Nous choisissons les modèles en fonction de leur popularité, de leur diversité et de la pertinence pour les utilisateurs. Nous veillons particulièrement à rendre accessibles des modèles dits open weights (semi-ouverts) et de taille différentes.
L’inférence, c’est-à-dire le fait de pouvoir interroger les modèles, est prise en charge par le projet. Pour la plupart des modèles, nous passons par les API d’Open Router et de Hugging Face et nous réglons les coûts à l’usage, au jeton.
Les modèles quantisés sont optimisés pour consommer moins de ressources en simplifiant certains calculs tout en visant la meilleure qualité de réponse.
La quantisation est une technique d'optimisation qui consiste à réduire la précision des nombres utilisés pour représenter les paramètres d'un modèle d'IA. Cela permet de diminuer la taille du modèle et d'accélérer les calculs, ce qui est particulièrement avantageux pour l'inférence sur des machines limitées en ressources.
La capacité d'un modèle à parler plusieurs langues est liée à la diversité linguistique de ses données d'entraînement et non au pays. Les LLM utilisent d'énormes corpus dans de nombreuses langues, mais la répartition des langues dans les données d'entraînement n'est pas uniforme. Une surreprésentation de l'anglais peut entraîner des limitations dans d'autres langues. Ces limitations se traduisent par exemple par des anglicismes ou une incapacité à générer des contenus dans certaines langues classées « en danger » par l'UNESCO.
L'exactitude et la richesse du vocabulaire d'un modèle dépendent des données utilisées pour son apprentissage.
Rares sont les acteurs à être “transparents” sur les sources de données utilisées dans les corpus d’entraînement. Ces informations sont souvent confidentielles pour des raisons légales et commerciales.
Les questions que vous posez, les réponses des deux modèles et le vote que vous exprimez sont enregistrés. C’est la raison d’être du service : produire des données de préférence en libre accès.
Avant publication, un modèle passe les conversations en revue pour repérer celles qui contiennent des données personnelles ou sensibles. Ces conversations sont écartées du jeu de données public, mais elles sont conservées dans un jeu de données réservé à la recherche. Il n’y a donc pas d’anonymisation du texte : une conversation est publiée telle quelle, ou pas publiée.
Ce filtre est une sécurité, pas une garantie. compar:IA ne peut pas deviner ce que vous écrivez dans l’invite : n’y saisissez aucune information permettant de vous identifier ou d’identifier un tiers, et n’y collez ni coordonnées, ni document confidentiel.
Les données de préférence servent à améliorer les modèles lors d'entraînements futurs.
En comparant à l'aveugle les réponses de deux modèles, les utilisateurs de compar:IA expriment leurs préférences, indiquant ainsi quelles réponses sont les plus pertinentes. Ces données de préférence peuvent être utilisées pour affiner l'alignement des modèles, c'est-à-dire pour les entraîner à générer des réponses plus conformes aux attentes et aux préférences des utilisateurs.
Il s'agit d'un processus itératif, où le modèle apprend progressivement à générer de meilleures réponses en fonction des retours formulés par les humains sur la qualité des réponses. En étant exposés à des données de préférence, les modèles apprennent à les intégrer dans leur processus de génération de réponses.
La spécificité des données collectées sur la plateforme compar:IA est qu’elles sont en français et qu’elles correspondent à des tâches réelles des utilisateurs. Ces données reflètent des préférences humaines dans un contexte linguistique et culturel précis. Elles permettent dans un second temps d'ajuster les modèles pour qu’ils soient plus pertinents, précis et adaptés aux usages des utilisateurs, tout en comblant les éventuels biais ou lacunes des modèles actuels.
compar:IA se positionne comme un outil d'évaluation et d'alignement spécifique au français, axé sur la qualité des réponses et la collecte de données de préférence, se distinguant ainsi de l'approche de classement global de chatbot arena développé par lmsys.org et de l'alignement éthique des modèles d’IA de Prism Alignment Project.
compar:IA utilise la méthodologie EcoLogits (GenAI Impact), qui applique les principes de l’analyse du cycle de vie (ACV) conformément à la norme ISO 14044. Elle couvre pour l’instant deux postes : l’inférence, c’est-à-dire l’usage du modèle pour répondre, et la fabrication des cartes graphiques (extraction des matières, production, transport).
Le calcul de l’énergie part du nombre de paramètres actifs du modèle et du nombre de jetons produits. Une régression, calée sur les mesures publiques du ML.ENERGY Leaderboard, donne l’énergie que la carte graphique dépense par jeton. S’y ajoute la part du serveur qui héberge le modèle, puis le tout est multiplié par le PUE du centre de données, qui tient compte du refroidissement et des pertes.
Le matériel de référence est celui des centres de données : une carte NVIDIA H100 de 80 Go, un serveur de 8 cartes tirant 1,2 kW, une durée de vie de trois ans et un traitement par lots de 64 requêtes en parallèle. Le nombre de cartes retenu dépend de la mémoire qu’exige le modèle.
L’équivalent CO₂ se déduit ensuite de cette consommation électrique, en la multipliant par le facteur d’émission du mix électrique du pays où tourne le modèle.
Pour les modèles propriétaires, dont la taille n’est pas publiée, EcoLogits raisonne sur une fourchette : les chiffres affichés sont alors des estimations, signalées comme telles.
Il est important de noter que les méthodes d’évaluation de l’impact environnemental de l’IA sont encore en construction.
Chaque modèle reçoit une classe de A à F, sur le principe des étiquettes énergie de l’électroménager. Elle repose sur un seul chiffre : l’énergie qu’il faut pour produire un million de jetons.
- A : moins de 100 Wh
- B : de 100 à 300 Wh
- C : de 300 à 1 000 Wh
- D : de 1 000 à 3 000 Wh
- E : de 3 000 à 10 000 Wh
- F : plus de 10 000 Wh
La classe dépend surtout de la taille du modèle et de son architecture. Un modèle dense mobilise tous ses paramètres à chaque réponse. Un modèle à mélange d’experts n’en active qu’une partie : à taille totale égale, il consomme donc moins.
Cette classe est là pour aider à choisir. Pour beaucoup de tâches courantes, un modèle classé A ou B répond aussi bien qu’un modèle classé E, pour une fraction de l’énergie.
compar:IA affiche, pour chaque modèle, le matériel qu’il faudrait pour le faire tourner : un smartphone, un ordinateur portable, une station de travail avec une carte graphique, ou un serveur avec plusieurs cartes.
L’estimation part de la mémoire dont le modèle a besoin pour charger ses paramètres, puis la divise par 80 Go, la mémoire d’une carte NVIDIA H100, la référence des centres de données. Un modèle qui demande 320 Go tient ainsi sur quatre cartes.
C’est un ordre de grandeur, pas une configuration de production : le calcul ne compte ni la mémoire prise par le contexte, ni les copies du modèle déployées pour absorber le trafic. Il donne surtout une idée concrète de ce que « grand modèle » veut dire, et de ce qui reste utilisable sur une machine ordinaire.
La localisation des centres de données joue un rôle dans l'empreinte carbone de l'IA. Si un modèle est entraîné ou utilisé dans un pays fortement dépendant des énergies fossiles, son impact environnemental sera plus important que s'il est hébergé dans un pays utilisant majoritairement des énergies renouvelables.
La méthode d'analyse de l'impact environnemental de l'IA développée par Ecologits (de GenAI Impact), intègre des données sur le mix énergétique des différents pays où se situent les serveurs. Cela permet d'obtenir une estimation plus précise et nuancée de l'empreinte carbone réelle de l’inférence sur les différents modèles d’IA générative.
Les indicateurs d'impact écologique actuels se focalisent principalement sur l'impact de l'inférence, c'est-à-dire l'utilisation des modèles d'IA pour répondre aux requêtes. Cette approche peut donner l'illusion que l'inférence est moins énergivore que l'entraînement des modèles. Cependant, la réalité est plus complexe. Prenons l'analogie de la voiture :
- Construire une voiture (l'entraînement) est un processus ponctuel et gourmand en ressources.
- Chaque trajet en voiture (l'inférence) consomme moins d'énergie, mais ces trajets sont répétés quotidiennement, et leur nombre est potentiellement immense.
De la même manière, l'impact cumulé de l'inférence, à l'échelle de millions d'utilisateurs effectuant des requêtes quotidiennement, peut s'avérer supérieur à l'impact de l'entraînement initial. C'est pourquoi il est crucial que les outils d'évaluation de l'empreinte carbone de l'IA prennent en compte l'ensemble du cycle de vie des modèles, de l'entraînement à l'utilisation en production
Oui, l'internationalisation de compar:IA est en cours. Nous commençons par un élargissement à trois pays pilotes : la Lituanie, la Suède et le Danemark. Cette première phase permet de tester l’approche et d'adapter l’interface à différents contextes linguistiques et culturels européens. À terme, le cercle pourra s'étendre à davantage de langues européennes selon les retours d'expérience de ces pays pilotes. L'objectif est de construire progressivement un véritable commun numérique européen pour l'évaluation humaine des IA conversationelles, avec une gouvernance collaborative qui reste encore à définir entre les différents pays participants.
Le développement d’un plateforme européenne de comparaison des modèles d’IA conversationnelle offre plusieurs avantages concrets. Elle permet de collecter des données de préférence reflétant les besoins réels des utilisateurs européens, améliorant ainsi la pertinence des modèles pour ce public. Elle garantit ainsi une meilleure représentation des langues et cultures européennes, souvent sous-représentées dans les évaluations globales dominées par l'anglais. Elle assure aussi une conformité avec les réglementations européennes (RGPD, AI Act) et intègre des critères d'évaluation alignés sur les priorités européennes comme la durabilité environnementale et la transparence algorithmique. Enfin, elle favorise l'émergence d'un écosystème d'IA européen compétitif et autonome.