Des votes… au classement des modèles
Ce classement est calculé à partir des votes recueillis lors de comparaisons à l’aveugle, selon le modèle statistique Bradley-Terry. Il reflète des préférences subjectives et doit être interprété avec prudence : il ne mesure ni la factualité des réponses ni la performance globale des modèles.
Mise à jour le 9/9/2026
Classe Infobulle Classe de modèles que les votes ne permettent pas de départager. Chaque modèle d'une classe est statistiquement indiscernable du premier de sa classe. Les classes sont calculées sur l'ensemble du classement : elles ne changent pas quand vous filtrez ou triez le tableau. La dernière classe regroupe tous les modèles situés en dessous. | Modèle | Score de satisfaction BT Infobulle Score statistique estimé selon le modèle Bradley-Terry reflétant la probabilité qu'un modèle soit préféré à un autre. Ce score est calculé à partir de l'ensemble des votes et réactions des utilisateurs. Pour en savoir plus, rendez-vous sur l’onglet méthodologie. | Confiance (±) Infobulle Intervalle indiquant la fiabilité du rang de classement : plus l'intervalle est étroit, plus l'estimation du rang est fiable. Il y a 95% de chances que le vrai rang du modèle soit dans cette plage. | Total votes | Conso. moyenne (1000 tokens) Infobulle Mesurée en milliwattheures, l’énergie consommée représente l'électricité utilisée par le modèle pour traiter une requête et générer la réponse correspondante. La consommation énergétique des modèles dépend de leur taille et de leur architecture. Nous prenons le parti d’afficher en grisé non analysés (N/A) les modèles propriétaires pour lesquels nous ne disposons pas d’information transparente sur la taille et l’architecture. | Taille (paramètres) Infobulle Taille du modèle en milliards de paramètres, catégorisée selon cinq classes. Pour les modèles propriétaires, cette taille n’est pas communiquée. | Architecture Infobulle L'architecture d'un modèle LLM désigne les principes de conception qui définissent comment les composants d'un réseau de neurones sont agencés et interagissent pour transformer les données d'entrée en sorties prédictives, incluant le mode d'activation des paramètres (dense vs. sparse), la spécialisation des composants et les mécanismes de traitement de l'information (transformers, réseaux convolutifs, architectures hybrides). | Date sortie | Organisation | Licence |
|---|---|---|---|---|---|---|---|---|---|---|
| Classe I, #1 à 3 | -6/+0 | 185 | N/A | XL - (estimation) | N/A | 8/26 | Meta | |||
| Classe I, #1 à 3 | -24/+2 | 178 | N/A | L - (estimation) | N/A | 8/26 | ||||
| Classe I, #1 à 3 | -9/+2 | 1454 | N/A | L - (estimation) | N/A | 3/26 | OpenAI | |||
| Classe II, #4 à 10 | -9/+3 | 3855 | N/A | XL - (estimation) | N/A | 12/25 | ||||
| Classe II, #4 à 10 | -25/+5 | 477 | N/A | L - (estimation) | N/A | 7/26 | OpenAI | |||
| Classe II, #4 à 10 | -29/+8 | 359 | N/A | L - (estimation) | N/A | 7/26 | OpenAI | |||
| Classe II, #4 à 10 | -30/+8 | 365 | N/A | L - (estimation) | N/A | 7/26 | ||||
| Classe II, #4 à 10 | -16/+9 | 2649 | N/A | L - (estimation) | N/A | 4/26 | OpenAI | |||
| Classe II, #4 à 10 | -14/+11 | 2744 | N/A | L - (estimation) | N/A | 3/26 | ||||
| Classe II, #4 à 10 | -19/+11 | 2551 | N/A | L - (estimation) | N/A | 3/26 | OpenAI | |||
| Classe III, #11 à 25 | -21/+12 | 2541 | 117 mWh | S - 31 Mds | Dense | 4/26 | ||||
| Classe III, #11 à 25 | -20/+13 | 3039 | N/A | XL - (estimation) | N/A | 9/25 | Qwen | |||
| Classe III, #11 à 25 | -22/+13 | 2904 | N/A | S - (estimation) | N/A | 3/26 | OpenAI | |||
| Classe III, #11 à 25 | -30/+15 | 1120 | N/A | L - (estimation) | N/A | 12/25 | OpenAI | |||
| Classe III, #11 à 25 | -23/+15 | 2455 | 84 mWh | S - 26 Mds | MoE | 4/26 | ||||
| Classe III, #11 à 25 | -24/+16 | 3081 | N/A | XL - (estimation) | N/A | 6/25 | ||||
| Classe III, #11 à 25 | -28/+18 | 766 | N/A | L - (estimation) | N/A | 11/25 | OpenAI | |||
| Classe III, #11 à 25 | -23/+15 | 3622 | 3979 mWh | XL - 685 Mds | MoE | 3/25 | DeepSeek | |||
| Classe III, #11 à 25 | -20/+18 | 4677 | N/A | XL - (estimation) | N/A | 9/25 | Anthropic | |||
| Classe III, #11 à 25 | -28/+23 | 716 | 1718 mWh | XL - 428 Mds | MoE | 6/26 | MiniMax | |||
| Classe III, #11 à 25 | -27/+20 | 1195 | N/A | L - (estimation) | N/A | 6/25 | Mistral AI | |||
| Classe III, #11 à 25 | -26/+17 | 3701 | N/A | XL - (estimation) | N/A | 2/26 | ||||
| Classe III, #11 à 25 | -28/+22 | 1474 | N/A | XL - (estimation) | N/A | 5/26 | ||||
| Classe III, #11 à 25 | -25/+20 | 1782 | 3785 mWh | XL - 1000 Mds | MoE | 9/25 | Moonshot AI | |||
| Classe III, #11 à 25 | -29/+23 | 1252 | 332 mWh | M - 80 Mds | MoE | 2/26 | Qwen | |||
| Classe IV, #26 à 41 | -25/+20 | 2238 | N/A | XL - (estimation) | N/A | 5/25 | Anthropic | |||
| Classe IV, #26 à 41 | -24/+20 | 2423 | 1524 mWh | L - 284 Mds | MoE | 4/26 | DeepSeek | |||
| Classe IV, #26 à 41 | -20/+18 | 6466 | 112 mWh | S - 27 Mds | Dense | 3/25 | ||||
| Classe IV, #26 à 41 | -22/+18 | 4968 | N/A | M - (estimation) | N/A | 4/25 | OpenAI | |||
| Classe IV, #26 à 41 | -21/+15 | 6236 | N/A | L - (estimation) | N/A | 8/25 | Mistral AI | |||
| Classe IV, #26 à 41 | -25/+21 | 2472 | 3979 mWh | XL - 685 Mds | MoE | 12/25 | DeepSeek | |||
| Classe IV, #26 à 41 | -27/+16 | 2669 | N/A | XS - (estimation) | N/A | 3/26 | OpenAI | |||
| Classe IV, #26 à 41 | -29/+24 | 1163 | 3979 mWh | XL - 685 Mds | MoE | 8/25 | DeepSeek | |||
| Classe IV, #26 à 41 | -29/+25 | 868 | N/A | XL - (estimation) | N/A | 11/25 | ||||
| Classe IV, #26 à 41 | -27/+20 | 1488 | 1524 mWh | L - 398 Mds | MoE | 1/26 | Arcee | |||
| Classe IV, #26 à 41 | -29/+29 | 633 | 1951 mWh | XL - 480 Mds | MoE | 7/25 | Qwen | |||
| Classe IV, #26 à 41 | -22/+19 | 5269 | 4134 mWh | XL - 675 Mds | MoE | 12/25 | Mistral AI | |||
| Classe IV, #26 à 41 | -23/+23 | 1837 | N/A | S - (estimation) | N/A | 8/25 | OpenAI | |||
| Classe IV, #26 à 41 | -23/+24 | 1542 | N/A | S - (estimation) | N/A | 4/25 | OpenAI | |||
| Classe IV, #26 à 41 | -21/+24 | 2074 | 8890 mWh | XL - 1600 Mds | MoE | 4/26 | DeepSeek | |||
| Classe IV, #26 à 41 | -18/+20 | 4824 | 857 mWh | L - 111 Mds | Dense | 3/25 | Cohere | |||
| Classe V, #42 à 50 | -19/+17 | 4194 | 109 mWh | S - 24 Mds | Dense | 6/25 | Mistral AI | |||
| Classe V, #42 à 50 | -18/+17 | 6318 | 94 mWh | XS - 12 Mds | Dense | 3/25 | ||||
| Classe V, #42 à 50 | -30/+24 | 1358 | N/A | L - (estimation) | N/A | 8/25 | OpenAI | |||
| Classe V, #42 à 50 | -18/+19 | 4808 | 1601 mWh | XL - 400 Mds | MoE | 4/25 | Meta | |||
| Classe V, #42 à 50 | -29/+28 | 1111 | 1524 mWh | L - 398 Mds | MoE | 4/26 | Arcee | |||
| Classe V, #42 à 50 | -23/+23 | 2907 | 347 mWh | L - 119 Mds | MoE | 3/26 | Mistral AI | |||
| Classe V, #42 à 50 | -27/+27 | 1448 | 3785 mWh | XL - 1000 Mds | MoE | 4/26 | Moonshot AI | |||
| Classe V, #42 à 50 | -30/+22 | 2319 | 109 mWh | S - 24 Mds | Dense | 6/25 | Mistral AI | |||
| Classe V, #42 à 50 | -29/+20 | 2486 | 3785 mWh | XL - 1000 Mds | MoE | 1/26 | Moonshot AI | |||
| Classe VI, #51 à 61 | -24/+16 | 7049 | 400 mWh | L - 109 Mds | MoE | 4/25 | Meta | |||
| Classe VI, #51 à 61 | -23/+18 | 7137 | 84 mWh | XS - 4 Mds | Dense | 3/25 | ||||
| Classe VI, #51 à 61 | -30/+23 | 1628 | 81 mWh | XS - 8 Mds | MoE | 10/25 | Liquid | |||
| Classe VI, #51 à 61 | -30/+21 | 1767 | 3979 mWh | XL - 685 Mds | MoE | 5/25 | DeepSeek | |||
| Classe VI, #51 à 61 | -24/+21 | 4314 | 84 mWh | XS - 8 Mds | Matformer | 5/25 | ||||
| Classe VI, #51 à 61 | -28/+23 | 2315 | 3979 mWh | XL - 671 Mds | MoE | 1/25 | DeepSeek | |||
| Classe VI, #51 à 61 | -28/+21 | 3959 | N/A | S - (estimation) | N/A | 4/25 | OpenAI | |||
| Classe VI, #51 à 61 | -29/+24 | 1600 | 733 mWh | L - 229 Mds | MoE | 2/26 | MiniMax | |||
| Classe VI, #51 à 61 | -26/+22 | 4920 | 658 mWh | M - 70 Mds | Dense | 10/24 | Nvidia | |||
| Classe VI, #51 à 61 | -27/+24 | 2816 | 658 mWh | M - 70 Mds | Dense | 8/25 | Nous | |||
| Classe VI, #51 à 61 | -25/+22 | 3257 | N/A | S - (estimation) | N/A | 2/25 | Mistral AI | |||
| Classe VII, #62 à 68 | -22/+19 | 7402 | 658 mWh | M - 70 Mds | Dense | 12/24 | Meta | |||
| Classe VII, #62 à 68 | -27/+26 | 1665 | N/A | XL - (estimation) | N/A | 4/26 | Qwen | |||
| Classe VII, #62 à 68 | -26/+21 | 3479 | 118 mWh | S - 32 Mds | Dense | 12/24 | Cohere | |||
| Classe VII, #62 à 68 | -24/+23 | 3530 | 658 mWh | M - 70 Mds | Dense | 9/25 | Swiss AI | |||
| Classe VII, #62 à 68 | -25/+24 | 1835 | 82 mWh | S - 24 Mds | MoE | 2/26 | Liquid | |||
| Classe VII, #62 à 68 | -24/+25 | 2046 | 106 mWh | S - 22 Mds | Dense | 12/25 | EuroLLM | |||
| Classe VII, #62 à 68 | -23/+22 | 1498 | 733 mWh | L - 230 Mds | MoE | 3/26 | MiniMax | |||
| Classe VIII, #69 à 87 | -19/+17 | 3809 | 342 mWh | L - 117 Mds | MoE | 8/25 | OpenAI | |||
| Classe VIII, #69 à 87 | -23/+25 | 923 | N/A | XL - (estimation) | N/A | 5/26 | Qwen | |||
| Classe VIII, #69 à 87 | -17/+20 | 7937 | 9134 mWh | XL - 405 Mds | Dense | 7/24 | Meta | |||
| Classe VIII, #69 à 87 | -20/+23 | 1373 | 89 mWh | XS - 8 Mds | Dense | 4/26 | IBM | |||
| Classe VIII, #69 à 87 | -18/+25 | 1393 | 4095 mWh | XL - 744 Mds | MoE | 4/26 | Zhipu | |||
| Classe VIII, #69 à 87 | -17/+23 | 1347 | N/A | XS - (estimation) | N/A | 4/25 | OpenAI | |||
| Classe VIII, #69 à 87 | -15/+21 | 2409 | 1601 mWh | L - 397 Mds | MoE | 2/26 | Qwen | |||
| Classe VIII, #69 à 87 | -11/+21 | 1834 | 376 mWh | L - 120 Mds | MoE | 3/26 | Nvidia | |||
| Classe VIII, #69 à 87 | -13/+22 | 1512 | 4095 mWh | XL - 744 Mds | MoE | 2/26 | Zhipu | |||
| Classe VIII, #69 à 87 | -8/+19 | 6664 | 96 mWh | XS - 14 Mds | Dense | 12/24 | Microsoft | |||
| Classe VIII, #69 à 87 | -10/+23 | 1240 | 1892 mWh | L - 357 Mds | MoE | 12/25 | Zhipu | |||
| Classe VIII, #69 à 87 | -9/+23 | 1693 | 658 mWh | M - 70 Mds | Dense | 1/25 | DeepSeek | |||
| Classe VIII, #69 à 87 | -8/+24 | 1058 | 83 mWh | S - 30 Mds | MoE | 5/25 | Qwen | |||
| Classe VIII, #69 à 87 | -6/+19 | 4893 | 83 mWh | S - 21 Mds | MoE | 8/25 | OpenAI | |||
| Classe VIII, #69 à 87 | -6/+18 | 7502 | 89 mWh | XS - 8 Mds | Dense | 7/24 | Meta | |||
| Classe VIII, #69 à 87 | -4/+17 | 2771 | 166 mWh | S - 35 Mds | MoE | 2/26 | Qwen | |||
| Classe VIII, #69 à 87 | -7/+22 | 205 | 89 mWh | XS - 8 Mds | Dense | 7/25 | Qwen | |||
| Classe VIII, #69 à 87 | -4/+10 | 985 | 118 mWh | S - 32 Mds | Dense | 4/25 | Qwen | |||
| Classe VIII, #69 à 87 | -2/+1 | 752 | 118 mWh | S - 32 Mds | Dense | 11/25 | Ai2 |
Les modèles les plus appréciés sont-ils économes en énergie ?
Ce graphique représente pour chaque modèle le score de satisfaction (score Bradley Terry) en fonction de l’estimation de la consommation énergétique moyenne pour 1000 tokens. La consommation énergétique est estimée à partir de la méthodologie Ecologits et repose sur la prise en compte de deux paramètres: la taille des modèles (nombre de paramètres) et leur architecture. Pour les modèles propriétaires, ces informations ne sont pas ou que partiellement communiquées. C’est pourquoi ils sont exclus du graphique ci-dessous.
Score de satisfaction Bradley-Terry (BT) VS Consommation moyenne pour 1000 tokens
Sélectionnez un modèle pour connaitre son score Bradley-Terry (BT) et sa consommation énergétique
Architecture du modèle
- MoE Infobulle L’architecture Mixture of Experts (MoE) utilise un mécanisme de routage pour n’activer, en fonction de l’entrée, que certains sous-ensembles spécialisés (“experts”) du réseau de neurones. Cela permet de construire des modèles très grands tout en gardant un coût de calcul réduit, car seule une partie du réseau est utilisée à chaque étape.
- Dense Infobulle L’architecture dense désigne un type de réseau de neurones dans lequel chaque neurone d’une couche est connecté à tous les neurones de la couche suivante. Cela permet à tous les paramètres de la couche de contribuer au calcul de la sortie.
- Matformer Infobulle Imaginez des poupées russes (matryoshkas → matryoshka transformer → Matformer) : chaque bloc contient plusieurs sous-modèles imbriqués de tailles croissantes, partageant les mêmes paramètres. Cela permet, à chaque requête, de sélectionner un modèle de capacité adaptée, selon la mémoire ou la latence disponibles, sans avoir besoin de ré-entraîner différents modèles.
Comment trouver le bon équilibre entre performance perçue et sobriété énergétique ? Exemples de lecture du graphique
- Plus un modèle est situé en haut du graphique, plus son score de satisfaction Bradley-Terry est élevé. Plus un modèle est situé sur la gauche du graphique, moins il consomme d’énergie par rapport aux autres modèles.
- En haut à gauche se trouvent les modèles qui plaisent et qui consomment peu d’énergie par rapport aux autres modèles.
- Au-delà de la taille, l’architecture a un impact sur la consommation énergétique moyenne des modèles: par exemple, à gabarit similaire, le modèle Llama 3 405B (architecture dense, 405 milliards de paramètres) consomme 10 fois plus d’énergie en moyenne que le modèle GLM 4.5 (architecture MOE, 355 milliards de paramètres et 32 milliards de paramètres actifs).
Pourquoi les modèles propriétaires ne sont-ils pas affichés sur le graphique ?
L’estimation de la consommation énergétique pour l’inférence des modèles repose sur la méthodologie Ecologits qui prend en compte la taille et l’architecture des modèles. Or ces informations ne sont pas rendues publiques par les éditeurs de modèles pour les modèles dits « propriétaires ».
Nous prenons ainsi le parti de ne pas intégrer les modèles propriétaires au graphique tant que les informations contribuant au calcul de consommation énergétique ne sont pas transparentes.
Comment est calculé l’impact énergétique des modèles ?
compar:IA utilise la méthodologie développée par Ecologits (GenAI Impact) pour fournir une estimation du bilan énergétique lié à l’inférence des modèles d’IA générative conversationnelle. Cette estimation permet aux utilisateurs de comparer l'impact environnemental de différents modèles d'IA pour une même requête. Cette transparence est essentielle pour encourager le développement et l'adoption de modèles d'IA plus éco-responsables.
Ecologits applique les principes de l'analyse du cycle de vie (ACV) conformément à la norme ISO 14044 en se concentrant pour le moment sur l'impact de l'inférence (c'est-à-dire l'utilisation des modèles pour répondre aux requêtes) et de la fabrication des cartes graphiques (extraction des ressources, fabrication et transport).
La consommation électrique du modèle est estimée en tenant compte de divers paramètres tels que la taille et l’architecture du modèle d'IA utilisé, la localisation des serveurs où sont déployés les modèles et le nombre de tokens de sortie. Le calcul de l’indicateur de potentiel de réchauffement climatique exprimé en équivalent CO2 est dérivé de la mesure de consommation électrique du modèle.
Il est important de noter que les méthodologies d'évaluation de l'impact environnemental de l'IA sont encore en développement.
Données du graphique en tableau
Mise à jour le 9/9/2026
Télécharger les donnéesModèle | Score de satisfaction BT Infobulle Score statistique estimé selon le modèle Bradley-Terry reflétant la probabilité qu'un modèle soit préféré à un autre. Ce score est calculé à partir de l'ensemble des votes et réactions des utilisateurs. Pour en savoir plus, rendez-vous sur l’onglet méthodologie. | Conso. moyenne (1000 tokens) Infobulle Mesurée en milliwattheures, l’énergie consommée représente l'électricité utilisée par le modèle pour traiter une requête et générer la réponse correspondante. La consommation énergétique des modèles dépend de leur taille et de leur architecture. Nous prenons le parti d’afficher en grisé non analysés (N/A) les modèles propriétaires pour lesquels nous ne disposons pas d’information transparente sur la taille et l’architecture. | Taille (paramètres) Infobulle Taille du modèle en milliards de paramètres, catégorisée selon cinq classes. Pour les modèles propriétaires, cette taille n’est pas communiquée. | Architecture Infobulle L'architecture d'un modèle LLM désigne les principes de conception qui définissent comment les composants d'un réseau de neurones sont agencés et interagissent pour transformer les données d'entrée en sorties prédictives, incluant le mode d'activation des paramètres (dense vs. sparse), la spécialisation des composants et les mécanismes de traitement de l'information (transformers, réseaux convolutifs, architectures hybrides). | Organisation | Licence |
|---|---|---|---|---|---|---|
| 1003 | 81 mWh | XS - 8 Mds | MoE | Liquid | Semi-ouvert | |
| 969 | 82 mWh | S - 24 Mds | MoE | Liquid | Semi-ouvert | |
| 910 | 83 mWh | S - 30 Mds | MoE | Qwen | Semi-ouvert | |
| 909 | 83 mWh | S - 21 Mds | MoE | OpenAI | Semi-ouvert | |
| 1087 | 84 mWh | S - 26 Mds | MoE | Semi-ouvert | ||
| 1003 | 84 mWh | XS - 4 Mds | Dense | Semi-ouvert | ||
| 998 | 84 mWh | XS - 8 Mds | Matformer | Semi-ouvert | ||
| 950 | 89 mWh | XS - 8 Mds | Dense | IBM | Semi-ouvert | |
| 908 | 89 mWh | XS - 8 Mds | Dense | Meta | Semi-ouvert | |
| 863 | 89 mWh | XS - 8 Mds | Dense | Qwen | Semi-ouvert | |
| 1032 | 94 mWh | XS - 12 Mds | Dense | Semi-ouvert | ||
| 930 | 96 mWh | XS - 14 Mds | Dense | Microsoft | Semi-ouvert | |
| 969 | 106 mWh | S - 22 Mds | Dense | EuroLLM | Open source | |
| 1033 | 109 mWh | S - 24 Mds | Dense | Mistral AI | Semi-ouvert | |
| 1011 | 109 mWh | S - 24 Mds | Dense | Mistral AI | Semi-ouvert | |
| 1061 | 112 mWh | S - 27 Mds | Dense | Semi-ouvert | ||
| 1096 | 117 mWh | S - 31 Mds | Dense | Semi-ouvert | ||
| 981 | 118 mWh | S - 32 Mds | Dense | Cohere | Semi-ouvert | |
| 857 | 118 mWh | S - 32 Mds | Dense | Qwen | Semi-ouvert | |
| 752 | 118 mWh | S - 32 Mds | Dense | Ai2 | Open source | |
| 900 | 166 mWh | S - 35 Mds | MoE | Qwen | Semi-ouvert | |
| 1066 | 332 mWh | M - 80 Mds | MoE | Qwen | Semi-ouvert | |
| 960 | 342 mWh | L - 117 Mds | MoE | OpenAI | Semi-ouvert | |
| 1024 | 347 mWh | L - 119 Mds | MoE | Mistral AI | Semi-ouvert | |
| 937 | 376 mWh | L - 120 Mds | MoE | Nvidia | Open source | |
| 1006 | 400 mWh | L - 109 Mds | MoE | Meta | Semi-ouvert | |
| 993 | 658 mWh | M - 70 Mds | Dense | Nvidia | Semi-ouvert | |
| 990 | 658 mWh | M - 70 Mds | Dense | Nous | Semi-ouvert | |
| 984 | 658 mWh | M - 70 Mds | Dense | Meta | Semi-ouvert | |
| 976 | 658 mWh | M - 70 Mds | Dense | Swiss AI | Open source | |
| 914 | 658 mWh | M - 70 Mds | Dense | DeepSeek | Semi-ouvert | |
| 993 | 733 mWh | L - 229 Mds | MoE | MiniMax | Semi-ouvert | |
| 962 | 733 mWh | L - 230 Mds | MoE | MiniMax | Semi-ouvert | |
| 1038 | 857 mWh | L - 111 Mds | Dense | Cohere | Semi-ouvert | |
| 1062 | 1524 mWh | L - 284 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1049 | 1524 mWh | L - 398 Mds | MoE | Arcee | Semi-ouvert | |
| 1025 | 1524 mWh | L - 398 Mds | MoE | Arcee | Semi-ouvert | |
| 1029 | 1601 mWh | XL - 400 Mds | MoE | Meta | Semi-ouvert | |
| 943 | 1601 mWh | L - 397 Mds | MoE | Qwen | Semi-ouvert | |
| 1079 | 1718 mWh | XL - 428 Mds | MoE | MiniMax | Semi-ouvert | |
| 915 | 1892 mWh | L - 357 Mds | MoE | Zhipu | Semi-ouvert | |
| 1048 | 1951 mWh | XL - 480 Mds | MoE | Qwen | Semi-ouvert | |
| 1067 | 3785 mWh | XL - 1000 Mds | MoE | Moonshot AI | Semi-ouvert | |
| 1022 | 3785 mWh | XL - 1000 Mds | MoE | Moonshot AI | Semi-ouvert | |
| 1008 | 3785 mWh | XL - 1000 Mds | MoE | Moonshot AI | Semi-ouvert | |
| 1082 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1056 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1052 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 999 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 998 | 3979 mWh | XL - 671 Mds | MoE | DeepSeek | Semi-ouvert | |
| 949 | 4095 mWh | XL - 744 Mds | MoE | Zhipu | Semi-ouvert | |
| 936 | 4095 mWh | XL - 744 Mds | MoE | Zhipu | Semi-ouvert | |
| 1046 | 4134 mWh | XL - 675 Mds | MoE | Mistral AI | Semi-ouvert | |
| 1039 | 8890 mWh | XL - 1600 Mds | MoE | DeepSeek | Semi-ouvert | |
| 957 | 9134 mWh | XL - 405 Mds | Dense | Meta | Semi-ouvert |
Comment choisir la méthode de classement des modèles ?
Depuis 2024, des milliers d’utilisateurs ont utilisé compar:IA pour comparer les réponses de différents modèles, générant ainsi des centaines de milliers de votes. Compter simplement le nombre de victoires ne suffit pas pour établir un classement. Un système équitable doit être statistiquement robuste, s’ajuster après chaque confrontation, et refléter réellement la valeur des performances obtenues.
C’est dans cette perspective qu’a été mis en place un classement basé sur le modèle Bradley-Terry, élaboré en collaboration avec les équipes du Pôle d’Expertise de la Régulation numérique (PEReN), à partir de l’ensemble des votes et réactions collectés sur la plateforme. Pour aller plus loin, consultez notre carnet méthodologique.
Deux manières de classer les modèles
Classement par taux de victoire
Définition : Système de classement empirique des modèles reposant sur le pourcentage de parties gagnées par un modèle contre tous les autres modèles.
Problèmes principaux
- Biais du nombre de parties : un modèle ayant remporté trois victoires sur trois “matchs” affiche un taux de victoire de 100 %, mais ce score est peu significatif étant basé sur très peu de données.
- Aucune prise en compte de la difficulté des matchs : battre un modèle “débutant” ou un “expert” compte pareil. Les taux de victoire ne sont pas équitables puisqu’ils ne tiennent pas compte de la difficulté des matchs.
- Stagnation : à long terme, beaucoup de bons modèles finissent autour de 50 % de taux de victoire car ils affrontent des modèles de leur niveau, ce qui rend le classement peu discriminant.
Classement Bradley-Terry (BT)
Définition : Système de classement où le gain ou la perte de points dépend du résultat (victoire/défaite/nul et du niveau estimé de l’adversaire : si un modèle plus faible bat un modèle plus fort, sa progression dans le classement est plus importante.
Avantages
- Modèle probabiliste : on peut estimer le résultat probable de n'importe quelle confrontation, même entre des modèles n'ayant jamais été directement comparés.
- Prise en compte de la difficulté des matchs : les scores estimés à partir du modèle Bradley Terry tiennent compte du niveau des adversaires rencontrés, permettant une comparaison équitable entre modèles.
- Meilleure gestion de l’incertitude : l'intervalle de confiance intègre l'ensemble du réseau de comparaisons. Cela permet une estimation plus précise de l'incertitude, surtout pour les modèles ayant peu de confrontations directes mais beaucoup d'adversaires communs.
Contrôle du style : neutraliser l’effet de la présentation
Un modèle peut grimper dans le classement simplement en répondant plus longuement ou avec une mise en forme plus riche (titres, gras, listes), sans être plus pertinent sur le fond. Le contrôle du style, inspiré du « Style Control » de LMArena, retire cet effet : une régression logistique sépare, dans chaque vote, ce qui revient à la force du modèle de ce qui revient à la présentation.
Le score affiché devient alors un Elo « débiaisé du style » : le classement que l’on obtiendrait si les deux réponses comparées étaient mises en forme de la même manière. Le contrôle du style est activé par défaut ; le bouton « Contrôle du style » en haut du tableau permet de revenir au classement Bradley-Terry brut pour comparer.
Effet mesuré de la présentation
Coefficients de la régression estimés sur l’ensemble des votes. Une valeur positive indique que cet axe de présentation est associé à une probabilité de victoire plus élevée une fois la force du modèle prise en compte. C’est précisément la part que le contrôle du style retire du classement.
- Longueur de la réponse +0.307
- Titres +0.089
- Texte en gras +0.165
- Listes à puces +0.060
La longueur et les marqueurs markdown sont corrélés : ces coefficients se lisent conjointement, et non comme des effets indépendants pris isolément.
Impact du choix de la méthode sur le classement des modèles
10 premiers modèles du classement selon de taux de victoire « empirique »
En se basant uniquement sur le taux de victoire moyen, on peut obtenir un classement global, mais ce calcul suppose que chaque modèle ait joué contre tous les autres.
Cette méthode n'est pas idéale car elle nécessite les données de toutes les combinaisons de modèles et ès qu’on augmente le nombre de modèles, cela devient vite coûteux et lourd à maintenir.
10 premiers modèles du classement selon de taux de victoire estimé avec le modèle Bradley-Terry
Le modèle Bradley-Terry transforme un ensemble de comparaisons locales et potentiellement incomplètes en un système de classement global cohérent et statistiquement robuste, là où le taux de victoire empirique reste limité aux observations directes.
Le classement personnel : comment est calculé votre score
Bradley-Terry a besoin d’un réseau de comparaisons connecté : vos votes ne forment qu’un nuage de paires isolées, la méthode ne s’applique donc pas à l’échelle d’un compte. Le score personnel est un taux de victoire lissé :
score = (points + 2m) / (battles + 2)
points est votre total de points sur le modèle, battles le nombre de comparaisons scorées le concernant, et m votre moyenne de points par comparaison, tous modèles confondus. Le lissage rapproche un modèle peu comparé de cette moyenne : une seule victoire affiche donc 0,667 et non 100 %, et un modèle comparé vingt fois dépasse un modèle comparé une fois à taux comparable.
- Les deux se valent : 0,5 point pour chacun des deux modèles.
- Aucun des deux ne convient : 0 point pour chacun des deux modèles — l’insatisfaction compte, pas seulement la préférence relative.
- Je ne sais pas : le vote est exclu, il ne compte pour aucun des deux modèles.