Produits que nous exploitons
AI Rating API
Quel modèle cette charge de travail devrait-elle utiliser aujourd’hui ? Trois sources publiques — un catalogue, un indice de qualité et une arène de préférence humaine — réconciliées chaque matin en listes classées par palier de prix, servies sous forme d’API JSON versionnée et de tableau de bord.
- 3sources indépendantes, chacune couvrant un axe différent
- quotidienreconstruit chaque matin à 06:00 UTC
- 4 × 10paliers de prix, dix meilleurs modèles chacun
Le déclic
Chaque projet qui appelle un modèle intègre une opinion périmée sur le meilleur modèle.
Nous ne cessions de coder en dur des choix de modèles dans nos propres systèmes, et ces choix devenaient périmés — le paysage des modèles se renouvelle chaque mois, les opinions à son sujet plus lentement. Alors nous avons fabriqué les données d’opinion : reconstruites quotidiennement, réconciliées à partir de sources qui mesurent des choses différentes, et servies derrière une API stable que nos propres projets peuvent interroger plutôt que de coder en dur. Les identifiants de modèles dans les réponses sont compatibles avec OpenRouter, de sorte que la réponse peut être acheminée directement.
Ce que nous avons bâti
Une question en entrée, une réponse défendable en sortie.
Un seul point de terminaison répond à la vraie question : les meilleurs modèles de texte ou de vision dans ma fourchette de prix, aujourd’hui. Demandez une catégorie et un palier, et vous obtenez les dix meilleurs, chacun avec son score de capacité, ses prix, sa fenêtre de contexte et les sources qui l’ont recommandé. Un point de terminaison d’état indique exactement à quel point les données sont fraîches et quelles sources ont réussi ; le contrat est versionné sous /v1 et publié comme spécification OpenAPI. Le tableau de bord, ce sont les mêmes données rendues lisibles — rendu côté serveur, sans cadriciel, rapide.
Comment ça fonctionne
Trois sources, trois axes : ce qui existe et à quel prix, sa capacité, et ce que les humains préfèrent.
Chaque matin, une seule exécution récupère les trois sources en parallèle — avec délais d’attente, tentatives et temporisation — puis apparie, note et répartit le peloton en paliers. Le résultat est écrit comme un instantané versionné complet avant qu’un seul pointeur ne bascule pour le publier : les lecteurs voient les anciens classements ou les nouveaux, jamais une exécution à moitié écrite. Si une source requise est en panne, le pointeur ne bascule tout simplement pas — l’API sert les données d’hier et le signale dans son point de terminaison d’état.
Le nœud du problème : trois noms pour chaque modèle
Chaque source nomme les modèles à sa façon, et l’une d’elles scinde les modèles en variantes d’effort.
Réconcilier des catalogues, c’est là que les projets de classement dérapent discrètement : appariez trop librement et un petit modèle hérite du score d’un gros modèle ; appariez trop strictement et la moitié du peloton disparaît. Notre outil d’appariement n’autorise une correspondance que lorsqu’un nom est un préfixe de l’autre et que le reste est manifestement des métadonnées — une date, une étiquette de version, « preview » — ou un marqueur d’effort connu comme « thinking ». Quand une source répertorie plusieurs variantes d’effort d’un même modèle, la plus forte est conservée et étiquetée comme telle.
Décisions à souligner
- Le prix est un palier, pas un score. Les paliers segmentent déjà par coût ; noter aussi le prix compterait deux fois le bas prix et laisserait un modèle faible mais bon marché devancer un modèle fort. Le score mesure la capacité seule.
- Une échelle fixe, pour que les scores gardent leur sens dans le temps. Les scores sont mis à l’échelle par rapport à une bande de référence fixe plutôt qu’au peloton de chaque jour — un 71 ce mois-ci est comparable à un 71 le mois dernier.
- Les cotes de l’arène départagent les égalités ; elles ne classent jamais. Chaque modèle de pointe sature le sommet de l’échelle de préférence, alors elle ne peut pas séparer les meneurs — elle n’ordonne que des quasi-égaux.
- Le palier coûteux est conditionné par la récence. Les modèles coûteux simplement parce qu’ils sont vieux n’ont pas leur place à côté des fleurons actuels, alors le palier supérieur exige une date de sortie récente.
- Aucune liste d’autorisation de fournisseurs. Un nouveau fournisseur apparaît dans les classements dès le premier matin où il possède des données recoupées entre les sources — rien à maintenir, rien à oublier.
Réalisé avec
- Cloudflare Workers
- KV
- Hono