Claude Code vs Codex, 2e série : 3 tâches pratiques sur plusieurs fichiers, exécutées 3 fois chacune

Résultats

Les durées sont les médianes de 3 exécutions ; les parenthèses indiquent la plage du plus rapide au plus lent.

Les tokens d’entrée comprennent surtout des tokens réutilisés depuis le cache pour relire les échanges précédents. Les deux CLI ne comptent pas les tokens de la même manière : utilisez ces chiffres uniquement pour comparer les ordres de grandeur.

Le 'coût équivalent au tarif public de l’API' indiqué par Claude Code était d’environ 0.78~1.25 dollars par tâche. Avec un compte abonné, ce montant n’est pas payé séparément : l’utilisation est déduite du quota de l’offre. Codex n’indiquant pas la même valeur, nous ne l’avons pas comparée.

3 tâches

Consigne utilisée pour toutes les exécutions

Dans la consigne ci-dessous, seule la phrase après 'Task:' change selon la tâche. Contrairement à la 1re série, nous avons demandé de lire 'README.md et les autres documents'.

This folder is a small Node.js project (ES modules, no dependencies). Read the code, README.md and any other docs, and the tests. Task: {task} Do not modify existing test files. When you are done, make sure `node --test` passes.

• T4 Correction de bugs sur plusieurs fichiers — Fix the bugs reported in ISSUES.md. README.md describes the correct pricing rules.
• T5 Ajout d’une fonctionnalité selon une spécification — Implement refundOrder in src/orders.js according to the Refunds section of README.md.
• T6 Bug de concurrence + adaptation de l’API — Fix the problems described in the Orders section of README.md (overselling, and supporting both the Promise and the callback style).

Méthode de mesure

• Date d’exécution : 2026-10-04 (le soir, heure de Corée du Sud), Apple M1 Pro · macOS 26.6 · Node.js 22. Même ordinateur, mêmes versions et mêmes réglages que lors de la 1re série.
• Claude Code 2.1.250 — modèle par défaut Claude Opus 5 (Claude Haiku 4.5 a aussi été appelé pour de courtes tâches auxiliaires). Codex CLI 0.159.2 — modèle GPT-6.1 Sol, effort de raisonnement medium.
• Les deux outils ont été exécutés avec les comptes d’abonnement personnels de l’éditeur en mode non interactif (claude -p, codex exec), avec autorisation automatique de modifier les fichiers et d’exécuter node. Les exécutions ont été couvertes par les abonnements existants, sans frais supplémentaires.
• L’ordre d’exécution a été alterné pour chaque tâche (1re exécution : Claude Code d’abord ; 2e : Codex d’abord ; 3e : Claude Code d’abord). Aucune opération lourde, comme une compilation, n’a été lancée sur le même ordinateur pendant les exécutions.

Méthode d’évaluation

• Chaque tâche comportait 3 tests visibles par l’agent et des tests cachés (9~12), ajoutés uniquement lors de l’évaluation. Les tests cachés ont d’abord été validés avec la solution de référence écrite par l’éditeur. La solution de référence de la tâche de concurrence a été exécutée 10 fois pour vérifier la stabilité des résultats.
• Avant l’évaluation, le dossier test a été rétabli dans son état initial. Les fichiers de tests ajoutés par les agents n’ont pas servi à l’évaluation.
• Les bugs de concurrence pouvant se manifester seulement de temps en temps, chaque résultat a été évalué 3 fois à des moments différents, et la note la plus basse a été retenue.

En quoi le code produit par les deux outils différait-il ?

• T4 : les deux outils ont trouvé les 4 bugs dans money.js (décimales des yens, arrondi) et cart.js (seuil de 10 articles, plafond du coupon). Le nombre de lignes source modifiées était proche : 5~9 pour Claude Code, 4~5 pour Codex. Codex a créé lors des 3 exécutions un fichier distinct de tests de non-régression reproduisant les signalements.
• T5 : les deux outils ont respecté la spécification consistant à 'recalculer le prix des articles restants selon les règles initiales et à le soustraire'. Le nombre de lignes source ajoutées était aussi proche, à 40~47.
• T6 : dans les 6 exécutions, les deux outils ont sérialisé tout le traitement des commandes dans une seule file d’attente (verrou global). Lors des exécutions 2 et 3, Codex a associé le verrou au stockage pour que plusieurs services de commandes utilisant le même stockage partagent la file d’attente. Lors de la 1re exécution, il a ajouté une fonction transaction au stockage et une explication dans le README. Claude Code a limité ses modifications au fichier orders.js. Aucun des deux outils n’a utilisé de verrous distincts par produit.

Limites de ces mesures

• Le projet est un petit code d’environ 200 lignes réparties dans 6 fichiers. Il est plus proche d’un usage professionnel que la 1re série, mais reste bien plus petit que le dépôt d’un service réel.
• Les deux outils ayant obtenu la note maximale, aucune différence de précision n’a pu être mise en évidence. Les résultats pourraient différer sur un dépôt plus grand ou des tâches aux exigences ambiguës.
• Les durées varient selon l’état des serveurs et le réseau. Alterner les exécutions au cours de la même soirée a réduit cette influence sans l’éliminer.
• Codex utilisait un effort de raisonnement medium et Claude Code les réglages par défaut. Nous n’avons pas mesuré la consommation des quotas d’abonnement.

Quel outil choisir ?

Les avis ci-dessous sont ceux du responsable du site, fondés sur les résultats de ces mesures.

• Même sur ces tâches pratiques de cette taille, aucune différence de précision des résultats n’est apparue. Il est raisonnable de commencer par l’outil inclus dans l’abonnement que vous payez déjà.
• Si vous souhaitez obtenir rapidement un résultat, Codex a encore été 1.3~1.9 fois plus rapide.
• Pour limiter l’étendue des modifications, Claude Code a eu l’avantage (seuls les fichiers source ont été modifiés). Codex ajoute spontanément des tests de non-régression, mais il a parfois aussi modifié le README et le code de stockage sans que cela soit demandé, ce qui nécessite une relecture.
• Pour les problèmes nécessitant des choix de conception, comme la concurrence ou les performances, les deux outils ont choisi la solution correcte la plus simple. Si des contraintes comme le débit sont importantes, précisez-les dans la consigne.

ClaudeChatGPT (Codex)Agents

Journal complet des 18 exécutions

Télécharger les fichiers des tâches et de l’évaluation

L’archive regroupe les tâches originales (code de la boutique), les tests cachés, les solutions de référence, les scripts d’exécution, le résumé des 18 résultats (JSON) et les diff de chaque exécution.