Après que les évaluations initiales aient été effectuées séparément par la NASA et par l'ESA, nous avons comparé en détail leurs résultats et leurs méthodes de calcul.

Beaucoup de différences significatives viennent de divergences d'appréciation quant au matériel à inclure dans certains sous-systèmes, et sur les niveaux de maturité technologique estimés. Cela montre que les estimations de coût sont très dépendantes d'informations précises sur le type et le statut de développement du matériel d'un vaisseau spatial, même si les évaluations ne peuvent être effectuées qu'au niveau des sous-systèmes. C'était particulièrement vrai pour des éléments comme les rovers de surface et les équipements scientifiques de terrain pour lesquels seules des informations d'ordre général étaient disponibles.

Après mise à niveau techniques et après avoir fait certaines hypothèses là où c'était nécessaire, il restait encore beaucoup de différences importantes entre les évaluations. Nous avons découvert qu'elles résultent de différences fondamentales dans les outils et les données de référence utilisés par la NASA et l'ESA.

La figure 1 montre, pour tous les éléments de la mission principale, les estimations par la NASA et par l'ESA des coûts des principaux éléments du développement (y compris les vols d'essai) à la première mission martienne opérationnelle. La figure 2 montre la même chose pour la seconde mission martienne qui ne comprend que des coûts non-récurrents. Les principales différences entre les estimations et les origines de ces différences sont indiquées dans les deux tableaux, et décrites ci-dessous.

Sur les grands éléments de structures (telles que structures principales du vaisseau spatial, boucliers thermiques et réservoirs de propergol) et sur les grands sous-systèmes de contrôle thermique, les estimations de la NASA du coût de développement et des coûts récurrents ont tendance à être beaucoup plus élevées que celles de l'ESA (jusque sur 200% pour le développement et jusqu'à plus de 300% pour les coûts récurrents). Ces écarts viennent des différences dans les données utilisées. L'approche de la NASA était de partir des données historiques d'Apollo et de la Navette, puis d'essayer de modéliser les améliorations apportées au fil du temps à l'ingénierie, à la fabrication et à la technologie en général. L'approche de l'ESA était de partir des modèles basés sur les données récentes de ses satellites, puis d'essayer de modéliser les différences entre les missions, c'est-à-dire les différences de niveau de qualité et de procédures d'essai entre vols spatiaux habités et non habités.

Ces deux stratégies différentes mènent à des résultats étonnamment proches pour la plus grande partie du matériel, mais des divergences majeures apparaissent dans le chiffrage des grosses structures simples et des équipements de contrôle thermique. NAFCOM (version 2004) disposera dans ses CER de quelques modifications de calcul de structure pour compenser certaines de ces dérives. Bien qu'il y ait quand même une certaine convergence dans le chiffrage des structures, le problème principal sous-jacent demeure, à savoir que la plupart des données sur les grandes missions d'exploration et de lanceurs ont de 20 à 40 ans d'âge. Question : les tendances que reflètent ces données sont-elles toujours valables ?

Aucune information n'a pu être obtenue sur les logiciels nécessaires à la mission Mars Direct. Sans méthode de calcul indépendante (SLOC, points de fonctions, objets) il est très difficile d'estimer ce coût de logiciel. L'ESA a donnée un ordre de grandeur du coût en se basant sur des missions et des vaisseaux spatiaux analogues, c'est-à-dire comparables en termes de charge utile, de complexité des contraintes opérationnelles du contrôle d'attitude etc., alors que la NASA a supposé que la plupart de ses logiciels étaient intégrés dans ses CERs d'avionique. Une comparaison détaillée poste à poste des coûts de l'avionique et des logiciels n'est donc pas possible, mais les coût totaux de ces éléments combinés étaient relativement proches dans les évaluations de la NASA et de l'ESA.

Les missions de la NASA sont organisées en trois fonctions au niveau technique : montage, intégration et essais/vérifications (AIT/V) et également en trois fonctions au niveau suivi de projet : gestion de projet, ingénierie et assurance qualité. Mais ces fonctions n'apparaissent clairement qu'au niveau du sous-ensemble étage de lanceur et vaisseau spatial et au niveau du projet (sous traitant principal). C'est dû à la façon dont les données ont été corrigées au niveau du sous-système dans NAFCOM.

L'ESA par contre détaille l'AIT/V et le suivi de projet pour chaque module d'étage de lanceur et du vaisseau spatial, et au niveau du projet. Cette différence a souvent rendu difficile une comparaison poste à poste des coûts de l'AIT/V et des coûts de suivi de projet. Il a donc fallu plutôt comparer les estimations de coût au niveau des systèmes complets. Ces comparaisons ont régulièrement montré que les coûts de l'AIT/V et de suivi de projet de la NASA étaient considérablement, et de façon cohérente, plus élevés que ceux de l'ESA. Cela pourrait s'expliquer par la nature historique différente des bases de données des deux agences ou par des méthodes de travail différentes à la NASA et à l'ESA. Ce seul exercice n'est pas suffisant pour tirer des conclusions. Il serait instructif d'effectuer cette même comparaison de coûts pour une mission moins complexe, sonde ou satellite inhabité.

Les résultats de l'évaluation ont aussi montré une différence considérable pour la partie opérations, due essentiellement à l'estimation de coût du contrôle de mission. La NASA a estimé ces coûts par analogie avec les coûts actuels de ses équipes de contrôle de mission déjà en place, en supposant simplement que le personnel qui travaille actuellement pour les programmes de la Navette Spatiale et de l'ISS commencerait à travailler progressivement pour Mars Direct. Cette approche permet de minimiser la formation requise pour le personnel, ce qui fait que les niveaux de coûts du contrôle de mission de la NASA pour la phase de développement et de la première mission sont identiques à ceux des missions suivantes. L'évaluation de l'ESA est une approche ascendante, qui prévoit les effectifs du personnel ESA de contrôle de mission en fonction des besoins opérationnels réels. L'ESA suppose que tout le personnel aura besoin d'une formation initiale spécifique, tandis que pour la seconde mission la formation sera beaucoup plus succincte. Résultat, les évaluations de la NASA et de l'ESA pour la phase de développement et de la première mission opérationnelle sont similaires, même si elles sont basées sur des hypothèses très différentes, alors que les coûts estimés par l'ESA pour les missions suivantes sont considérablement inférieurs.

En effet, l'évaluation de l'ESA envisage un contrôle de mission beaucoup plus automatisé que celui de la NASA, avec des effectifs nettement plus réduits. Reste à démontrer si une telle approche optimiste a des chances réelles de se concrétiser dans l'avenir.

La plus grande discordance entre les deux évaluations vient de la différence des coûts spécifiques de l'Agence Spatiale. Ce coût tient compte des dépenses du gouvernement dans la gestion et l'ingénierie du projet, l'assurance qualité et l'AIT/V. L'évaluation de la NASA vient des coûts historiquement subis par la NASA et calculés en pourcentage des parties sous-traitées des programmes comme la Navette Spatiale ou la Station Spatiale Internationale. L'évaluation de l'ESA est basée sur une approche ascendante, elle prévoit le personnel ESA requis selon les besoins réels définis tâche par tâche

La raison de cette grande différence d'approche entre les deux agences est essentiellement historique. La NASA s'est dès l'origine délibérément lancée dans des missions prestigieuses et risquées mettant en jeu des vies humaines, tandis que l'ESA a commencé par des missions inhabitées et plus modestes.

Règles de base et phylosophie des estimations de coûts

Résultats de l'évaluation