Rôles de la calibration, validation, prédiction et exploration en modélisation

Bonjour. La leçon précédente a montré qu’un modèle biologique peut être exprimé à l’aide d’échelles et de groupes sans dimension. Mais une équation bien écrite et homogène ne devient pas automatiquement un outil scientifique fiable. Il faut encore préciser ce que l’on veut faire du modèle et quelles données peuvent soutenir cette ambition.

Cette leçon distingue quatre rôles souvent confondus : calibration, validation, prédiction et exploration. La distinction détermine le statut scientifique d’un résultat : une simulation ajustée à des données n’a pas la même valeur qu’une prédiction testée sur des observations nouvelles.

---

Quatre rôles, quatre questions distinctes

Considérons un modèle de population logistique :

$$\frac{dN}{dt}=rN\left(1-\frac{N}{K}\right).$$

Le modèle possède des paramètres, ici $r$ et $K$, et produit une trajectoire simulée $N(t)$. Une étude de modélisation peut mobiliser la même équation pour plusieurs objectifs, mais ces objectifs doivent être annoncés séparément.

Rôle	Question principale	Données mobilisées	Type de conclusion
Calibration	Quelles valeurs de paramètres permettent au modèle de reproduire les données disponibles ?	Données d’ajustement	Estimation de paramètres et reproduction des données utilisées
Validation	Le modèle décrit-il correctement des données qui n’ont pas servi à l’ajustement ?	Données indépendantes ou mises de côté	Niveau de confiance dans le domaine testé
Prédiction	Que prévoit le modèle pour une situation non observée au moment de l’étude ?	Paramètres calibrés ; nouvelles conditions ou temps futurs	Prévision quantitative, avec incertitude
Exploration	Quels comportements le modèle permet-il d’envisager si les hypothèses ou conditions changent ?	Hypothèses, plages de paramètres, scénarios	Hypothèses, mécanismes plausibles, scénarios à tester

Ces rôles ne correspondent donc pas à quatre modèles différents. Ils décrivent quatre usages possibles d’un même modèle.

La distinction centrale est la suivante :

• la calibration cherche à reproduire ce que l’on connaît déjà ;
• la validation confronte le modèle à ce qui n’a pas servi à le régler ;
• la prédiction porte sur ce qui est inconnu au moment où elle est formulée ;
• l’exploration sert à comprendre les conséquences des hypothèses du modèle, même lorsque l’on ne dispose pas encore de données permettant de tester toutes ces conséquences.

L’article suivant propose une formulation particulièrement nette de cette séparation, dans le contexte de modèles mécanistiques en pharmacologie. Son idée est applicable aux modèles de populations, d’épidémies ou de cinétique enzymatique.

---

Calibration : régler le modèle, non le prouver

La calibration consiste à choisir des paramètres de telle sorte que la sortie du modèle soit cohérente avec un ensemble de données nommé jeu de calibration, ou jeu d’entraînement.

Supposons que l’on observe une population à plusieurs instants $t_i$, avec des effectifs $y_i$. Pour chaque paire de paramètres $(r,K)$, le modèle produit une valeur simulée :

$${\hat{y}}_i(r,K)=N(t_i;r,K).$$

Une manière classique de calibrer le modèle consiste à rechercher les paramètres qui réduisent les écarts quadratiques entre données et simulations :

$$J(r,K)=\sum _{i\in D_c}{\left[y_i-{\hat{y}}_i(r,K)\right]}^2.$$

Ici, $D_c$ désigne l’ensemble des observations réservées à la calibration. Les valeurs de $r$ et $K$ qui rendent $J$ petit sont des candidats plausibles compte tenu du modèle choisi et des données disponibles.

Cependant, une bonne calibration ne signifie pas que le modèle est « vrai ». Elle montre seulement que le modèle peut reproduire les données utilisées pour le régler.

Pourquoi un bon ajustement peut être trompeur

Avec suffisamment de paramètres, un modèle peut s’adapter très étroitement à des données particulières, y compris à leur bruit de mesure. Ce phénomène est appelé surajustement. Le modèle décrit alors très bien le passé observé, mais échoue dès que le contexte change légèrement.

Reprenons le modèle logistique. Imaginons que des effectifs soient mesurés chaque jour pendant trente jours.

• Les données des jours 0 à 20 servent à estimer $r$ et $K$.
• Le modèle reproduit presque parfaitement ces vingt-et-un premiers jours.
• Cette réussite ne permet pas encore d’affirmer qu’il prédira correctement les jours 21 à 30.

Il est aussi possible que le modèle logistique reproduise une portion courte d’une trajectoire alors que le mécanisme biologique réel comporte une saisonnalité, une immigration, une prédation ou un délai de maturation absent de l’équation. La calibration peut alors compenser une structure inadéquate par des valeurs de paramètres artificiellement ajustées.

Une calibration répond à la question : « Quelles valeurs de paramètres permettent au modèle de correspondre à ces données ? »
Elle ne répond pas encore à la question : « Le modèle est-il fiable dans une autre situation ? »

Calibration et vérification : deux contrôles différents

Il est utile de distinguer la calibration d’une autre activité, la vérification du modèle.

• La vérification porte sur l’implémentation : équations correctement transcrites, unités cohérentes, code exempt d’erreurs évidentes, méthode numérique stable.
• La calibration porte sur l’accord entre les simulations et les données retenues pour estimer les paramètres.

Un programme peut être correctement codé et pourtant représenter une biologie insuffisante. Inversement, une hypothèse biologique pertinente peut être mal transcrite dans un code. Ces deux problèmes exigent des contrôles différents.

---

Validation : mettre le modèle à l’épreuve

La validation teste le modèle sur des observations qui n’ont pas été utilisées pour choisir ses paramètres, sa structure ou ses réglages numériques. Ces données peuvent être déjà connues du chercheur, mais elles doivent avoir été gardées à l’écart pendant la calibration.

Dans l’exemple de population, on peut calibrer $r$ et $K$ sur les jours 0 à 20, puis comparer les valeurs prévues pour les jours 21 à 30 aux observations réelles. Ces données finales jouent le rôle de jeu de validation.

Le principe est simple : un modèle convaincant ne doit pas seulement reproduire les données auxquelles il a eu accès ; il doit conserver une performance raisonnable dans une situation nouvelle mais relevant du même domaine biologique.

Plusieurs formes de données de validation

La notion de « nouvelle donnée » dépend de la question étudiée. Une validation peut être :

• temporelle : on ajuste le modèle sur des années passées et on teste ses performances pour une période ultérieure ;
• spatiale : on calibre sur certains sites et on teste sur d’autres sites comparables ;
• expérimentale : on calibre dans une condition de laboratoire et on teste une condition expérimentale différente ;
• mécanistique : on ajuste certaines sorties du modèle, puis on vérifie s’il reproduit une autre grandeur biologique non utilisée lors de l’ajustement.

Une validation est particulièrement informative lorsque les données testées sont suffisamment différentes des données de calibration pour révéler une faiblesse éventuelle, tout en restant dans le domaine où le modèle prétend s’appliquer.

Par exemple, si un modèle est calibré sur la croissance d’une bactérie à une température, il est plus exigeant de le tester à une autre température que de répéter exactement le même protocole. Mais un test à une température extrême, où la physiologie change radicalement, peut sortir du domaine de validité du modèle : l’échec ne doit pas être interprété sans examiner les hypothèses biologiques.

Mesurer l’accord sans le réduire à un seul chiffre

La validation peut reposer sur des comparaisons graphiques et quantitatives. Pour une variable continue telle qu’un effectif ou une concentration, on examine notamment :

• le décalage systématique entre simulation et données ;
• la capacité à reproduire une tendance, un maximum ou un délai ;
• l’amplitude des écarts ;
• les conditions dans lesquelles les erreurs deviennent particulièrement grandes.

Une erreur moyenne faible est utile, mais elle ne suffit pas toujours. Un modèle peut donner une moyenne correcte tout en échouant systématiquement au début d’une épidémie, près de la capacité de charge, ou pour les plus faibles concentrations. La validation doit donc être reliée à la question biologique réelle.

La validation n’établit pas définitivement qu’un modèle est vrai. Elle augmente plutôt — ou diminue — la confiance dans son usage pour un domaine précis : une population, une plage de temps, un ensemble de conditions, des variables mesurées et une précision donnée.

---

Prédire ou explorer : la différence dépend du niveau de preuve

Après calibration et validation, un modèle peut servir à produire des résultats pour des conditions non observées. Mais il faut choisir soigneusement les mots employés.

La prédiction

Une prédiction est une valeur ou une trajectoire calculée pour une observation qui n’a pas encore été utilisée dans l’étude. Elle peut concerner :

• l’effectif d’une population dans six mois ;
• le pic attendu d’une épidémie ;
• la concentration future d’un médicament ;
• la réponse d’une culture cellulaire à une dose donnée.

Dans un cadre prédictif, l’objectif principal est l’exactitude des sorties du modèle. La qualité d’une prédiction se juge sur des données nouvelles. C’est pourquoi validation et prédiction sont étroitement liées.

Il faut toutefois distinguer deux moments :

1. Validation rétrospective : les données existent déjà, mais elles ont été mises de côté. Elles permettent de mesurer la performance prédictive du modèle.
2. Prédiction prospective : le modèle est utilisé avant que les observations ne soient disponibles, par exemple pour anticiper l’évolution future d’une population.

La première fournit des éléments de confiance pour la seconde, sans jamais supprimer toute incertitude.

L’exploration

L’exploration vise d’abord à comprendre ce que les hypothèses du modèle impliquent. Elle est indispensable dans de nombreuses études, notamment quand les données sont rares, quand plusieurs mécanismes sont plausibles ou quand on souhaite préparer une expérience.

Avec le modèle logistique, on peut explorer les conséquences de plusieurs hypothèses :

• Que se passe-t-il si le taux intrinsèque $r$ diminue de 30 % ?
• Comment la trajectoire évolue-t-elle si la capacité de charge $K$ est réduite par une perte d’habitat ?
• Dans quelle plage de prélèvement la population risque-t-elle de décliner ?
• Quels paramètres modifient le plus fortement la taille de population après un an ?

Ces simulations ont une valeur scientifique réelle : elles rendent les mécanismes visibles, identifient les paramètres importants et aident à concevoir de nouvelles mesures. Mais si elles n’ont pas été confrontées à des données pertinentes, elles doivent être décrites comme des scénarios, des hypothèses ou des résultats exploratoires, plutôt que comme des prédictions établies.

Cette règle de vocabulaire est importante. Dire :

« Le modèle prédit que la population s’effondrera »

suggère que la capacité prédictive a été évaluée. Dans une phase exploratoire, une formulation plus rigoureuse est :

« Sous les hypothèses du modèle et pour ce scénario de paramètres, la simulation conduit à un déclin marqué. »

La seconde phrase ne diminue pas l’intérêt du résultat ; elle rend explicites ses conditions de validité.

L’article suivant, centré sur l’écologie, montre que le choix du but — exploration ou prédiction — change la manière de sélectionner, d’évaluer et de communiquer un modèle.

---

Une même étude, quatre usages possibles

Prenons un cas synthétique : une équipe étudie une population de poissons dans un lac et dispose de relevés annuels d’abondance ainsi que de mesures de température, de prélèvement et de surface d’habitat.

La même étude peut faire intervenir les quatre rôles.

1. Calibration

L’équipe choisit un modèle de croissance avec prélèvement et estime ses paramètres sur les dix premières années de données. Elle cherche notamment des valeurs plausibles pour le taux de croissance et la capacité de charge.

Conclusion justifiée : le modèle reproduit de manière satisfaisante les données d’ajustement, pour les paramètres estimés.

Conclusion non justifiée : le modèle prédit nécessairement l’avenir de la population.

2. Validation

Les trois années suivantes, ou les données d’un second lac comparable, sont conservées pour l’évaluation. Les paramètres ne sont plus modifiés après avoir vu ces résultats.

Si le modèle reproduit correctement la réponse à des changements de prélèvement ou à des variations environnementales, cela renforce sa crédibilité dans ce domaine. S’il échoue, l’équipe doit identifier si le problème vient :

• de paramètres mal estimés ;
• d’erreurs de mesure ;
• d’une variabilité biologique non représentée ;
• d’un mécanisme absent, comme une immigration ou un effet climatique ;
• d’un domaine de validité trop étroit.

3. Prédiction

Après une validation satisfaisante, l’équipe peut prévoir l’abondance à court terme sous un scénario de prélèvement déjà envisagé. Elle devrait communiquer non seulement une trajectoire moyenne, mais aussi l’incertitude associée aux paramètres, aux mesures et aux hypothèses.

Une prédiction utile est donc plus qu’une courbe : elle précise l’horizon temporel, les conditions supposées, les données disponibles et les limites de confiance.

4. Exploration

L’équipe peut enfin simuler plusieurs politiques de prélèvement ou de restauration d’habitat, y compris des politiques jamais encore appliquées. L’objectif n’est pas nécessairement d’annoncer avec certitude l’effectif futur, mais de déterminer :

• les seuils potentiellement dangereux ;
• les paramètres auxquels les résultats sont les plus sensibles ;
• les données qui réduiraient le plus l’incertitude ;
• les expériences ou suivis qui permettraient de départager plusieurs hypothèses.

Dans ce cas, la modélisation aide à raisonner avant de prendre une décision ou de lancer une nouvelle collecte de données.

---

Attention au mot « calibration »

Le mot calibration possède un second sens dans certains domaines, notamment pour les modèles de risque médical ou les classifieurs statistiques.

Dans cette leçon, calibration signifie principalement :

estimer ou régler les paramètres du modèle à partir de données d’ajustement.

Dans un modèle qui prédit une probabilité, par exemple un risque de maladie de 20 %, la « calibration » peut aussi désigner l’accord entre les probabilités annoncées et les fréquences réellement observées. Si, parmi de nombreux individus auxquels le modèle attribue un risque de 20 %, environ 20 % développent effectivement l’événement, le modèle est bien calibré dans ce second sens.

Ces deux idées sont liées à l’accord avec les données, mais elles ne sont pas identiques :

Expression	Sens dans cette leçon
Calibration des paramètres	Choisir des valeurs de paramètres pour ajuster un modèle aux données
Validation	Tester le modèle sur des données non utilisées pour l’ajustement
Calibration d’un modèle probabiliste	Vérifier l’accord entre probabilités prédites et fréquences observées

Lorsque vous lirez un article, cherchez donc toujours ce que l’auteur appelle exactement « calibration ».

---

Une discipline de communication scientifique

Avant de produire une figure ou une conclusion, il est utile d’écrire une phrase qui commence par :

« Ce modèle est utilisé pour… »

La suite doit indiquer clairement l’objectif principal :

• estimer des paramètres ;
• tester la capacité de généralisation du modèle ;
• prévoir une grandeur future ;
• explorer des mécanismes ou scénarios.

Cette phrase évite une erreur fréquente : présenter une simulation exploratoire comme une prédiction validée, ou considérer qu’un ajustement visuel aux données suffit à prouver le réalisme biologique du modèle.

Une étude solide documente au minimum :

1. les hypothèses et la structure du modèle ;
2. les données réservées à la calibration ;
3. les données réservées à la validation, si elles existent ;
4. le domaine biologique où les résultats sont censés s’appliquer ;
5. les limites, incertitudes et scénarios non testés.

Le schéma de modélisation présenté au début de la leçon rappelle que ce processus est itératif. Un échec de validation n’est pas simplement un échec : il peut indiquer quelles hypothèses modifier, quelles données mesurer ou quels mécanismes biologiques intégrer.

---

À retenir

La calibration ajuste les paramètres afin que le modèle reproduise des données connues. Elle est nécessaire, mais elle ne constitue pas une preuve de capacité prédictive.

La validation confronte le modèle à des données qui n’ont pas servi à le calibrer. Elle évalue sa performance dans un domaine biologique défini et limite le risque de surajustement.

La prédiction concerne des observations nouvelles, souvent futures. Une prédiction scientifiquement crédible s’appuie sur une validation adaptée et doit communiquer son incertitude.

L’exploration examine les implications d’hypothèses et de scénarios. Elle peut générer des hypothèses, éclairer des mécanismes et guider de nouvelles expériences ; sans validation, elle ne doit pas être présentée comme une prévision confirmée.

Vous avez maintenant achevé le premier module consacré à la démarche de modélisation. Le module suivant appliquera ces principes à un premier modèle dynamique fondamental : la croissance exponentielle d’une population isolée en temps continu.