Convexité et concavité des fonctions multivariées via la matrice hessienne

Bonjour. Lors de la leçon précédente, tu as appris à décider si une matrice symétrique est définie positive, négative ou indéfinie, soit par ses valeurs propres, soit avec le critère de Sylvester. Nous allons maintenant appliquer directement cet outil à une fonction : sa matrice hessienne décrit sa courbure dans toutes les directions.

L’objectif est de pouvoir conclure qu’une fonction de plusieurs variables est convexe, concave, ou ni l’un ni l’autre, sur un domaine donné. C’est un résultat central pour l’optimisation économique : une fonction de coût convexe se minimise de manière bien structurée ; une fonction d’utilité ou de production concave se maximise de manière bien structurée.

1. Convexité : la définition avant le test

Soit $U$ un ensemble convexe de $R^{n}$ . Cela signifie que, pour tous $x, y \in U$ , le segment entre $x$ et $y$ reste dans $U$ :

λ x + (1 - λ) y \in U pour tout λ \in [0, 1] .

Une fonction $f : U \to R$ est convexe si

f (λ x + (1 - λ) y) \leq λ f (x) + (1 - λ) f (y)

pour tous $x, y \in U$ et tout $λ \in [0, 1]$ .

Elle est concave si l’inégalité est inversée :

f (λ x + (1 - λ) y) \geq λ f (x) + (1 - λ) f (y) .

Autrement dit :

pour une fonction convexe, la valeur sur un mélange de deux points est au plus égale au mélange des valeurs ;
pour une fonction concave, elle est au moins égale à ce mélange.

En dimension une, tu connais déjà le critère :

f^{''} (x) \geq 0 \Rightarrow f convexe, f^{''} (x) \leq 0 \Rightarrow f concave .

En plusieurs variables, il n’existe pas une seule dérivée seconde : il faut prendre en compte les dérivées pures et croisées. C’est exactement le rôle de la hessienne.

La surface en forme de bol représente une fonction convexe de deux variables : quel que soit le déplacement horizontal choisi, la courbure reste orientée vers le haut.

2. La hessienne : la dérivée seconde dans toutes les directions

Pour une fonction $f : R^{n} \to R$ de classe $C^{2}$ , la matrice hessienne au point $x$ est

\nabla^{2} f (x) = \frac{\partial ^{2} f}{\partial x _{1}^{2}} (x) \frac{\partial ^{2} f}{\partial x _{2} \partial x _{1}} (x) ⋮ \frac{\partial ^{2} f}{\partial x _{n} \partial x _{1}} (x) \frac{\partial ^{2} f}{\partial x _{1} \partial x _{2}} (x) \frac{\partial ^{2} f}{\partial x _{2}^{2}} (x) ⋮ \frac{\partial ^{2} f}{\partial x _{n} \partial x _{2}} (x) \dots \dots ⋱ \dots \frac{\partial ^{2} f}{\partial x _{1} \partial x _{n}} (x) \frac{\partial ^{2} f}{\partial x _{2} \partial x _{n}} (x) ⋮ \frac{\partial ^{2} f}{\partial x _{n}^{2}} (x) .

Sous les hypothèses usuelles de régularité, les dérivées croisées sont égales :

\frac{\partial ^{2} f}{\partial x _{i} \partial x _{j}} = \frac{\partial ^{2} f}{\partial x _{j} \partial x _{i}} .

La hessienne est donc symétrique. C’est précisément pourquoi les outils de la leçon précédente — valeurs propres, forme quadratique, critère de Sylvester — peuvent s’appliquer.

Pour une fonction de deux variables $f (x, y)$ ,

\nabla^{2} f (x, y) = (f_{xx} (x, y) f_{y x} (x, y) f_{x y} (x, y) f_{y y} (x, y)) .

Les termes ont des significations complémentaires :

$f_{xx}$ mesure la courbure lorsqu’on ne fait varier que $x$ ;
$f_{y y}$ mesure la courbure lorsqu’on ne fait varier que $y$ ;
$f_{x y}$ mesure l’interaction de courbure entre les deux variables.

Mais examiner séparément $f_{xx}$ et $f_{y y}$ ne suffit pas : une courbure peut être positive sur les axes et se révéler négative dans une direction oblique. Il faut donc étudier la hessienne comme une matrice entière.

Fonctions à deux variables - Correction d'examen - Optimisation, Lagrangien, hessienne, extrema.

La vidéo « Fonctions à deux variables – Correction d'examen » de Maths & Éco propose un rappel bref et efficace du test de la hessienne en dimension deux. Elle consolide la procédure de calcul qui sera utilisée dans les exemples.

À partir de l'étude de convexité, regardez la construction de la hessienne, puis le rôle conjoint de son déterminant et du signe de f_{xx}. Retenez surtout qu’un déterminant positif seul ne permet pas de choisir entre convexité et concavité.

3. Pourquoi la hessienne décide de la courbure

Choisissons un point $x$ et une direction non nulle $d$ . Regardons la fonction d’une variable obtenue en se déplaçant le long de la droite passant par $x$ :

φ (t) = f (x + t d) .

Par la règle de dérivation en chaîne,

φ^{''} (t) = d^{⊤} \nabla^{2} f (x + t d) d .

Cette expression est une forme quadratique associée à la hessienne. Elle mesure donc la courbure de $f$ dans la direction $d$ .

Si $d^{⊤} \nabla^{2} f (x) d \geq 0$ pour toute direction $d$ , la fonction ne se courbe jamais vers le bas : elle est convexe.
Si $d^{⊤} \nabla^{2} f (x) d \leq 0$ pour toute direction $d$ , elle ne se courbe jamais vers le haut : elle est concave.
Si l’expression peut prendre des signes opposés selon la direction, on obtient une courbure de type selle : ni convexité ni concavité globale.

Le théorème fondamental est donc le suivant.

Soit $U$ un ouvert convexe et $f$ une fonction de classe $C^{2}$ sur $U$ .
$f est convexe sur U ⟺ \nabla^{2} f (x) ⪰ 0 pour tout x \in U .$ $f est concave sur U ⟺ \nabla^{2} f (x) ⪯ 0 pour tout x \in U .$

Les symboles signifient :

\nabla^{2} f (x) ⪰ 0

si la hessienne est semi-définie positive, et

\nabla^{2} f (x) ⪯ 0

si elle est semi-définie négative.

En utilisant les valeurs propres, cela devient :

Signe des valeurs propres de la hessienne	Conclusion sur $f$
Toutes positives ou nulles	$f$ est convexe
Toutes négatives ou nulles	$f$ est concave
Toutes strictement positives	$f$ est strictement convexe
Toutes strictement négatives	$f$ est strictement concave
Signes positifs et négatifs	$f$ n’est ni convexe ni concave sur le domaine considéré

La condition doit être vérifiée en tout point du domaine, pas seulement en un point particulier.

4. Le cas pratique en deux variables

Soit

H = (a b b c)

la hessienne d’une fonction de deux variables.

Pour établir une convexité ou une concavité stricte, le test est très rapide :

det (H) = a c - b^{2} .

Conditions	Nature de la hessienne	Conclusion
$a > 0$ et $det (H) > 0$	Définie positive	Fonction strictement convexe
$a < 0$ et $det (H) > 0$	Définie négative	Fonction strictement concave
$det (H) < 0$	Indéfinie	Ni convexe ni concave
$det (H) = 0$	Cas semi-défini ou indécis	Examiner les valeurs propres ou les mineurs principaux

Ce tableau est la traduction directe du critère de Sylvester vu précédemment.

Pour conclure à la convexité non stricte, on doit bien traiter le cas où le déterminant est nul. Une condition sûre est :

H ⪰ 0 ⟺ a \geq 0, c \geq 0, det (H) \geq 0.

De même,

H ⪯ 0 ⟺ a \leq 0, c \leq 0, det (H) \geq 0.

Ne retiens donc pas seulement « déterminant positif ». Une matrice avec un déterminant positif peut être définie positive ou définie négative : le signe de $f_{xx}$ , ou plus généralement du premier mineur dominant, est indispensable.

5. Exemple : une fonction de coût strictement convexe

Considérons la fonction

C (q_{1}, q_{2}) = q_{1}^{2} + q_{1} q_{2} + 2 q_{2}^{2} + 3 q_{1} .

On peut l’interpréter comme une fonction de coût dépendant de deux quantités produites. Les termes linéaires, comme $3 q_{1}$ , déplacent les pentes mais n’affectent pas la courbure.

Calculons les dérivées secondes :

C_{q_{1} q_{1}} = 2, C_{q_{2} q_{2}} = 4, C_{q_{1} q_{2}} = 1.

La hessienne est donc constante :

\nabla^{2} C (q_{1}, q_{2}) = (2114) .

Son premier mineur dominant vaut

Δ_{1} = 2 > 0.

Son déterminant vaut

Δ_{2} = 2 \times 4 - 1^{2} = 7 > 0.

Par le critère de Sylvester,

\nabla^{2} C (q_{1}, q_{2}) ≻ 0.

La fonction $C$ est donc strictement convexe sur $R^{2}$ .

Cette conclusion est globale, car la hessienne est définie positive quel que soit le point considéré. En optimisation non contrainte, une telle fonction ne peut pas avoir deux minima distincts : si un point critique existe, ce sera son unique minimum global.

6. Exemple économique : concavité d’une Cobb-Douglas

Considérons maintenant

f (x, y) = x y = x^{1/2} y^{1/2}, (x, y) \in R_{++}^{2} .

Le domaine $R_{++}^{2}$ , où $x > 0$ et $y > 0$ , est ouvert et convexe. Les dérivées secondes sont :

f_{xx} (x, y) = - \frac{1}{4} \frac{y}{x ^{3/2}},

f_{y y} (x, y) = - \frac{1}{4} \frac{x}{y ^{3/2}},

f_{x y} (x, y) = \frac{1}{4 x y} .

La hessienne est

\nabla^{2} f (x, y) = - \frac{1}{4} \frac{y}{x ^{3/2}} \frac{1}{4 x y} \frac{1}{4 x y} - \frac{1}{4} \frac{x}{y ^{3/2}} .

Son premier coefficient est négatif :

f_{xx} (x, y) < 0.

Calculons son déterminant :

det (\nabla^{2} f (x, y)) = 0.

La hessienne est donc semi-définie négative. Ainsi,

f (x, y) = x y

est concave sur $R_{++}^{2}$ .

Le déterminant nul est ici instructif : la fonction est concave, mais la hessienne n’est pas définie négative. En effet, $f$ est homogène de degré $1$ :

f (t x, t y) = t f (x, y) pour tout t > 0.

Le long d’un rayon partant de l’origine, la fonction évolue linéairement ; il n’y a donc pas de courbure strictement négative dans toutes les directions.

7. Exemple de selle : pourquoi les dérivées pures ne suffisent pas

Considérons

g (x, y) = x y .

Ses dérivées secondes sont

g_{xx} = 0, g_{y y} = 0, g_{x y} = 1.

Donc,

\nabla^{2} g (x, y) = (0110) .

Le déterminant vaut

det (\nabla^{2} g (x, y)) = - 1 < 0.

La hessienne est indéfinie : $g$ n’est ni convexe ni concave sur $R^{2}$ .

On le voit aussi en suivant deux directions :

g (t, t) = t^{2},

qui est convexe, tandis que

g (t, - t) = - t^{2},

qui est concave. La fonction se courbe donc vers le haut dans une direction et vers le bas dans une autre : c’est une surface en selle.

8. Au-delà de deux variables : appliquer directement la leçon précédente

En dimension $n$ , la logique ne change pas. Il faut seulement déterminer le signe de la hessienne à chaque point.

Considérons par exemple

F (x, y, z) = x^{2} + x y + y^{2} + z^{2} .

La hessienne est constante :

\nabla^{2} F = 210120002 .

Utilisons Sylvester :

Δ_{1} = 2 > 0,

Δ_{2} = 2112 = 3 > 0,

Δ_{3} = det (\nabla^{2} F) = 6 > 0.

Tous les mineurs principaux dominants sont strictement positifs. La hessienne est définie positive, donc

F

est strictement convexe sur $R^{3}$ .

Pour une fonction quadratique générale,

f (x) = \frac{1}{2} x^{⊤} A x + b^{⊤} x + c,

la hessienne est simplement

\nabla^{2} f (x) = A .

Toute l’étude de convexité est alors ramenée à l’étude de la matrice symétrique $A$ :

A ⪰ 0 ⟺ f convexe,

A ⪯ 0 ⟺ f concave .

C’est l’une des raisons pour lesquelles les formes quadratiques sont omniprésentes en optimisation, en économétrie et dans les problèmes de moindres carrés.

9. Ne pas confondre convexité globale et test local d’extremum

La hessienne intervient dans deux raisonnements différents.

Étudier la convexité ou la concavité d’une fonction

Il faut vérifier le signe de la hessienne partout dans le domaine.

\nabla^{2} f (x) ⪰ 0 pour tout x \in U

implique que $f$ est convexe sur $U$ .

Classer un point critique

Si $\nabla f (x^{⋆}) = 0$ , alors le signe de la hessienne au seul point $x^{⋆}$ apporte une information locale :

si $\nabla^{2} f (x^{⋆}) ≻ 0$ , alors $x^{⋆}$ est un minimum local strict ;
si $\nabla^{2} f (x^{⋆}) ≺ 0$ , alors $x^{⋆}$ est un maximum local strict ;
si la hessienne est indéfinie, $x^{⋆}$ est un point selle ;
si elle est seulement semi-définie, le test local est généralement insuffisant.

Une fonction convexe apporte davantage qu’un simple test local : tout point critique est alors un minimum global. De façon analogue, pour une fonction concave, tout point critique est un maximum global. Cette propriété sera particulièrement utile dès que l’on introduira les contraintes et les lagrangiens.

Méthode opérationnelle à appliquer

Face à une fonction $f$ de plusieurs variables :

Préciser le domaine et vérifier qu’il est convexe.
Calculer la hessienne $\nabla^{2} f (x)$ .
Étudier son signe pour tout point du domaine :
- valeurs propres si elles sont accessibles ;
- critère de Sylvester pour une définition stricte ;
- en dimension deux, déterminant et signe de $f_{xx}$ .
Conclure avec le bon niveau de précision :
- semi-définie positive : convexe ;
- définie positive : strictement convexe ;
- semi-définie négative : concave ;
- définie négative : strictement concave ;
- indéfinie : ni convexe ni concave.

À retenir : la hessienne généralise la dérivée seconde à plusieurs variables. Sa forme quadratique $d^{⊤} \nabla^{2} f (x) d$ mesure la courbure dans la direction $d$ . Une hessienne semi-définie positive en tout point caractérise la convexité ; une hessienne semi-définie négative caractérise la concavité. Les outils matriciels de la leçon précédente deviennent donc des outils d’optimisation.

La prochaine leçon introduira le problème d’optimisation sous contrainte d’égalité et la construction du lagrangien.

Recommended resources