Estimation du Maximum de Vraisemblance

24 novembre 2024

Objectif

On nous donne un ensemble de données $D$ , qui contient des vecteurs de caractéristiques $x_{k}$ et des étiquettes de classe $ω_{k}$ . Notons $D_{i}$ comme l’ensemble des caractéristiques de la classe $ω_{i}$ . Nous supposons ce qui suit :

Que $p (x ∣ ω_{j}) \sim N (μ_{j}, Σ_{j})$ . Autrement dit, étant donné une étiquette de classe, la distribution des caractéristiques appartenant à cette classe forme une Gaussienne de moyenne $μ_{j}$ et de covariance $Σ_{j}$ .
Les échantillons $x \in D_{i}$ sont indépendants et identiquement distribués (i.i.d.) selon cette distribution Gaussienne supposée.

Le problème que l’estimation du maximum de vraisemblance (MLE) cherche à résoudre est de trouver l’ensemble de paramètres $μ_{j}, Σ_{j}$ le plus probable, étant donné les données. Nous notons

θ = (μ, Σ)

qui inclut les moyennes et les covariances pour chaque classe. La vraisemblance de $θ$ est

l (θ) = p (D ∣ θ),

et l’estimateur du maximum de vraisemblance (MLE) de $θ$ , $\hat{θ}$ , est

\hat{θ} = ar g θ max l (θ) .

En pratique, nous utilisons la log-vraisemblance pour des calculs plus simples :

l (θ) = lo g p (D ∣ θ),

car maximiser la log-vraisemblance est équivalent à maximiser la vraisemblance. En d’autres termes, la vraisemblance nous indique la probabilité de générer notre ensemble de données si chaque point de données était tiré indépendamment de la distribution définie par $θ$ . Le $\hat{θ}$ qui maximise cette probabilité définit la distribution réelle à partir de laquelle $D$ a été tiré.

Nous pouvons essayer de trouver $\hat{θ}$ en fixant le gradient de $l (θ)$ à $0$ et en vérifiant que la solution est un maximum. Cependant, cela ne garantit pas un maximum global.

Exemple : $\boldsymbol{\mu}$ inconnu

Supposons que chaque élément $x_{k}$ de notre ensemble de données $D$ soit tiré d’une distribution gaussienne multivariée avec une covariance connue $Σ$ mais une moyenne inconnue $μ$ . Quel est l’estimateur du maximum de vraisemblance (MLE) de $μ$ ?

\hat{μ} = ar g μ max p (D ∣ μ) .

Pour trouver le MLE de $μ$ , nous maximisons la fonction de vraisemblance. Pour une distribution gaussienne multivariée :

p (x_{k} ∣ μ) = \frac{1}{( 2 π ) ^{d /2} ∣ Σ ∣ ^{1/2}} exp (- \frac{1}{2} (x_{k} - μ)^{⊤} Σ^{- 1} (x_{k} - μ)),

où $d$ est la dimension de $x_{k}$ .

Puisque nous avons supposé que les échantillons sont indépendants, la vraisemblance de l’ensemble de données $D$ est le produit des vraisemblances de chaque $x_{k}$ . Cela devient une somme dans l’espace logarithmique :

lo g p (D ∣ μ) = k = 1 \sum n lo g p (x_{k} ∣ μ) = - \frac{n d}{2} lo g (2 π) - \frac{n}{2} lo g ∣ Σ ∣ - \frac{1}{2} k = 1 \sum n (x_{k} - μ)^{⊤} Σ^{- 1} (x_{k} - μ) .

En prenant le gradient et en le fixant à zéro :

\nabla_{μ} lo g p (D ∣ \hat{μ}) = k = 1 \sum n Σ^{- 1} (x_{k} - \hat{μ}) = 0.

Dérivation du gradient

Considérons la forme quadratique, où $x \in R^{d \times 1}$ , $Σ \in R^{d \times d}$ :

f (x) = x^{⊤} Σ x = i = 1 \sum d j = 1 \sum d x_{i} Σ_{ij} x_{j} .

Calcul du gradient :

\frac{\partial f}{\partial x _{k}} = j = 1 \sum d Σ_{kj} x_{j} + i = 1 \sum d x_{i} Σ_{ik} .

Où le premier terme provient de $i = k$ et le second de $j = k$ . Nous remarquons que :

\frac{\partial f}{\partial x _{k}} = (Σ x)_{k} + (Σ^{⊤} x)_{k}

donc,

\nabla_{x} (x^{⊤} Σ x) = (Σ + Σ^{⊤}) x .

Dans notre cas, nous différencions par rapport à $μ$ , ce qui introduit un signe négatif lors de la substitution. En utilisant le fait que $Σ^{- 1}$ est symétrique (car c’est une matrice de covariance) et le résultat ci-dessus :

\nabla_{μ} ((x_{k} - \hat{μ})^{⊤} Σ^{- 1} (x_{k} - \hat{μ})) = - 2 Σ^{- 1} (x_{k} - \hat{μ}) .

En multipliant par $Σ$ des deux côtés :

k = 1 \sum n x_{k} = k = 1 \sum n \hat{μ} = n \hat{μ},

ce qui implique :

\hat{μ} = \frac{1}{n} k = 1 \sum n x_{k},

qui est la moyenne empirique ! Ce résultat est tout à fait logique.

←

Construire et déployer du Rust sur un site Hugo

Estimation du Maximum A Posteriori (MAP)

→