Vector Operations

Dans notre leçon précédente, nous avons jeté les bases en définissant les objets fondamentaux de l'algèbre linéaire : les scalaires, les vecteurs et les matrices. Vous avez appris à voir un vecteur comme la représentation d'un unique point de données avec plusieurs caractéristiques, et une matrice comme un ensemble complet de données.

Maintenant que nous avons nos "noms" pour représenter les données, il est temps d'apprendre les "verbes" — les opérations que nous pouvons effectuer sur elles. Cette leçon se concentre sur trois opérations vectorielles fondamentales : l'addition de vecteurs, la multiplication par un scalaire et le produit scalaire. La maîtrise de ces calculs est essentielle, car ce sont les opérations de base qui animent de nombreux algorithmes d'apprentissage automatique, du calcul d'une simple prédiction à l'entraînement de réseaux de neurones complexes.

L'arithmétique des vecteurs : Addition et multiplication par un scalaire

Les deux opérations les plus fondamentales sont l'addition de deux vecteurs et la multiplication d'un vecteur par un scalaire. Ces opérations ont des interprétations géométriques très intuitives.

Interprétation géométrique

Imaginez un vecteur comme un déplacement dans l'espace : il a une direction et une longueur.

Addition de vecteurs : Si vous effectuez le déplacement représenté par le premier vecteur, puis le déplacement représenté par le second, l'addition des deux vecteurs est le déplacement unique et direct de votre point de départ à votre point d'arrivée final.
Multiplication par un scalaire : Multiplier un vecteur par un nombre (un scalaire) revient à "mettre à l'échelle" ce vecteur. Le multiplier par 2 double sa longueur. Le multiplier par 0,5 la divise par deux. Le multiplier par -1 conserve sa longueur mais inverse sa direction.

Pour une visualisation claire de ces deux concepts, la vidéo suivante est une excellente ressource.

Vectors | Chapter 1, Essence of linear algebra

Cette vidéo de la chaîne 3Blue1Brown, intitulée "Vectors | Chapter 1, Essence of linear algebra", est réputée pour ses visualisations intuitives. Elle vous aidera à construire une solide compréhension mentale de ces opérations.

Veuillez regarder les segments suivants : Addition de vecteurs : De ce passage, observez comment l'addition est visualisée comme un déplacement "pointe à queue" et comment cela se traduit par l'addition des composantes. Multiplication par un scalaire : De cette partie, concentrez-vous sur l'idée de "mise à l'échelle" (étirement, compression, inversion) d'un vecteur.

L'image ci-dessous illustre deux manières courantes de visualiser l'addition de vecteurs : la méthode du triangle (qui correspond à l'approche "pointe à queue" de la vidéo) et la méthode du parallélogramme.

Cette image montre la méthode du triangle, où le vecteur **b** commence à la pointe de **a**, et la méthode du parallélogramme, où les deux vecteurs partagent la même origine et leur somme est la diagonale du parallélogramme qu'ils forment.

Règle de calcul

D'un point de vue calculatoire, les règles sont très simples et s'effectuent "composante par composante".

Addition de vecteurs : Pour additionner deux vecteurs de même dimension, on additionne leurs composantes correspondantes.
$u + v = u_{1} u_{2} ⋮ u_{n} + v_{1} v_{2} ⋮ v_{n} = u_{1} + v_{1} u_{2} + v_{2} ⋮ u_{n} + v_{n}$
Multiplication par un scalaire : Pour multiplier un vecteur par un scalaire, on multiplie chaque composante du vecteur par ce scalaire.
$c v = c v_{1} v_{2} ⋮ v_{n} = c v_{1} c v_{2} ⋮ c v_{n}$

Ces deux opérations peuvent être combinées pour former des combinaisons linéaires, telles que $a u + b v$ , qui sont au cœur de presque tout ce que nous ferons en algèbre linéaire.

Le produit scalaire : Une multiplication différente

Il existe une autre façon cruciale de "multiplier" deux vecteurs, appelée le produit scalaire (ou dot product en anglais). Contrairement à l'addition ou à la multiplication par un scalaire, le produit scalaire de deux vecteurs ne donne pas un nouveau vecteur, mais un unique scalaire.

Calcul du produit scalaire

La règle de calcul est simple : on multiplie les composantes correspondantes des deux vecteurs, puis on additionne tous ces produits.

u \cdot v = u_{1} v_{1} + u_{2} v_{2} + \dots + u_{n} v_{n} = i = 1 \sum n u_{i} v_{i}

La vidéo suivante de Khan Academy explique cette définition et fournit des exemples clairs.

Vector dot product and vector length | Vectors and spaces | Linear Algebra | Khan Academy

Cette vidéo, "Vector dot product and vector length", définit clairement le produit scalaire et montre comment le calculer.

Veuillez regarder la section sur la définition du produit scalaire, suivie des exemples de calcul.

Par exemple, si $u = 13 - 2$ et $v = 402$ , leur produit scalaire est :

u \cdot v = (1) (4) + (3) (0) + (- 2) (2) = 4 + 0 - 4 = 0

Signification et interprétation géométrique

Le calcul est simple, mais que signifie le résultat ? Le produit scalaire nous renseigne sur la relation géométrique entre les deux vecteurs. Pour explorer cela, nous allons utiliser un excellent tutoriel qui non seulement explique la géométrie, mais la relie également à un exemple simple de modélisation neuronale.

Tutorial 1: Vectors — Neuromatch Academy

Ce tutoriel de Neuromatch Academy, une école d'été renommée en neurosciences computationnelles, offre une perspective appliquée. Il vous aidera à comprendre l'utilité du produit scalaire au-delà du simple calcul.

Veuillez lire la Section 3 : The dot product. Commencez par lire la Section 3.1. Elle introduit le produit scalaire dans le contexte d'un modèle neuronal simple, où la réponse d'un neurone est une somme pondérée des entrées, ce qui est exactement un produit scalaire. Ensuite, lisez attentivement la Section 3.2. Elle révèle la connexion cruciale entre le produit scalaire et l'angle \theta entre les deux vecteurs : \mathbf{u} \cdot \mathbf{v} = ||\mathbf{u}|| \cdot ||\mathbf{v}|| \cdot \cos\theta. Pendant votre lecture, retenez ces points clés sur la signification du produit scalaire : Il est maximal (et positif) lorsque les vecteurs pointent dans la même direction (\cos(0^\circ) = 1). Il est nul lorsque les vecteurs sont orthogonaux (perpendiculaires) (\cos(90^\circ) = 0). Il est minimal (et négatif) lorsque les vecteurs pointent dans des directions opposées (\cos(180^\circ) = -1). Ainsi, le produit scalaire est une mesure de similarité ou d'alignement entre deux vecteurs.

Applications en Apprentissage Automatique

Ces opérations vectorielles ne sont pas de simples exercices mathématiques ; elles sont le moteur des modèles d'apprentissage automatique. L'image ci-dessous montre comment ces opérations apparaissent dans deux modèles fondamentaux : la régression linéaire et les réseaux de neurones.

Cette image illustre les opérations vectorielles de base et leurs applications directes dans les modèles de régression linéaire et de réseaux de neurones.

Regardons de plus près :

Régression Linéaire : Le but est de prédire une valeur $y$ à partir d'entrées $x_{1}, x_{2}, \dots, x_{n}$ . Le modèle apprend des "poids" $w_{1}, w_{2}, \dots, w_{n}$ . La prédiction est calculée comme $y = w_{1} x_{1} + w_{2} x_{2} + \dots + w_{n} x_{n} + w_{0}$ . Vous reconnaissez peut-être maintenant que $w_{1} x_{1} + \dots + w_{n} x_{n}$ est simplement le produit scalaire du vecteur d'entrée $x$ et du vecteur de poids $w$ .
Réseaux de Neurones : Un réseau de neurones est composé de multiples "neurones" interconnectés. La valeur de chaque neurone (par exemple $j_{1}$ ) est calculée en prenant les entrées ( $i_{1}, i_{2}, i_{3}$ ), en les multipliant par des poids correspondants ( $w_{i 1, j 1}, w_{i 2, j 1}, w_{i 3, j 1}$ ), puis en additionnant les résultats. Encore une fois, c'est un produit scalaire entre le vecteur d'entrée $i$ et un vecteur de poids $w$ .

Ces opérations de base, que vous venez d'apprendre, sont effectuées des millions de fois lors de l'entraînement et de l'utilisation de modèles modernes d'apprentissage profond.

Conclusion

Dans cette leçon, vous avez appris à effectuer et à interpréter trois opérations vectorielles fondamentales, qui constituent les briques de construction de l'algèbre linéaire pour l'apprentissage automatique.

Voici les points clés à retenir :

Addition de vecteurs : S'effectue composante par composante et correspond géométriquement à enchaîner des déplacements.
Multiplication par un scalaire : Met à l'échelle un vecteur en multipliant chaque composante par le scalaire, ce qui change sa longueur et/ou sa direction.
Produit scalaire : Calcule la somme des produits des composantes correspondantes, résultant en un scalaire. Géométriquement, il mesure l'alignement ou la similarité entre deux vecteurs.

Dans notre prochaine leçon, nous passerons des opérations sur les vecteurs aux opérations sur les matrices. Vous apprendrez à effectuer la multiplication de matrices, une opération qui nous permettra de transformer des ensembles de données entiers et de traiter plusieurs points de données simultanément, nous rapprochant ainsi de la manière dont les algorithmes d'apprentissage automatique fonctionnent en pratique.

Recommended resources