Skip to content
Snippets Groups Projects
Commit c9604fa7 authored by aliya.myaz's avatar aliya.myaz
Browse files

introduction

parent 45acd9bd
Branches
No related tags found
No related merge requests found
Pipeline #32479 failed
...@@ -23,18 +23,38 @@ format: ...@@ -23,18 +23,38 @@ format:
# Introduction # Introduction
Dans le cadre de ce travail pratique, nous étions amenés à nous familiariser Dans le cadre (subtilement élargi) de ce travail pratique, nous étions amenés à
avec le concept de la descente de gradient dans le contexte de l’apprentissage nous familiariser avec le concept de la descente de gradient dans le contexte de
machine et l’intelligence artificielle. l’apprentissage machine et l’intelligence artificielle.
La descente de gradient (le concept en lui-même ainsi que les divers En effet, parmi d’autres utilités hautement majeures, la descente de gradient
algorithmes) est utilisée dans l’entraînement des réseaux neuronaux lors de la (le concept en lui-même ainsi que les divers algorithmes) est utilisée dans
rétropropagation ("Backpropagation"). En bref, la rétropropagation consiste à l’entraînement des réseaux neuronaux lors de la rétropropagation ("backpropagation").
"remonter" dans le réseau depuis la couche de sortie en direction de la couche En bref, la rétropropagation consiste à "remonter" dans le réseau depuis la couche
d’entrée afin d’ajuster les poids de chaque neurones qui ont contribué à un de sortie en direction de la couche d’entrée. Cette remontée permet d’ajuster les
résultat faussé de sorte à pouvoir corriger le réseau. Cette correction poids des neurones ayant contribué à un résultat faussé de sorte à optimiser les
s’effectue grâce à une descente de gradient sur une fonction, dite de "coût", performances du modèle. Cette correction consiste plus concrètement en
qui représente l’erreur commise lors d’une mauvaise classification. l’optimisation des paramètres d’une fonction dite de "coût", qui représente l’écart
entre les prédictions du réseau et les valeurs attendues. Il s’agit donc en fait
d’un problème de minimisation d’erreur.
Or l’essence même de la descente de gradient réside dans sa capacité à orienter
un processus d'optimisation vers un minimum (au moins local) en ajustant
itérativement les paramètres d'un modèle ou variables d'une fonction. Cependant,
ce voyage est jonché de multiples pièges que nous avons inévitablement rencontré
dans notre exploration.
Car en effet, ayant compris l’importance de la descente de gradient, nous avons
voulu à travers ce rapport (de notre propre volonté), explorer en détail
différentes facettes de cet outil, de ses paramètres à ses implications pratiques,
sur des fonctions particulières et une fonction de coût réelle.
Perpendiculairement à la comparaison des fonctions, ce sont les méthodes de
descente qui ont été confrontées, nous menant à méditer les subtilités de chacune
d’entre elles.
Aussi, nous souhaitons-vous un bon voyage dans l’univers merveilleux de ce rapport
immersif, et vous prions de vous laisser porter au-travers des dunes par les
descentes de gradient, les plus rapides comme les plus erratiques et aventureuses.
# Expérimentation # Expérimentation
......
0% Loading or .
You are about to add 0 people to the discussion. Proceed with caution.
Please register or to comment