Skip to content
GitLab
Explore
Sign in
Primary navigation
Search or go to…
Project
G
gradient_descent
Manage
Activity
Members
Labels
Plan
Issues
Issue boards
Milestones
Wiki
Code
Merge requests
Repository
Branches
Commits
Tags
Repository graph
Compare revisions
Snippets
Build
Pipelines
Jobs
Pipeline schedules
Artifacts
Deploy
Releases
Package registry
Model registry
Operate
Environments
Terraform modules
Monitor
Incidents
Analyze
Value stream analytics
Contributor analytics
CI/CD analytics
Repository analytics
Model experiments
Help
Help
Support
GitLab documentation
Compare GitLab plans
Community forum
Contribute to GitLab
Provide feedback
Keyboard shortcuts
?
Snippets
Groups
Projects
Show more breadcrumbs
ISC2
maths
gradient_descent
Commits
c9604fa7
Commit
c9604fa7
authored
11 months ago
by
aliya.myaz
Browse files
Options
Downloads
Patches
Plain Diff
introduction
parent
45acd9bd
Branches
Branches containing commit
No related tags found
No related merge requests found
Pipeline
#32479
failed
11 months ago
Stage: build
Changes
1
Pipelines
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
report/report.qmd
+32
-12
32 additions, 12 deletions
report/report.qmd
with
32 additions
and
12 deletions
report/report.qmd
+
32
−
12
View file @
c9604fa7
...
@@ -23,18 +23,38 @@ format:
...
@@ -23,18 +23,38 @@ format:
# Introduction
# Introduction
Dans le cadre de ce travail pratique, nous étions amenés à nous familiariser
Dans le cadre (subtilement élargi) de ce travail pratique, nous étions amenés à
avec le concept de la descente de gradient dans le contexte de l’apprentissage
nous familiariser avec le concept de la descente de gradient dans le contexte de
machine et l’intelligence artificielle.
l’apprentissage machine et l’intelligence artificielle.
La descente de gradient (le concept en lui-même ainsi que les divers
En effet, parmi d’autres utilités hautement majeures, la descente de gradient
algorithmes) est utilisée dans l’entraînement des réseaux neuronaux lors de la
(le concept en lui-même ainsi que les divers algorithmes) est utilisée dans
rétropropagation ("Backpropagation"). En bref, la rétropropagation consiste à
l’entraînement des réseaux neuronaux lors de la rétropropagation ("backpropagation").
"remonter" dans le réseau depuis la couche de sortie en direction de la couche
En bref, la rétropropagation consiste à "remonter" dans le réseau depuis la couche
d’entrée afin d’ajuster les poids de chaque neurones qui ont contribué à un
de sortie en direction de la couche d’entrée. Cette remontée permet d’ajuster les
résultat faussé de sorte à pouvoir corriger le réseau. Cette correction
poids des neurones ayant contribué à un résultat faussé de sorte à optimiser les
s’effectue grâce à une descente de gradient sur une fonction, dite de "coût",
performances du modèle. Cette correction consiste plus concrètement en
qui représente l’erreur commise lors d’une mauvaise classification.
l’optimisation des paramètres d’une fonction dite de "coût", qui représente l’écart
entre les prédictions du réseau et les valeurs attendues. Il s’agit donc en fait
d’un problème de minimisation d’erreur.
Or l’essence même de la descente de gradient réside dans sa capacité à orienter
un processus d'optimisation vers un minimum (au moins local) en ajustant
itérativement les paramètres d'un modèle ou variables d'une fonction. Cependant,
ce voyage est jonché de multiples pièges que nous avons inévitablement rencontré
dans notre exploration.
Car en effet, ayant compris l’importance de la descente de gradient, nous avons
voulu à travers ce rapport (de notre propre volonté), explorer en détail
différentes facettes de cet outil, de ses paramètres à ses implications pratiques,
sur des fonctions particulières et une fonction de coût réelle.
Perpendiculairement à la comparaison des fonctions, ce sont les méthodes de
descente qui ont été confrontées, nous menant à méditer les subtilités de chacune
d’entre elles.
Aussi, nous souhaitons-vous un bon voyage dans l’univers merveilleux de ce rapport
immersif, et vous prions de vous laisser porter au-travers des dunes par les
descentes de gradient, les plus rapides comme les plus erratiques et aventureuses.
# Expérimentation
# Expérimentation
...
...
This diff is collapsed.
Click to expand it.
Preview
0%
Loading
Try again
or
attach a new file
.
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Save comment
Cancel
Please
register
or
sign in
to comment