Merge branch 'master' of ssh://ssh.hesge.ch:10572/orestis.malaspin/math_tech_info

cours.md

@@ -1267,7 +1267,7 @@ $x\in[x^\ast-\delta,x^\ast+delta]$. Un *minimum global* est un $x^\ast$ tel que
 En fait, il n'existe pas de méthode pour déterminer un minimum global, pour n'importe quelle fonction.
 Nous somme assurés de le trouver, uniquement si $f$ est une fonction convexe partout ($f''(x)>0 \ \forall x$).
 
-## Algorithme de recherche d'un zéro d'une fonction
+## Algorithme des recherche d'un zéro d'une fonction
 
 Comme nous venons de le voir, lors de la recherche d'un minimum, il est nécessaire de trouver le point $x^\ast$
 où $f'(x^\ast)=0$. Le problème est donc de déterminer les zéros de la fonction $f'(x)$. Pour avoir un maximum de généralité,
@@ -1280,6 +1280,8 @@ analytiquement les zéros. En revanche, pour des fonctions plus complexes, ou "i
 l'équation $g(x)=0$ sous la forme $x=...$) la détermination des zéros est beaucoup plus difficile et nécessite l'utilisation
 de **méthodes itératives**. Nous allons en voir quelques unes.
 
+## Méthodes par raffienement d'intervalles
+
 ### Méthode de la bissection
 
 ![Illustration de la méthode de la bissection. Source: Wikipedia
@@ -1383,6 +1385,42 @@ $$
 
 ---
 
+### Recherche de la fourchette intiale
+
+Dans les méthodes ci-dessus, nous avons supposé que nous avions une fonction $g(x)$ continue, ainsi qu'un intervalle, $[a,b]$,
+avec
+\begin{equation}
+g(a)<0,\quad g(b)>0.
+\end{equation}
+Mais, nous n'avons pas encore vu de méthode pour déterminer les valeur de la fourchette $a,b$.
+
+---
+
+Remarque +.#
+
+On peut procéder de façon très similaire pour $[a,b]$ tel que
+
+\begin{equation}
+g(a)>0,\quad g(b)>0.
+\end{equation}
+
+Il suffit de prendre remplacer $g(x)\rightarrow -g(x)$.
+
+---
+
+Les méthodes pour déterminer la fourchette initiales sont également des *méthodes itératives*.
+
+La plus simple qu'on puisse imaginer est de partir d'un point initial $a$ (choisi aus hasard par exemple).
+On suppose que $g(a)<0$ (sinon voir la remarque ci-dessus).
+Puis on choisir deux *hyperparamètres*: $\delta x$ et $k$[^10]. Ensuite on calcule $b=a+k\cdot \delta x$.
+Si $f(b)>0$, on a terminé. Sinon on recommence avec $k\rightarrow 2\cdot k$ et $b\rightarrow k\cdot b$.
+
+## Méthodes de descentes locales
+
+L'idée de ce type de méthodes est, contrairement aux méthodes de la section précédente, d'utiliser des
+connaissances *locales* que nous pouvons avoir sur la fonction. Cette connsaissance loale
+a en général comme effet une *convergence* plus rapide de l'algorithme de recherche de zéros.
+
 ### Méthode de Newton (ou *Newton-Raphson")
 
 La méthode de Newton est également une méthode itérative, qui nécessite que la fonction $g(x)$ soit non seulement continue mais également dérivable.
@@ -1390,8 +1428,8 @@ Revenons sur la méthode de la sécante. Il s'agissait de choisir deux points, $
 \begin{equation*}
 y=\frac{g(b)-g(a)}{b-a}(x-a) + g(a).
 \end{equation*}
-Il se trouve que $g(b)-g(a)/(b-a)$ n'est autre qu'une approximation avec une formule de différences finies
-de la dérivée de $g$ et $a$, $g'(a)$. Si la fonction $f$ est dérivable, on peut simplement remplacer ce terme par $g'(a)$
+Il se trouve que $g(b)-g(a)/(b-a)$ n'est autre qu'une approximation avec une formule de *différences finies*
+de la dérivée de $g$ et $a$, $g'(a)$. Si la fonction $g$ est dérivable, on peut simplement remplacer ce terme par $g'(a)$
 et on obtient
 $$
 y=g'(a)(x-a) + g(a).
@@ -1456,7 +1494,35 @@ Exercice +.#
 Écrire l'algorithme de Newton pour le cas de la minimisation d'une fonction $f(x)$ quelconque, mais continuement dérivable 2 fois.
 
 ---
- 
+
+## En plusieurs dimensions
+
+Quand notre fonction de coût dépend de plusieurs arguments, on dit que c'est une fonction *multivariée*, $f(\vec x)$, avec $\vec x\in\real^n$.
+On peut également l'écrire de façon plus explicite (et aussi plus longue) comme
+\begin{equation}
+f(\vec x)=f(x_1, x_2, ..., x_n).
+\end{equation}
+Bien que la fonction de coût prenne en argument plusieurs variables, elle retourne uniquement un réel
+\begin{equation}
+f:\real^n\rightarrow \real.
+\end{equation}
+
+---
+
+Exemple +.# (Régression linéaire)
+
+Dans le cas de la régression linéaire, si la droite ne passe pas par l'origine, nous avons que
+la fonction de coût dépent de la pente de la droite, ainsi que de son ordonnée  l'origine
+
+\begin{equation}
+f(a,b)=\frac{1}{N}\sum_{i=1}^N \left(a\cdot x_i+b - y_i\right)^2.
+\end{equation}
+
+---
+
+###  Les drivées en plusieurs dimensions
+
+
 
 Équations différentielles ordinaires
 ====================================
@@ -4667,3 +4733,4 @@ Borel, Gay-Balmaz, Ibanez, Lovino et Sousa. Je voudrais également remercier A.
     boule blanche ($p(B)=1/3$) n’est pas donnné par
     $p(A)=\mbox{nombre d'éléments dans }A/\mbox{nombre total d'éléments}=1/2$,
     $p(B)=\mbox{nombre d'éléments dans }B/\mbox{nombre total d'éléments}=1/2$.
+[^10]: Leur valeur est un peu arbitraire, souvent $\delta x=0.01$ et $k=2$.
\ No newline at end of file