Dans ce cours, nous allons implémenter un réseau de neurones en partant de zéro, sans librairies dédiées. Ainsi, bien que nous allons utiliser le langage de programmation python, à l'issue de ce cours, vous aurez la capacité d'implémenter un réseau de neurones, dans n'importe quel langage de programmation.

Nous verrons le fonctionnement des réseaux de neurones de manière intuitive, puis mathématique. Nous verrons également certaines astuces primordiales, qui permettent de stabiliser l'entraînement des réseaux de neurones (log-sum-exp trick), et d'empêcher que la mémoire utilisée pendant l'entraînement ne croisse de manière exponentielle (jacobian-vector product). Sans ces astuces, la plupart des réseaux de neurones ne pourraient être entraînés.

Nous allons entraîner nos réseaux de neurones sur des problèmes réels de classification d'images et de régression. Pour cela, nous allons implémenter différentes fonctions de coûts, ainsi que plusieurs fonctions d'activations.

Ce cours s'adresse aux développeurs qui aimeraient implémenter un réseau de neurones en partant de zéro ainsi qu'à ceux qui veulent comprendre comment fonctionne un réseau de neurones de A à Z.

Ce cours est enseigné en utilisant le langage de programmation Python et requiert des connaissances de base en programmation. Si vous n'avez pas les bases requises, je vous recommande de vous mettre à jour en suivant un cours accéléré de programmation. Il est également recommandé d'avoir des connaissances en Algèbre et en Analyse afin de profiter au mieux de ce cours.

Concepts abordés :

• Les réseaux de neurones L'implémentation de réseaux de neurones en partant de zéro

• Descente de gradient et matrice Jacobienne

• La création de Modules qui peuvent s'imbriquer dans le but de créer une architecture neuronale complexe

• Le log-sum-exp trick

• Produit vectoriel jacobien

• Les fonctions d'activations (ReLU, Softmax, LogSoftmax, ...)

• Les fonctions de coûts (MSELoss, NLLLoss, ...)

Ce cours est fréquemment mis à jour, avec l'ajout de bonus.

N'attendez plus avant de vous lancer dans le monde du machine learning!