L'algorithme Forward-Forward en PyTorch
Une implémentation PyTorch non officielle de l'algorithme Forward-Forward de Geoffrey Hinton, une façon d'entraîner des réseaux sans rétropropagation.
Objectif
Ce dépôt est une implémentation PyTorch non officielle de l’approche Forward-Forward (FF) de Geoffrey Hinton. Les notebooks étudient le remplacement des passes avant et arrière par deux passes avant, l’une sur des exemples positifs, l’autre sur des négatifs.
Méthode
Chaque couche cherche à augmenter un score « goodness » pour les exemples positifs et à le réduire pour les négatifs. Des expériences MLP et CNN utilisent cet objectif local ; les signaux sont évalués par couche, sans rétropropagation des gradients standards dans tout le réseau.
État
Le projet cherche à suivre l’article sans être le dépôt officiel de Hinton. Le README signale des parties inachevées. Les notebooks servent à étudier méthode et essais, pas à présenter un produit fini ou un benchmark.