~/projects/ff-algorithm-pytorch-implementation/

L'algorithme Forward-Forward en PyTorch

3 mai 2023 #pytorch#deep-learning#research

Une implémentation PyTorch non officielle de l'algorithme Forward-Forward de Geoffrey Hinton, une façon d'entraîner des réseaux sans rétropropagation.

Objectif

Ce dépôt est une implémentation PyTorch non officielle de l’approche Forward-Forward (FF) de Geoffrey Hinton. Les notebooks étudient le remplacement des passes avant et arrière par deux passes avant, l’une sur des exemples positifs, l’autre sur des négatifs.

Méthode

Chaque couche cherche à augmenter un score « goodness » pour les exemples positifs et à le réduire pour les négatifs. Des expériences MLP et CNN utilisent cet objectif local ; les signaux sont évalués par couche, sans rétropropagation des gradients standards dans tout le réseau.

État

Le projet cherche à suivre l’article sans être le dépôt officiel de Hinton. Le README signale des parties inachevées. Les notebooks servent à étudier méthode et essais, pas à présenter un produit fini ou un benchmark.

← cd ..