~/projects/pytorch-sota-implementations/

Implémentations SOTA en PyTorch

9 août 2023 #pytorch#llm#deep-learning

Des implémentations from scratch en PyTorch de modèles de deep learning de pointe, dont le Transformer.

Objectif

Ce dépôt aide à comprendre des architectures modernes en les construisant pas à pas dans des notebooks PyTorch plutôt qu’en utilisant seulement des modèles préfabriqués. Les explications sont en anglais et turc. « SOTA » décrit le sujet, sans revendiquer une performance de benchmark de pointe pour chaque implémentation.

Architectures

Le dépôt comprend Transformer, GPT‑1, Vision Transformer (ViT) et U‑Net. Les notebooks rendent visibles couches principales et flux de données ; PDF d’articles et explications apportent du contexte. La collection couvre génération de texte, classification d’images et transformation d’image.

Utilisation

Les notebooks anglais et turcs associent code et explications. Paramètres d’entraînement, jeux de données et évaluations varient selon le modèle ; le dépôt est un support d’apprentissage sur leur construction.

← cd ..