~/projects/ai-interpretability-journey/

Voyage dans l'interprétabilité de l'IA

2 juil 2024 #interpretability#llm#transformerlens

Mon carnet numérique pour apprendre l'interprétabilité de l'IA : notes, expériences et réflexions pour rendre les modèles plus transparents.

Objectif

Ce dépôt est mon carnet de recherche pour apprendre l’interprétabilité de l’IA. Des expériences dépassent la sortie finale pour étudier le lien entre représentations internes des Transformers et comportement. Il réunit notes de lecture et notebooks pratiques.

Contenu

Des notebooks inspirés d’ARENA et de Transformer Circuits explorent Find-Min, Find-Median, les activations et les composants. Avec TransformerLens, j’inspecte les représentations et modifie des activations ; les visualisations montrent la contribution de composants à une réponse.

Portée

Il s’agit de notes et d’expériences en évolution, non d’un résultat définitif. Les observations doivent rester liées à la tâche et aux hypothèses de chaque notebook, sans généralisation à tous les modèles.

← cd ..