Deep Learning Podcast Summaries
Deep Learning on Yedapo: 9 summarized podcast and YouTube episodes. Each includes key takeaways, core concepts and notable quotes with timestamps.
I read every major CS paper of the last 100 years...
Fireship
Jun 17, 2026
Modern AI is not a sudden miracle but the result of a century-long chain reaction of scientific breakthroughs. From Alan Turing’s definition of the algorithm to the massive scale of today’s Transformers, intelligence emerged when researchers combined the right mathematical foundations—backpropagation, information theory, and distributed computing—with unprecedented amounts of data and compute.
Key insight: Claude Shannon, the father of information theory, accidentally invented the spiritual ancestor to modern AI’s loss function when he used human guessing to measure the 'entropy' of English—the exact same principle used today to train large language models.
100 Years of Artificial Intelligence Explained
Nate Herk | AI Automation
Jun 2, 2026
Artificial intelligence transformed from a wartime code-breaking necessity into the backbone of modern software. The industry pivoted from rigid symbolic rule-books to self-learning neural networks, culminating in a massive market shift toward developer-focused agents that allow non-coders to build functional applications.
Key insight: In 2016, during a match against Lee Sedol, AlphaGo made a 'move 37' so unconventional that commentators initially assumed the AI was glitching; it proved that machines could develop autonomous, high-level strategies beyond human programming.
[Paper Analysis] The Free Transformer (and some Variational Autoencoder stuff)
Yannic Kilcher
Nov 1, 2025
The Free Transformer introduces latent variables into decoder-only models to enable explicit decision-making before token generation. By allowing the model to choose a hidden intent—such as a positive or negative sentiment—it achieves greater long-term consistency and coherence in sequences compared to standard auto-regressive sampling, which relies purely on probability distributions for every token.
Key insight: The Free Transformer uses a 'cheating' mechanism during training where an encoder looks at the entire sequence to supply latent variables, forcing the decoder to learn to condition its output on those variables rather than relying solely on random token sampling.
Les 4 étapes pour entrainer un LLM
ScienceEtonnante
Apr 25, 2025
La start-up chinoise Dipsic a ébranlé les géants de la tech en lançant un modèle IA open source capable de raisonnement avancé, entraîné avec une efficacité radicalement supérieure. Cette percée démontre qu'une architecture optimisée par apprentissage par renforcement peut surpasser les modèles massivement coûteux des leaders américains.
Key insight: L'apprentissage par renforcement sur des problèmes vérifiables agit comme une « énergie renouvelable » pour l'IA, permettant aux modèles de progresser par eux-mêmes sans épuiser les données humaines limitées du Web.
Las IAs de GENERACIÓN DE VÍDEO tenían un PROBLEMA...
Dot CSV
Apr 2, 2025
Los modelos de generación de vídeo actuales fracasan al simular físicas porque procesan píxeles y movimiento como una sola tarea compleja. Meta propone desacoplar el aprendizaje de la apariencia y el movimiento, permitiendo que la IA comprenda la coherencia temporal y las leyes físicas de manera independiente, superando así los errores de propagación de modelos como Sora.
Key insight: Meta demostró que las IAs tradicionales no distinguen entre un vídeo lógico y uno con fotogramas desordenados; al separar apariencia y movimiento, el modelo Video Joint Embedding Predictive Architecture (V-JEPA) finalmente logra entender la causalidad temporal.
▶️ [REPLAY] - La carte de l'IA | Partie 2
Machine Learnia
Oct 6, 2024
Guillaume détaille les architectures fondamentales derrière l'IA moderne, des réseaux de neurones classiques aux Transformers et systèmes de diffusion. Il souligne que la réussite en data science dépend davantage d'une roadmap structurée et de la maîtrise des mathématiques fondamentales que de l'auto-apprentissage désordonné.
Key insight: Les architectures de pointe comme DALL-E ou GPT, malgré leur complexité apparente, reposent toujours sur des fondations mathématiques et des réseaux de neurones créés il y a des décennies.
IAs são perigosas?
Fabio Akita
Jun 30, 2023
Fábio Akita desmistifica o pânico sobre IA generativa, esclarecendo que modelos como o ChatGPT ou Stable Diffusion são apenas ferramentas probabilísticas baseadas em cálculos e tensores. Ele rebate teorias alarmistas sobre o fim da humanidade, enfatizando que não há consciência ou intenção nas máquinas, apenas uma automação técnica que exige controle humano rigoroso.
Key insight: Não existe consciência emergente em IA; tratar um objeto inanimado como se tivesse intenção diz mais sobre a percepção humana, que sofre de antropomorfismo, do que sobre a própria tecnologia.
RÉSEAU DE NEURONES PROFOND - DEEP LEARNING 10
Machine Learnia
Apr 8, 2022
Ce tutoriel explique comment généraliser les équations de propagation avant et arrière pour créer des réseaux de neurones avec un nombre arbitraire de couches. En utilisant des boucles de programmation pour automatiser l'initialisation et le calcul des gradients, vous pouvez concevoir des architectures capables de résoudre des problèmes complexes.
Key insight: Le passage à un réseau profond ne garantit pas toujours de meilleures performances ; au-delà d'une certaine complexité, les réseaux peuvent souffrir des problèmes de « gradients évanescents » ou « explosifs ».
PROGRAMMER UN RÉSEAU DE NEURONES à 2 COUCHES - DEEP LEARNING 9
Machine Learnia
Feb 25, 2022
Ce tutoriel explique comment passer d'un neurone unique à un réseau à deux couches en implémentant les fonctions de propagation avant, de rétropropagation et de mise à jour. L'auteur détaille l'importance cruciale de la gestion des dimensions matricielles pour éviter les erreurs de broadcasting lors de l'entraînement.
Key insight: 80% des problèmes rencontrés lors de l'implémentation de réseaux de neurones proviennent d'une mauvaise gestion des dimensions des matrices, et non d'erreurs de logique mathématique.