VAE Podcast Summaries
VAE on Yedapo: 2 summarized podcast and YouTube episodes. Each includes key takeaways, core concepts and notable quotes with timestamps.
【生成モデル】VAE - 現代でも活用される基礎部品！【VAE】GM vol. 9 #228 #VRアカデミア
AIcia Solid Project
May 8, 2026
VAEは「生成」と「識別」の二つの分布を同時に最適化することで、複雑なデータを低次元の潜在変数に落とし込む。その核心は変分自由エネルギーの最大化にあり、従来不可能だった勾配計算を「リパラメトリゼーション・トリック」が劇的に効率化し、ディープラーニングでの実装を可能にした。
Key insight: リパラメトリゼーション・トリックを使うことで、勾配計算に必要なサンプル数が10万件から1件にまで削減可能になり、計算効率が劇的に向上する。
[Paper Analysis] The Free Transformer (and some Variational Autoencoder stuff)
Yannic Kilcher
Nov 1, 2025
The Free Transformer introduces latent variables into decoder-only models to enable explicit decision-making before token generation. By allowing the model to choose a hidden intent—such as a positive or negative sentiment—it achieves greater long-term consistency and coherence in sequences compared to standard auto-regressive sampling, which relies purely on probability distributions for every token.
Key insight: The Free Transformer uses a 'cheating' mechanism during training where an encoder looks at the entire sequence to supply latent variables, forcing the decoder to learn to condition its output on those variables rather than relying solely on random token sampling.