DeepLearning Podcast Summaries
DeepLearning on Yedapo: 2 summarized podcast and YouTube episodes. Each includes key takeaways, core concepts and notable quotes with timestamps.
Xây dựng pretraining model (GPT)
AI VIET NAM
Apr 22, 2026
Việc retraining mô hình ngôn ngữ lớn (LLM) không chỉ dựa vào quy mô tham số hay dữ liệu khổng lồ. Kết quả từ các mô hình như Phi-1 cho thấy tập dữ liệu 'chất lượng sách giáo khoa' (textbook quality) giúp mô hình nhỏ đạt hiệu suất vượt trội so với các kiến trúc khổng lồ nhưng thiếu chọn lọc.
Key insight: Dữ liệu 'chất lượng sách giáo khoa' với chỉ 7 tỷ tokens có thể giúp mô hình 1.3 tỷ tham số outperform các mô hình lớn hơn nhiều trong các tác vụ lập trình.
Entendendo Como ChatGPT Funciona - Rodando sua Própria IA
Fabio Akita
Jun 19, 2023
Fabio Akita desmistifica a inteligência artificial, revelando que modelos como o ChatGPT não possuem cognição ou raciocínio. Eles funcionam puramente como completadores de texto baseados em probabilidades estatísticas e grandes volumes de dados, operando como 'macacos modernos' que não entendem a lógica por trás de suas próprias respostas.
Key insight: O seu grau de empolgação com a IA é inversamente proporcional ao seu entendimento de como ela funciona; quanto menos você entende a tecnologia, mais ela parece inteligente por puro antropomorfismo.