Transformer Podcast Summaries

Xây dựng pretraining model (GPT)

AI VIET NAM

Apr 22, 2026

Việc retraining mô hình ngôn ngữ lớn (LLM) không chỉ dựa vào quy mô tham số hay dữ liệu khổng lồ. Kết quả từ các mô hình như Phi-1 cho thấy tập dữ liệu 'chất lượng sách giáo khoa' (textbook quality) giúp mô hình nhỏ đạt hiệu suất vượt trội so với các kiến trúc khổng lồ nhưng thiếu chọn lọc.

Key insight: Dữ liệu 'chất lượng sách giáo khoa' với chỉ 7 tỷ tokens có thể giúp mô hình 1.3 tỷ tham số outperform các mô hình lớn hơn nhiều trong các tác vụ lập trình.