הדיון בפרק מציב את מודלי הקוד הפתוח כאלטרנטיבה רצינית למודלים הסגורים המובילים, כאשר המנחים מציינים כי הפער הטכנולוגי בין מודלים סגורים לקוד פתוח הצטמצם לשבועות ספורים בלבד. המנחים מנתחים את המניעים למעבר לקוד פתוח, כאשר העלות והצורך בפרטיות מידע עומדים בראש סדר העדיפויות הארגוני. הם מזהירים כי המעבר אינו פשוט כפי שהוא נראה, שכן הרצת מודלים גדולים דורשת מומחיות הנדסית משמעותית.

אחד הנושאים המרכזיים הוא ניהול התשתית. המנחים מסבירים כי החסם העיקרי בהרצת מודלים מקומיים הוא זיכרון ה-GPU ולא כוח החישוב, מה שמחייב שימוש בטכניקות קוונטיזציה מתקדמות כדי להריץ מודלים על חומרה זמינה. הם מציגים את הכלים המרכזיים בתחום, כמו VLLM ו-Hugging Face, ומדגישים את חשיבותם של מודלים קטנים ומכווננים.

בנוסף, המנחים דנים באסטרטגיות של Fine-tuning, ומציינים כי שימוש ב-Fine-tuning על מודלים קטנים יכול להחליף מודלים ענקיים במשימות ספציפיות, מה שמהווה את המפתח לחיסכון אמיתי בעלויות. הם מסכמים כי העתיד נמצא בראוטינג חכם, שבו ארגונים ינתבו משימות למודלים שונים בהתאם לצרכים שלהם, ובכך יאזנו בין עלות לביצועים.

לבסוף, הפרק מציע מבט מפוכח על השוק, שבו חברות סיניות תופסות נתח משמעותי מהחדשנות בקוד הפתוח, מה שמעלה שאלות לגבי אבטחה ורגולציה. המנחים ממליצים למאזינים לא לרוץ להריץ הכל מקומית, אלא לבחון כל מקרה לגופו ולשקול שימוש ב-API של מודלים פתוחים לפני השקעה בתשתית יקרה.