השימוש במודלי שפה גדולים (LLMs) עבר שינוי תפיסתי משמעותי, משימוש כ'מכונת השלמת מילים' לשימוש כ'סוכן לוגי' המסוגל לפרק בעיות. הנדסת פרומפטים אינה רק שינוי מילולי של הוראות המערכת, אלא תהליך ארכיטקטוני של פירוק משימות מורכבות לשרשרת צעדים לוגיים.

בליבת הדיון עומד הקונספט של 'מערכת 2' של חשיבה (על פי כהנמן), המובא לעולם ה-AI דרך טכניקות כמו Chain of Thought. על ידי הנחיית המודל לפרק את הבעיה לשלבי ביניים, אנו מפחיתים את ההסתברות לשגיאות אינהרנטיות הנובעות מניסיון להשיב תשובה סופית מיידית. מודלים נוטים להסתבך בטעויות אם הם מתחייבים לתשובה בטוקן הראשון, ולכן מתן מרחב לביצוע 'חשיבת ביניים' משפר דרמטית את התוצאות.

הדוברים מדגישים את חשיבותן של טכניקות מבוססות חיפוש, כמו Tree of Thought, המדמות תהליך חיפוש אופטימלי (בדומה לאלגוריתמים בשחמט) להערכת כיווני חשיבה שונים. השימוש במנגנוני ביקורת חיצוניים שנותנים ציון לכל 'מחשבה' מאפשר למודל לבצע גיזום (Pruning) של נתיבים שגויים ולמקד את המשאבים המחשבתיים בכיוונים מבטיחים. יתרה מכך, נעשה דגש על כך שפיו-שוט (Few-shot learning) עם דמיון סמנטי הוא כלי עוצמתי שאינו דורש פיין-טיונינג ומניב תוצאות עקביות.

לסיכום, הפרק מציע גישה פרקטית לבניית פייפליינים מבוססי AI. ההמלצה המרכזית היא לבנות מאגר דוגמאות איכותי ולבחור את הדוגמאות הרלוונטיות לכל שאילתה על סמך דמיון סמנטי (Semantic Sampling). גישה זו מאפשרת גמישות מרבית ודיוק גבוה מבלי לפגוע ביציבות המערכת כפי ששינוי גורף של ה-System Prompt עלול לעשות.