Skip to content
YedapoYedapo

Podcast creator

Lee Twito, Gal Peretz

21 episodes summarized across 2 shows

Implement LLM-as-a-judge for automated testing of raw audio output Explore 21+ episodes from Lee Twito, Gal Peretz — key insights summarized, no listening required.

Best insights from Lee Twito, Gal Peretz

  • action

    Implement LLM-as-a-judge for automated testing of raw audio output

    Shifts QA from slow manual listening to scalable, automated quality scoring.

  • tool

    שיטת ה-Shadow Run להערכת ביצועי מודלים בסביבות ייצור חיות

    מאפשר לבצע אופטימיזציה ולשחרר גרסאות בביטחון גבוה על סמך השוואות אוטומטיות.

  • insight

    Business logic filtering is critical for real-world recommendation quality

    This transforms a standard 'search' system into a functional, revenue-generating 'recommendation' system.

  • insight

    Chain of Thought מאפשר למודל לבצע פעולות חשיבה הדרגתיות

    הופך בעיות לוגיות מורכבות לפתירות עבור מודלי שפה על ידי מעבר מחשיבה אינטואיטיבית לחשיבה מובנית.

  • metric

    Chain of Thought משפר ביצועים במשימות אריתמטיות פי ארבעה

    מדגיש את היתרון העצום של מבני עבודה לוגיים לעומת בקשות פשוטות ישירות.

  • tool

    Few-Shot Semantic Sampling בוחר את הדוגמאות הרלוונטיות ביותר לקלט

    משפר את איכות התגובה באופן דינמי ללא צורך באימון מחדש של המודל.

  • metric

    Fine-tuning audio models significantly improves tone more than prompt engineering

    Offers a much more effective lever for controlling personality than prompt engineering.

  • action

    Implement a 'man-in-the-middle' architecture for sensitive data queries

    Limits the blast radius if an LLM is successfully compromised or tricked into malicious behavior.

  • insight

    LLMs require external knowledge retrieval for scalable real-world business applications

    Recognizing these constraints prevents costly reliance on standalone models for dynamic data tasks.

  • insight

    LLMs shift security from static inputs to autonomous system orchestration

    Security teams must adopt new architectures that monitor autonomous model behaviors, not just static web requests.

  • insight

    Semantic Caching: חיסכון בקריאות LLM על בסיס דמיון

    יישום Semantic Caching חוסך משמעותית בעלויות תפעול ובזמן תגובה של אפליקציות LLM, אך דורש כיול עדין למניעת תשובות לא מדויקות.

  • insight

    State machines are critical for managing natural human voice interactions

    It ensures the agent handles silence and interruptions naturally without failing.

  • action

    Utilize MTEB Leaderboard to select the appropriate model for embeddings

    Matching the embedding model to the data distribution directly determines the quality of your entire search system.

  • metric

    אופטימיזציה של מודלים קטנים יכולה לשמר ביצועים ולחסוך בעלויות תשתיות

    שימוש במודל המתאים למורכבות המשימה הוא המנוף העיקרי לשמירה על רווחיות במוצרי AI.

  • counterpoint

    אימבדינגס אינם "קסם מהקופסה": דורשים עבודת התאמה

    הבנה זו מונעת ציפיות שווא ומובילה להקצאת משאבים נכונה לפיתוח מערכות חיפוש סמנטי אמינות ומדויקות.

  • insight

    אימבדינגס: ייצוג מתמטי המאפשר פעולות סמנטיות על טקסט

    הבנה זו משנה את אופן החיפוש והאינטראקציה עם מידע, עוברת מחיפוש מילות מפתח לדמיון במשמעות, ופותחת דרכים חדשות ליישומי AI.

Episodes from Lee Twito, Gal Peretz

Genres Lee Twito, Gal Peretz covers