במאמר הזה
"איזה מודל הכי טוב?" היא השאלה הראשונה שכל לקוח שואל, והתשובה הכנה היא: תלוי למה. אחרי עשרות פרויקטים בפרודקשן על שני הספקים, הנה ההשוואה הפרקטית שהיינו רוצים לקבל ביום הראשון.
סוכנים מורכבים ו-tool use
כשסוכן צריך לתכנן רצף ארוך של פעולות, לקרוא לכלים חיצוניים ולהתאושש משגיאות, מודלי Claude מפגינים עקביות גבוהה יותר בהחזקת ההקשר ובמשמעת של פורמט הפלט. בתרחישי multi-step ארוכים ראינו פחות "בריחות" מהמשימה ופחות הזיות של פרמטרים בקריאות כלים.
Throughput ועומסים
לעיבוד המוני של מסמכים או פניות, כשהמשימה פשוטה יחסית וכמות הקריאות עצומה, ההבדל המכריע הוא מחיר ומהירות, לא תחכום. כאן שווה לבחון את המודלים הקטנים של שני הספקים ולמדוד על הדאטה שלכם. לרוב, המודל הזול ביותר שעובר את סף האיכות מנצח.
עברית
שני הספקים השתפרו דרמטית בעברית, אבל יש הבדלים בניואנסים: טון, משלב ופנייה מגדרית. אם המוצר שלכם פונה ללקוח ישראלי, בדקו את שניהם על קורפוס אמיתי שלכם, לא על דוגמאות באנגלית.
עלויות: המספר שבאמת חשוב
אל תשוו מחיר לטוקן, השוו עלות למשימה שהושלמה. מודל שעולה כפול אבל פותר את המשימה בניסיון אחד במקום שלושה הוא המודל הזול. תוסיפו לזה prompt caching בעומסים חוזרים, וההשוואה מתהפכת לא פעם.
ההמלצה שלנו
אל תינעלו על ספק. בנו את הארכיטקטורה כך שהמודל הוא פרמטר: שכבת אבסטרקציה דקה מעל ה-API מאפשרת להחליף מודל לפי משימה, למדוד ולעדכן כשהשוק זז. הוא זז מהר.
ספרו לנו על תהליך אחד בשיחה של 30 דקות. נגיד לכם בכנות אם סוכן יכול לעשות אותו.
