סוכני AI מכפילים את העומס על המערכות: מה ללמוד מ-OpenAI

בקצרה: ב-OpenAI הסוכנים עבדו כל כך הרבה במקביל, שמערכת ניהול הקוד של החברה התחילה להיכשל, והם נאלצו לבנות אותה מחדש. הלקח לא שייך רק לחברות תוכנה: כל סוכן שעובד אצלכם מוסיף פעולות על המערכות שמסביב לו. בסוכן אחד זה לא מורגש. בעשרה זה כבר שאלה של תשתית, וכדאי לשאול אותה לפני שמרחיבים.

רוב השיחות על סוכני AI בחברות עוסקות בשאלה אחת: האם הסוכן יעשה את העבודה נכון. זו שאלה חשובה. השבוע OpenAI פרסמה פוסט שמזכיר שיש גם שאלה שנייה, שפחות מדברים עליה: מה קורה למערכות שהסוכן עובד מולן.

הסיפור שלהם טכני, אבל הלקח פשוט, והוא רלוונטי לכל מנהל ששוקל להפעיל סוכנים על ה-ERP, ה-CRM או תיבת המייל של החברה.

מה בעצם קרה ב-OpenAI?

אצל OpenAI כל הקוד של החברה יושב במאגר אחד גדול. לפי הפוסט שלהם, ככל שהמהנדסים התחילו להפעיל יותר סוכנים של Codex במקביל, המערכת שמנהלת את המאגר הזה התחילה להיחנק. העדכונים נהיו איטיים, מיזוגים נכשלו, והאמינות ירדה לפעמים מתחת ל-90%.

הם בנו מערכת חדשה בשם Pando. לפי החברה, היא קיצרה את זמן העדכון בכ-80% ומחזיקה היום כמות נתונים עצומה בכל יום. כל המספרים האלה הם דיווח של OpenAI על עצמה, ולא נבדקו מבחוץ. הם גם לא העיקר כאן.

למה סוכנים מייצרים כל כך הרבה עומס?

לפי OpenAI, מהנדס אחד מחזיק היום כמה שינויים מוכנים באותו זמן, וכל שינוי כזה מפעיל כמה מערכות נוספות שמורידות ובודקות אותו. העומס לא גדל לפי מספר האנשים. הוא גדל לפי מספר הסוכנים, כפול מספר הפעולות שכל אחד מהם מפעיל.

אותו דבר קורה בעסק שאין בו שורת קוד אחת. סוכן שמטפל בהזמנה לא עושה פעולה אחת. הוא קורא את ההזמנה, בודק לקוח במערכת, בודק מלאי, פותח מסמך, שולח אישור. עובד אנושי עושה את זה עשרות פעמים ביום. סוכן יכול לעשות את זה מאות פעמים בשעה, וכמה סוכנים ביחד עוד יותר.

רוב המערכות העסקיות לא נבנו לקצב כזה. לחלק מהן יש מגבלה מוגדרת על מספר הבקשות בדקה דרך הממשק לתוכנה אחרת (API), לחלק יש מגבלות של רישוי או של שרת. כשמגיעים לגבול, המערכת מאטה, דוחה בקשות או נחסמת לזמן מה.

מה OpenAI עשתה נכון, ומה מזה רלוונטי לכם?

יש בפוסט שלוש החלטות שמתאימות גם לעסק קטן בהרבה:

• לא שינו את דרך העבודה של האנשים. המהנדסים והסוכנים ממשיכים לעבוד עם אותם כלים. רק מה שמאחורי הקלעים השתנה. גם אצלכם, הסוכן צריך לעבוד בתוך המערכות שכבר יש, לא לדרוש מהעובדים ללמוד מערכת חדשה.
• עברו בהדרגה ובלי השבתה. המערכת החדשה התחילה כשכבה מעל הישנה, והעבירו אליה עבודה בהדרגה. לא מעבירים את כל התהליכים לסוכנים ביום אחד.
• מודדים את הקצב. הם יכלו לכתוב שהאמינות ירדה מתחת ל-90%, כי מדדו אותה. בלי מדידה, מגלים את הבעיה רק כשמשהו נשבר.

שימו לב גם למה שהם כתבו ב-X: הם יכולים עכשיו להגדיל את קיבולת המערכת יחד עם השימוש בסוכנים. זה הסדר הנכון. התשתית גדלה לפי הסוכנים, ולא מגלים אחר כך שהיא לא עומדת בקצב.

חמש שאלות לפני שמרחיבים

לפני שמפעילים יותר מסוכן אחד, או מעבירים לסוכן תהליך עם הרבה פעולות, כדאי לקבל תשובה ברורה לשאלות האלה:

השאלה	למה היא חשובה
באילו מערכות הסוכן נוגע?	כל מערכת היא מקום שבו יכול להיווצר עומס או חסימה. רשימה אחת, מסודרת.
כמה פעולות הוא יעשה ביום, ובשעת שיא?	הממוצע מטעה. מה שמפיל מערכת הוא השעה העמוסה.
מה המגבלה של כל מערכת?	לחלק מהמערכות יש מגבלה על מספר בקשות. את זה שואלים את הספק לפני, לא אחרי.
מה קורה כשבקשה נדחית?	הסוכן צריך לנסות שוב בזהירות, ולא להשאיר פעולה חצי גמורה או לשלוח פעמיים.
מי רואה שהמערכת מאטה?	צריך מישהו עם שם שמקבל התראה, לפני שהעובדים מרגישים.

איפה האדם נשאר בתמונה?

כשסוכן נתקל במגבלה, הוא לא אמור להחליט לבד איך לעקוף אותה. סוכן טוב עוצר, רושם מה לא הושלם, ומעביר לאדם עם כל ההקשר. ההחלטה אם להאט, לדחות לשעה אחרת או להגדיל את המערכת נשארת אצלכם.

גם ב-OpenAI, עם כל הסוכנים שבנו ובדקו את המערכת, מהנדס אחד תכנן אותה וקומץ מהנדסים פרס אותה. הסוכנים עשו את העבודה החוזרת. ההחלטות נשארו אצל אנשים.

איך מתחילים?

לא צריך לבנות מערכת חדשה כמו OpenAI. צריך להתחיל בתהליך אחד, למדוד כמה פעולות הסוכן עושה בפועל על כל מערכת, ורק אז להוסיף עוד תהליך או עוד סוכן. הפרויקט הקטן ביותר עם הכאב הגדול ביותר, ועם מדידה מהיום הראשון.

ואם מישהו מציע לכם להפעיל עשרה סוכנים בבת אחת, שאלו אותו קודם את חמש השאלות שבטבלה.

שאלות נפוצות

סוכן AI אחד יכול להעמיס על המערכות שלנו?

סוכן אחד בדרך כלל לא. העומס מתחיל כשמפעילים כמה סוכנים במקביל, או כשכל פעולה של סוכן מפעילה כמה פעולות נוספות במערכות אחרות. לכן בודקים את זה לפני שמרחיבים, לא בסוכן הראשון.

מה קורה כשמערכת מגיעה למגבלה?

בדרך כלל היא מאטה, דוחה בקשות או נחסמת לזמן מה. הסכנה היא לא רק האיטיות, אלא פעולה שנעשתה חלקית: הזמנה שנקלטה בלי עדכון מלאי, מייל שיצא פעמיים. סוכן טוב בנוי לזהות את זה ולעצור.

אפשר לקנות את Pando של OpenAI?

לא. OpenAI כתבה שהיא רק שוקלת לתת את המערכת לאחרים. וגם אם תהיה זמינה, היא פותרת בעיה של חברות תוכנה גדולות מאוד, לא של רוב העסקים.

מי אחראי לבדוק את זה אצלנו?

מי שמטמיע את הסוכן, יחד עם מי שאחראי על כל מערכת שהסוכן נוגע בה. כדאי שתהיה רשימה אחת: אילו מערכות, כמה פעולות צפויות, ומה המגבלה של כל אחת.

שוקלים להפעיל סוכני AI על המערכות של החברה? בשיחת אפיון נעבור על התהליך שלכם, על המערכות שהוא נוגע בהן ועל מה שצריך לבדוק לפני שמתחילים.

מקור: Scaling Git at OpenAI, הפוסט של OpenAI על Pando. העיבוד והמסקנות לעסקים הם שלנו. עוד: OpenAIDevs ב-X · גרג ברוקמן ב-X.