במאמר הזה
בקצרה: סוכן AI לא נגמר ביום שהוא עולה. רוב העבודה אחר כך היא תחזוקה של ההוראות והכלים שסביב המודל. Google Research פרסמה בקוד פתוח מחקר בשם Harness², שבו הסוכן מציע לעצמו שיפורים, בודק אותם ושומר את מה שלמד. זה כיוון שיוריד עבודה חוזרת מהתחזוקה, אבל ההחלטה מה נכנס לעבודה צריכה להישאר אצלכם.
מנהלים ששוקלים סוכן AI שואלים בדרך כלל כמה זמן ייקח להקים אותו. שאלה טובה יותר: מה קורה אחרי. תהליכים משתנים, לקוחות כותבים אחרת, מערכות מתעדכנות, והסוכן צריך להתאים את עצמו.
תחזוקה היא החלק שקל לשכוח כשמתכננים סוכן. לכן המחקר הזה מעניין גם מי שלא כותב שורת קוד.
מה בדיוק צריך תחזוקה בסוכן?
המודל עצמו, למשל Gemini או Claude, מגיע מוכן. מה שעושה ממנו סוכן שעובד אצלכם הוא העטיפה: ההוראות הכתובות, הכללים מה מותר ומה אסור, הזיכרון, הכלים שהוא מפעיל והחיבורים למערכות. בעולם המקצועי קוראים לעטיפה הזו harness.
כשסוכן טועה, כמעט תמיד מתקנים את העטיפה ולא את המודל. מישהו קורא מה קרה, משנה הוראה, בודק שוב. זו עבודה ידנית, והיא לא נגמרת.
איך זה עובד, בלי מילים טכניות?
Harness² הופך את התיקון הידני לתהליך מסודר. ברמת משימה אחת יש שלושה שלבים: הוא מציע כמה שינויים בעטיפה, מנסה אותם על אותה משימה בתנאים זהים, ומרכיב גרסה חדשה מהשינויים שעבדו. המודל עצמו לא עובר אימון מחדש.
ברמה השנייה הוא שומר ספרייה של שיפורים ולקחים, ומשתמש בה במשימה הבאה. כלומר, הניסיון לא הולך לאיבוד בין משימה למשימה.
האם זה באמת משפר משהו?
לפי הריפו של הפרויקט, צעד שיפור אחד העלה את הציון עד 11.5 נקודות במבחן אחד, עד 4.5 במבחן שני ועד 11.8 נקודות אחוז בשלישי. באתר הפרויקט יש דוגמה מפורטת: מודל שהתחיל ב-72.4 נקודות הגיע ל-77.5 אחרי צעד אחד, ול-80.8 עם חמישה ניסיונות במקביל.
אלה מבחנים של חוקרים, לא תהליך עסקי אמיתי. הם כן מראים משהו חשוב: אפשר לשפר סוכן בלי להחליף מודל ובלי פרויקט אימון יקר, רק דרך שיפור מסודר של ההוראות.
מה המשמעות לעסק שמחזיק סוכן?
| היום | הכיוון שהמחקר מראה |
|---|---|
| מישהו מזהה טעות ומתקן הוראה ביד | הסוכן מציע תיקונים בעצמו |
| בודקים את התיקון על כמה דוגמאות | כל תיקון נבדק על אותה משימה באותם תנאים |
| הידע מה תוקן ולמה נמצא בראש של אדם | הלקחים נשמרים ועוברים למשימה הבאה |
אם זה יבשיל, תחזוקה של סוכן תיראה פחות כמו כיבוי שריפות ויותר כמו אישור של שינויים מוכנים.
איפה האדם נשאר בתמונה?
סוכן שמשנה את ההוראות של עצמו משנה את ההתנהגות שלו. בעסק זה אומר שכל שיפור צריך לעבור עין של אדם לפני שהוא נכנס לעבודה: מה השתנה, על מה זה נבדק, ומה עלול להישבר.
ויש גם הסתייגויות ברורות מהריפו עצמו: זה פרויקט מחקר ולא מוצר שנתמך רשמית על ידי Google, הסביבה שמריצה את הסוכן פתוחה לרשת בלי הגבלה, וכל ניסיון עולה עוד שימוש בתשלום במודל. לא מחברים דבר כזה ישירות למערכות של החברה.
שלוש שאלות לשאול לפני שסומכים על סוכן שמשפר את עצמו
- על מה השיפור נבדק? אם הוא נבדק רק על משימה אחת, הוא עלול לשבור משימה אחרת. בקשו לראות גם את המקרים שבהם הגרסה החדשה הייתה פחות טובה.
- אפשר לחזור אחורה? כל גרסה של ההוראות צריכה להישמר, כדי שאפשר יהיה להחזיר את הקודמת בלחיצה אם משהו השתבש.
- מי מאשר? צריך אדם אחד שאחראי לאשר שינויים, ולא "המערכת החליטה". זה נכון במיוחד בתהליכים שנוגעים בלקוחות או בכסף.
איך מתחילים?
לא צריך לחכות לכלי. בחרו סוכן או תהליך אחד, ותתחילו לתעד כל תיקון שעושים בו: מה הייתה הטעות, מה שיניתם, ואיך בדקתם. התיעוד הזה הוא הבסיס לכל שיפור עתידי, ידני או אוטומטי, והוא גם מראה לכם כמה זמן התחזוקה באמת לוקחת.
שאלות נפוצות
סוכן שמשפר את עצמו יכול לשנות את הנתונים שלי?
בשיטה הזו משתנות ההוראות והכלים של הסוכן, לא המודל ולא הנתונים. אבל שינוי בהוראות משנה התנהגות, ולכן כל שינוי צריך בדיקה לפני שהוא נכנס לעבודה.
אפשר להכניס את Harness² לסוכן שכבר עובד אצלנו?
כרגע זה פרויקט מחקר, והסביבה שלו פתוחה לרשת. לא מתאים להפעלה ישירה על מערכות אמיתיות.
זה אומר שסוכנים יפסיקו להצטרך תחזוקה?
לא. חלק מהעבודה החוזרת יכול לעבור לאוטומציה, וההחלטה מה נכנס לעבודה נשארת אצל אדם.
מה משפיע על העלות של שיפור אוטומטי?
כל ניסיון הוא עוד ריצה של המודל. יותר ניסיונות במקביל נותנים שיפור גדול יותר, וגם חשבון גדול יותר.
שוקלים סוכן AI ורוצים להבין מה ידרוש אחרי שהוא עולה? דברו איתנו.
קרדיט: הרעיון הגיע מריל של Tunde Alao באינסטגרם. העובדות מהריפו של Harness² ומאתר הפרויקט.
ספרו לנו על תהליך אחד בשיחה של 30 דקות. נגיד לכם בכנות אם סוכן יכול לעשות אותו.
