במאמר הזה
בקצרה: פרויקט בקוד פתוח הראה שאפשר להריץ את Kimi K3, אחד המודלים הפתוחים הגדולים שיש, עם כ-8GB זיכרון ובלי כרטיס מסך. עבור חברה זו ידיעה מעניינת, אבל לא סיבה לשנות תוכנית. תשובה קצרה עלולה לקחת יותר משעה, ואין במנוע חיבור למערכות אחרות. לפני שמכניסים מודל פתוח לעבודה בודקים חמישה דברים: זמן תגובה, רישיון, מידע, תחזוקה ואחריות.
"אפשר להריץ את המודל אצלנו, בלי לשלוח מידע החוצה?" היא שאלה טובה לכל הנהלה. חוזים, נתוני לקוחות ומידע פיננסי הם לא דברים שמנהל אחראי מוסר בקלות לספק חיצוני.
לכן הדגמות כמו זו של Kimi K3 מושכות תשומת לב. מודל של 2.78 טריליון פרמטרים על זיכרון של מחשב ביתי נשמע כמו סוף הדילמה. כדי להבין אם זה נכון, צריך להפריד בין מה שאפשרי טכנית לבין מה שמתאים לעבודה יומיומית.
מה ההדגמה הזו באמת מוכיחה?
הפרויקט kimi-k3-in-c מנצל את העובדה שרק חלק קטן מהמודל פעיל בכל רגע, וקורא מהדיסק רק את מה שנחוץ. לפי התיעוד שלו, שיא הזיכרון שנמדד היה 8.24GB.
המשמעות למנהל: גודל המודל כבר לא קובע לבדו איזו חומרה נדרשת. זו התקדמות אמיתית, והיא צפויה להשפיע על האפשרויות שיהיו לחברות בשנים הקרובות.
מה שההדגמה לא מוכיחה הוא שאפשר להפעיל כך תהליך עסקי. המדידות נעשו על תחנת עבודה חזקה עם 124 ליבות ודיסק מהיר, כשהזיכרון הוגבל בכוונה. נדרשים גם כ-1.7TB פנויים בדיסק.
כמה זמן העובד שלכם יחכה לתשובה?
זו השאלה הראשונה שכדאי לשאול על כל מודל מקומי. מודלים מייצרים טקסט ביחידות קטנות שנקראות טוקנים, בערך מילה או חלק ממילה. הטבלה מציגה את הזמנים שפורסמו בתיעוד, ולידם חישוב שלנו לתשובה של 200 טוקנים, בערך פסקה אחת:
| זיכרון | שניות לטוקן | תשובה של פסקה (חישוב שלנו) |
|---|---|---|
| 8GB | 26.5 | כ-88 דקות |
| 32GB | 24.2 | כ-81 דקות |
| 64GB | 19.8 | כ-66 דקות |
| 128GB ומעלה | 5.6 | כ-19 דקות |
הזמנים האלה לא כוללים עומס של כמה משתמשים במקביל, כי למנוע אין שרת שמקבל בקשות. נציג שירות שמחכה לתשובה בזמן שיחה לא יכול לעבוד כך, וגם לא צוות שלם ששולח בקשות במקביל. גם עבודת לילה מרוכזת תתקשה, כי כל מסמך תופס את המערכת לזמן ארוך.
מה חסר כדי שזו תהיה מערכת עבודה?
מנוע שמייצר טקסט הוא רק חלק קטן ממערכת שחברה יכולה לסמוך עליה. לפי התיעוד, בגרסה הנוכחית אין תמיכה בכלים, בתמונות או בשרת HTTP. בפועל, המודל לא יכול לפנות למערכות של החברה, ואין נקודת חיבור מסודרת שעובדים או תוכנות אחרות יכולים להשתמש בה.
התיעוד גם מציין שאין מדידת איכות לפרויקט. המנוע נבדק מול מימוש ייחוס, אבל זה לא אומר דבר על איכות התשובות במשימות של העסק שלכם.
מה הרישיון מאפשר לחברה?
כאן יש שתי שכבות, וכדאי לא לבלבל ביניהן. הקוד של המנוע פתוח ברישיון Apache-2.0. המשקולות של המודל לא נכללות בו, והן כפופות לרישיון של Moonshot AI.
- שימוש בתוך החברה: שימוש שלא חושף את המודל, הפלטים או היכולות שלו לצד שלישי פטור מהתנאים המיוחדים ברישיון.
- מכירת גישה למודל כשירות: מעל 20 מיליון דולר הכנסות ב-12 חודשים נדרש הסכם נפרד עם Moonshot AI.
- מוצר מסחרי גדול: מעל 100 מיליון משתמשים פעילים בחודש, או 20 מיליון דולר הכנסות בחודש, צריך להציג את השם Kimi K3 בממשק.
- אחריות: התוכנה מסופקת כמו שהיא, בלי אחריות של היצרן.
זה סיכום כללי ולא ייעוץ משפטי. לפני החלטה, כדאי שיועץ משפטי יקרא את הרישיון המלא מול השימוש שאתם מתכננים.
מה צריך לדרוש לפני שמודל פתוח נכנס לחברה?
"קוד פתוח" אומר שאפשר לקרוא את הקוד. הוא לא אומר שמישהו בדק אותו עבורכם או שיתקן אותו כשמשהו נשבר. זו אותה גישה שאנחנו ממליצים עליה בכל כלי קוד פתוח שנכנס לחברה:
- מידע: איזה מידע ייכנס למודל, ואיפה הוא נשמר? בפרויקט הזה קובץ היסטוריית השיחה יכול להכיל כל הודעה של המשתמש, והתיעוד עצמו מגדיר אותו כרגיש.
- הרשאות: מי רשאי לגשת למודל ולקבצים שלו, ואיך מתעדים את הגישה?
- אבטחה: מי בדק את הקוד ואת הרכיבים שהוא תלוי בהם, ומה קורה כשמתגלה פרצה?
- תחזוקה: מי מעדכן גרסאות, מנטר תקלות ומחזיר את המערכת לפעולה?
- אחריות: מי בודק את התשובות, ומי אחראי כשהמודל טועה?
אם אין תשובה ברורה לאחת השאלות, הכלי עוד לא מוכן להיכנס לעבודה, גם אם ההדגמה מרשימה.
איפה האדם נשאר בתמונה?
גם מודל שרץ בתוך החברה יכול לטעות. בתהליכים שנוגעים בכסף, בלקוחות או בהתחייבויות, אדם צריך לאשר את התוצאה לפני שהיא יוצאת החוצה. המודל מכין טיוטה, וההחלטה נשארת אצלכם.
איך מתחילים?
אל תתחילו מהשאלה איזה מודל להריץ. בחרו תהליך אחד, הקטן ביותר עם הכאב הגדול ביותר, וכתבו שלושה דברים: איזה מידע הוא כולל, כמה מהר נדרשת תשובה, ומה קורה אם התשובה שגויה.
התשובות יובילו אתכם לבחירה. לפעמים מתאים ספק חיצוני עם הסכם מסודר, לפעמים מודל קטן שרץ מקומית, ולפעמים שילוב של כמה מודלים לפי סוג המשימה.
שאלות נפוצות
מודל על שרת שלנו אומר שהמידע בטוח?
הוא פותר שאלה אחת: המידע לא יוצא לספק המודל. עדיין צריך לקבוע מי ניגש למודל, מה נשמר ביומנים, איך מגבים ואיך מעדכנים. שרת של החברה בלי הבקרות האלה לא הופך את המידע לבטוח.
האם מודל פתוח תמיד זול יותר מספק חיצוני?
לא בהכרח. במקום תשלום לפי שימוש מופיעות עלויות של חומרה, אחסון, חשמל, תחזוקה וזמן של אנשים מקצועיים. ההשוואה הנכונה היא עלות כוללת לאורך זמן, לפי נפח השימוש שלכם.
מותר לחברה להשתמש ב-Kimi K3 מבחינה משפטית?
הרישיון מאפשר שימוש רחב, ושימוש בתוך החברה פטור מהתנאים המיוחדים שבו. מי שמציע את המודל כשירות לאחרים או משלב אותו במוצר גדול צריך לבדוק את הספים. לפני החלטה מומלץ שיועץ משפטי יקרא את הרישיון המלא.
מתי כן כדאי לשקול מודל על שרת של החברה?
כשיש מידע שאסור לו לצאת מהחברה, נפח שימוש קבוע, ומישהו שיכול לתחזק את המערכת לאורך זמן. גם אז מתחילים בתהליך אחד ומודדים אותו.
מתלבטים איך להכניס AI לחברה בלי לסכן מידע? אפשר לכתוב לנו.
קרדיט: המאמר נכתב בהשראת הריל של Prince Gupta. המנוע kimi-k3-in-c פותח על ידי Fareed Khan, והמודל Kimi K3 שייך ל-Moonshot AI.
ספרו לנו על תהליך אחד בשיחה של 30 דקות. נגיד לכם בכנות אם סוכן יכול לעשות אותו.


