השקת תשתית Llama החדשה: מטא מפצחת את אתגר ה-Multi-Tenancy בריצה על מכשירים ניידים

חברת מטא ממשיכה להוביל את קו הקוד הפתוח בעולם הבינה המלאכותית, והפעם היא מכוונת ישירות ללב הארכיטקטורה של יישומי המובייל הארגוניים. בניתוח מעמיק שפורסם בניוזלטר The Neuron, נחשפו פרטים טכניים ראשונים על תשתית האימון וההרצה החדשה של החברה, שנועדה לפתור את אחת הבעיות המורכבות ביותר בעולם ה-SaaS: כיצד מריצים מודל שפה חכם על מכשיר קצה (On-device) בתוך מערכת מרובת דיירים (Multi-Tenant) מבלי לערבב מידע רגיש ומבלי לפגוע בביצועים.

עד כה, אפליקציות ארגוניות שניהלו מידע עבור לקוחות שונים על גבי בסיס נתונים אחד נאלצו להסתמך על שרתי ענן כבדים כדי לבצע את הפרדת ההקשרים וההרשאות של הבינה המלאכותית. פתרון זה גרר עיכובים משמעותיים בזמני התגובה של האפליקציה בשל הצורך בפניות חוזרות ונשנות לרשת. הארכיטקטורה החדשה של מטא משנה את חוקי המשחק בכך שהיא מאפשרת חלוקה דינמית ומאובטחת של זיכרון המודל ישירות על גבי מעבד המכשיר הנייד. המערכת מסוגלת לטעון משקולות הקשר ספציפיות עבור כל משתמש בנפרד, תוך שהיא שומרת על ליבת מודל אחידה ויעילה.

המשמעות עבור מפתחי אפליקציות היא עצומה. האופטימיזציה הזו מאפשרת לבנות יישומים מבוססי בינה מלאכותית שעובדים במהירות חסרת תקדים, שכן כמעט ואין צורך להמתין לתשובות מהשרת המרכזי. המערכת פועלת על פי העיקרון של מינימום בקשות חיצוניות ומקסימום זמני טעינה מהירים, מה שמשפר דרמטית את חוויית המשתמש ומפחית את התלות ברוחב הפס. פריצת הדרך הזו צפויה להאיץ את השילוב של עוזרים עסקיים חכמים בתוך אפליקציות מובייל יומיומיות, מבלי שהחברות יצטרכו לחשוש מזליגת מידע בין לקוחות שונים באותו מאגר.