סופו של ה-Transformer? המודלים ה'נוזליים' של Liquid AI מאיימים על הכתר

מאז 2017, כל עולם ה-AI נשען על המצאה אחת של גוגל: ה-Transformer. אבל השבוע, ייתכן שראינו את תחילת הסוף של השלטון הזה. חברת Liquid AI, ספין-אוף ממעבדות ה-MIT, חשפה את ה-Liquid Foundation Models (LFMs) הראשונים שלה. בניגוד למודלים של OpenAI או מטא, המודלים הללו לא מחלקים את המידע ל'טוקנים' קבועים, אלא משתמשים במערכת של משוואות דיפרנציאליות רציפות – מה שמאפשר להם להיות 'נוזליים' ולהסתגל למידע חדש בזמן אמת בצורה יעילה להפליא.

היתרון המרכזי של LFMs הוא היעילות. על פי הנתונים שפורסמו ב-Stratechery, מודל Liquid בעל 3 מיליארד פרמטרים מצליח להביס במבחני ביצועים מודלי Transformer הגדולים ממנו פי חמישה, תוך שהוא צורך 90% פחות זיכרון. הסיבה לכך היא שהמודלים ה'נוזליים' לא צריכים 'לזכור' את כל ההיסטוריה של השיחה בבת אחת; הם מעבדים את המידע כזרם רציף, בדומה לאופן שבו המוח האנושי מעבד גירויים ויזואליים.

ב-The Information מדווחים כי ענקיות השבבים, ובראשן אנבידיה, עוקבות בדאגה ובסקרנות אחרי הפיתוח. אם המודלים של Liquid יהפכו לסטנדרט, הצורך במעבדי GPU מפלצתיים עם זיכרון RAM עצום עשוי להצטמצם משמעותית. זהו איום ישיר על המודל העסקי של 'ערימת המחשוב' הנוכחית. מצד שני, זה עשוי לאפשר להריץ בינה מלאכותית חזקה להפליא על מכשירים פשוטים כמו שעונים חכמים או חיישני תעשייה, ללא צורך בחיבור לענן.

האם אנחנו בפתחו של 'חורף' לארכיטקטורה הישנה? מוקדם לדעת. ה-Transformer הוכיח יכולת סקיילביליות (יכולת גידול) חסרת תקדים. Liquid AI עדיין צריכה להוכיח שהמודלים שלה יכולים להגיע לרמה של GPT-5 כשמנסים לאמן אותם על כל האינטרנט. אבל עצם העובדה שיש כעת אלטרנטיבה טכנולוגית אמיתית ורצינית מעוררת גל של התרגשות בקרב חוקרי AI שחשו שהתחום הגיע למיצוי מבחינה מבנית.