מחשב-העל של מטא AI Research SuperCluster (RSC) / צילום: מתוך ערוץ היוטיוב Meta AI
לפני מספר חודשים, מייסד ומנכ"ל חברת מטא (אתם כנראה עדיין זוכרים אותה כחברת פייסבוק), מארק צוקרברג, וסיפר על חזונו השאפתני לגבי המטא-וורס: בעשור הקרוב, כמיליארד משתמשים יהיו בתוך המטא-וורס, העולמות הווירטואליים המתגבשים. כדי להצליח להתמודד עם חוויות המשתמש המשמעותיות האלה ולשם עוד מטרות חשובות - מטא עובדת בשנתיים האחרונות על מחשב-על מתקדם, כדי לשפר את הביצועים שלה.
בהודעה בבלוג החברה שפורסמה, החברה חושפת את ה-AI Research SuperCluster (RSC) - מחשב-על שהתחילה לבנותו בשנת 2020, והבנייה שלו תושלם במהלך השנה, שלפי החברה כיום הוא בין המחשבים המהירים בעולם, ובסיום הבנייה יהיה "המחשב הגדול, המהיר והמתקדם בעולם". על-פי מטא, המחשב יוכל להריץ חישובים בהיקף עצום, לעבד טריליוני פרמטרים בשניות ולאמן מודלים של בינה מלאכותית בסדר גודל "שטרם נראה כמותו בתעשייה".
המחשב נמצא כבר בשימוש היום. על-פי ההודעה, מטא אומרת שהחוקרים שלהם כבר החלו להשתמש ב-RSC כדי להכשיר מודלים גדולים בעיבוד ניתוב לשוני פיזיולוגי (NLP) וראייה ממוחשבת, במטרה שבעתיד יעשו זאת עם טריליוני פרמטרים.
מטא אומרת כי המחשב יוכל להריץ קוינטיליוני משימות (משמע, 18 אפסים), יוכל לאמן בינה מלאכותית בכמויות דאטה ענקיות ולהוות בסיס למערכות ראייה ממוחשבת, עיבוד שפה טבעית וזיהוי דיבור. כמובן שכל אלה יעזרו בפיתוחים שונים כמו חוויות AR רלוונטיות ועד פריצות דרך בתחומי מחקר מדעי ועוד. כאמור, הפיתוח הזה ישפיע על בניית טכנולוגיות עבור המטא-וורס, כי החזון נשען על מערכות מתקדמות של בינה מלאכותית שצריך לפתח.
המחשב המדובר יאפשר לחוקרי בינה מלאכותית של מטא לבנות מודלים משופרים ומדויקים יותר בתחומים האלה. לפי מטא, "צוותי הבינה המלאכותית של מטא כבר החלו לאמן מודלים ענקיים לצורכי מחקר במחשב העל, והם ממשיכים להשקיע בפיתוח תחום ה- Self-supervised learning בשאיפה לקדם את תעשיית הבינה המלאכותית כולה", לשון ההודעה.
קפיצת מדרגה של ממש
כדי להבין את הקפיצה המשמעותית שמטא עוברת כאן, צריך להבין את התהליך. בשנת 2017 מטא בנתה את הדור הראשון של תשתיות מחשוב בעלות ביצועים גדולים. אז בזמנו דובר על מערכת של 22 אלף NVIDIA V100 Tensor Core GPUs - למעשה, המערכת ידעה לבצע 35 אלף עבודות אימון ביום. אז היא הבינה שהיא שדרך יעילה יותר לאמן את המודלים היא על גבי כרטיסים גרפיים (GPU), ולא מעבד רגיל (CPU), כי זה מהיר יותר. בשנת 2020 מטא החליטה שהדרך הטובה ביותר להתקדם מהנקודה הזו היא לתכנן תשתית מחשוב חדשה ולנצל את היתרונות של טכנולוגיית GPU ועוד.
מטא מסבירה כי מחשב-על נבנה משרת המשלב מספר GPUs, שמחוברים באמצעות רשת בעל ביצועים גבוהים כדי לאפשר את התקשורת שלהם. ולכן RSC אמור להוות קפיצת מדרגה של ממש: RSC כולל כיום סך של 760 מערכות NVIDIA DGX A100, שזה בעצם השרת הבסיסי של אנבידיה בעל 8 GPU על אותו הלוח - משמע, 6,080 מעבדים גרפיים בסך-הכול.
כדי שעיבוד הנתונים יהיה יעיל ומהיר במיוחד, והחיבור בין המעבדים הגרפיים יהיה יעיל, מטא אומרת שהיא משתמשת ברשת NVIDIA Quantum InfiniBand - שזה בעצם סיב אופטי שמעביר את הנתונים במהירות של 200GB בשנייה. כך זה נשאר מהיר ויעיל ומאפשר את תעבורת הנתונים.
הטכנולוגיה הזו, InfiniBand (טכנולוגיית האצת התקשורת של מחשב-העל), פותחה במרכז הפיתוח הישראלי של אנבידיה.
על-פי מטא, האחסון כולל 175 פטה-בייט של Pure Storage FlashArray כולל 46 פטה-בייט זיכרון מטמון ו-10 פטה-בייט של Pure Storage FlashBlade. כשיושלם תהליך הבנייה, לפי החברה, רשת InfiniBand תחבר 16 אלף כרטיסים, מה שיהפוך אותה לאחת הרשתות הגדולות ביותר שנפרסו עד כה.
לכל זה מצטרפת הקורונה שהשפיעה רבות על כך. מגפת הקורונה גרמה לזה להפוך לפרויקט "משלט רחוק", והצוות היה צריך לעבוד מהבתים עד שזה הגיע לעניין פיזי. לצד זאת, הקורונה הובילה גם לבעיות בשרשרת האספקה, מה שהקשה על החברה להשיג שבבים או רכיבים אחרים.