New-Tech Magazine | APR Edition - Special for New-Tech Exhibition 2025 | Digital Magazine

אחד והיה צריך לחלק GPU לא התאים ל אותו בין שתי יחידות. בקפיצה מהירה קדימה , שלפי השמועות כולל מעל GPT -4 ו- 2023 ל- GPUs טריליון פרמטרים, מתאמן על אלפי במשך חודשים. אז שוב הגיע הזמן לתהות אם עומס העבודה הגדול הזה מתאים למעבד . GPU הנבחר – הבעיה באה לידי ביטוי במספר הכותבים GPT -4 )[2303.08774] GPT - בדוח הטכני של כותבים 200 ) – יותר מ- 4 Technical Report 30 ל- 20 בדוח הטכני של המודל, כולל בין (תלוי איך סופרים) אנשי מקצוע בתחום ההנדסה המקבילית. חלוקת המודלים, בנייה ושחזור גישות מקביליות לאימון היא מאוד מסובכת ולוקחת זמן רב והיא יקרה מאוד. 175 עם GPT לדוגמה, ניתן לתאר את מודל שורות קוד 600 מיליארד פרמטרים בפחות מ- – שפת הבינה המלאכותית – אבל PyTorch ב- תדרוש למעשה GPUs עבודת המקביליות עבור CUDA שורות (!) קוד ספציפיות ל- 20,000 עוד . GPUs עבור בנוסף לכך, ארכיטקטורת החומרה התומכת כוללת GPUs באשכולות האימון מבוססי רשת אינפיניבנד יקרה מאוד, מספר רב מאוד של מכשירים הרגישים לתקלות וכו'. בפועל, המשמעות היא שבניית מודלים גדולים חדשים הופכת לבלתי אפשרית GPUs ואימונם על מחוץ למספר קטן מאוד של מעבדות מדעי מחשב מתקדמות עם כוח אדם יקר מאוד. זה הוא המעבד הטבעי GPU לא נשמע כמו שה- . יתר על כן, AI לעומסי העבודה המודרניים של בשל המפרט הבסיסי כמו גודל פיזי ומיקומים GPUs יחסיים של מודולי מחשוב וזיכרון ב- אינו שבב בודד, אלא מספר שבבים GPU ( על אותו לוח), לא ניתן לפתור את המגבלות הקיימות רק על ידי ייצור גרסאות נוספות של אותו הדבר. אלן קיי, מדען מחשבים מפורסם, אמר: "אנשים שבאמת רציניים לגבי תוכנה צריכים לייצר חומרה משלהם". . Cerebras Systems כאן נכנסת לתמונה חברת על ידי 2016 החברה נוסדה בקליפורניה בשנת צוות מהנדסי מחשבים ומעבדים בעלי ניסיון רב והצלחות בתחום המעבדים והשרתים. המשימה שלהם הייתה לעצב מעבד ומערכת סביבו שמתאימים לעומסי העבודה ההולכים וגדלים בבינה מלאכותית ולדור הבא של . HPC מחשוב עתיר ביצועים, Wafer - Scale Engine 3 ) WSE - התוצאה היא ), הדור השלישי של המעבד הגדול והחזק 3 ביותר שנבנה אי פעם עבור בינה מלאכותית.

Wafer Scale Engine WSE-3 :1 תמונה

« Cerebras Systems קרדיט:

הגדול GPU מה- 57 גדול פי WSE -3 המעבד מילימטרים רבועים 46,250 ביותר בשוק, גודלו ליבות אופטימליות לבינה 900,000 והוא כולל ברמה הגבוהה GPU מ 52 מלאכותית (פי on - chip core - to - core fabric ביותר). הוא מציע פטה-בתים לשנייה בין 30 ברוחב פס אדיר של על 44 GB בנפח SRAM הליבות ומכיל זיכרון ) כמו גם רוחב פס GPU מ 440 השבב עצמו (פי פטה-בייט לשנייה 25 זיכרון ללא תחרות של המתקדם ביותר). GPU יותר מ 2600 (פי פתרה כמה Cerebras , WSE על ידי יצירת ה מהאתגרים המורכבים ביותר של תעשיית המוליכים למחצה, וסיפקה יותר כוח מחשוב, רוחב פס תקשורת ורוחב פס זיכרון בסדרי גודל יותר מאשר שבבים מסורתיים. זהו ללא ספק שבב המצוטט GPU / CPU הבינה המלאכותית שאינו . https :// stateof . ai / compute ביותר בשוק - ראה של PetaFLOPS 125 יחיד מספק WSE -3 . AI מחשוב של חברת AI בארכיטקטורת מחשוב העל ל מניע את מחשב ה- WSE -3 , מעבד Cerebras . חברת 16 RU , מערכת מחשוב בגובה CS -3 AI 2,048 יכולה להרחיב את ההיקף עד Cerebras ליצירת מחשבי-על רבי עוצמה CS 3 מערכות , כאלה המסוגלים להגיע לביצועים של AI ל ) של חישוב ExaFLOPS אקסה-פלופס ( 256 כשהם מקושרים בצורה חלקה באמצעות AI , כדי להתמודד Cerebras התוכנה של בקלות עם עומסי העבודה המורכבים ביותר

בתחום הבינה המלאכותית. מחשבי-על אלה תואמים באופן מלא למסגרות למידת מכונה , מה PyTorch סטנדרטיות בתעשייה, כמו שהופך אותם לנגישים וקלים לשילוב. אלפי סופקו והותקנו ברחבי העולם. CS מערכות היא כיום Cerebras Systems הטכנולוגיה של GPU הטכנולוגיה הבשלה היחידה מלבד מעבדי שמסוגלת להריץ כל גודל של עבודות אימון ) של מודלים בינה מלאכותית Inference והיסק ( על אותה חומרה, ובקנה מידה גדול. מפרידים בין זיכרון Cerebras מחשבי-העל של ) Weights הדרוש לאחסון וטיפול במשקלים ( לבין יכולת החישוב, מה שאומר שניתן להרחיב את הזיכרון ואת כוח החישוב בצורה בלתי . יתרה מזו, GPU תלויה – בניגוד למעבדי מתבצעים AI תפקידי הזיכרון עבור אימון רגילים, מה שהופך את x 86 באמצעות שרתי הרחבת הזיכרון לזולה. אבל היתרון העיקרי טמון בכך, שגם כאשר מאמנים את המודלים הגדולים ביותר עם טריליוני פרמטרים – ברמה של מודלים – אין Anthropic ו- OpenAI מתקדמים כמו של צורך לפצל את המודל לחלקים קטנים יותר כדי להתאים אותו לזיכרון המוגבל של אלפי . במקום זאת, ניתן להשתמש GPU יחידות Data בשיטת "מקבילות על בסיס נתונים" ( ), שבה המודל נשמר בשלמותו ורק Parallel נתוני האימון מפוזרים בצורה מקבילה בין הזמינות. CS -3 מערכות ה

33 l New-Tech Magazine