New-Tech Magazine | June 2024 | Digital Edition

)Edge AI( בינה מלאכותית - מענן ליחידת קצה

דניאל גורביץ- מהנדס ישומיים בכיר אדוונטק ישראל »

משמעותי עבור רוב החברות. לכן, חיוני להפחית הנדרשת על DRAM את העלות של הרחבת , GenAI ידי הפרמטרים ההולכים וגדלים של תוך שמירה על רמת אבטחת נתונים גבוהה וסודיות. זה חיוני להטמעה מהירה של יישומי גנרטיביים. AI GPU מבוססי EdgeAI NPU ו קיימים שתי תצורות שונות ליישום פתרונות : EdgeAI Graphics ( GPU פתרונות מבוססי ■ ) מתמחים בעיבוד מקביל Processing Units (קיימים GPUs של כמויות גדולות של נתונים. בתצורת שבבים או כרטיסים גרפיים עצמאיים) בנויים עם מאות או אלפי ליבות קטנות וייעודיות ) שיכולות לבצע ALU : Arithmetic Logic Units ( בו זמנית מספר פעולות, מה שהופך אותן לאידיאליות לעיבוד גרפי ולאחרונה לאימון . LLM ופריסה של מודלים של Neural Processing ( NPU פתרונות מבוססי ■ יעילים בחישובי GPU ). בעוד שפתרונות Units ועיבוד מקביל של נפחי נתונים floating point מתוכננים לטפל ביעילות בכפל NPUs גדולים, וחיבור מטריצות – יכולת חיונית לעומסי ) AI עבודה הקשורים לבינה מלאכותית (

ששני התרחישים מאריכים את זמני הכוונון ). בנוסף, העלאת fine - tune training העדין ( נתונים ארגוניים לענן אינה מומלצת בדרך כלל מטעמי אבטחה. במקרים של ריבוי הנתונים , התקני קצה יכולים AI לכוונון עדין של מודל ) או data mining להתמודד עם כריית נתונים ( הכוונון העדין, ובכך להתמודד עם האתגרים בהעברת נפח נתונים גדול. כשמדובר על יישומי בינה מלאכותית, ארגונים לא מסתפקים ביישומים כמו צ'אטבוטים לשירות לקוחות, אלא משלבים בנוסף מערכות ניהול מידע, מדריכים לתחזוקת ציוד ונתונים אחרים כדי להעלות את יעילות העבודה. שילוב זה משפר את אחזור הנתונים ומסייע לעובדים חדשים להסתגל במהירות לתפקידיהם. מכיוון שהנתונים הפנימיים בדרך כלל חסויים ואינם מתאימים להעלאה לענן, ארגונים יכולים לוקאליים כדי לאמן Edge AI לפרוס שרתי LLM ) Large Language ביעילות מודלים של ) באתר של הארגון. Model LLM מצד שני, כוונון עדין של המודלים של ), צורך GenAI בבינה מלאכותית גנרטיבית ( ). אם קיבולת DRAM כמות ניכרת של זיכרון ( אינה מספקת, זה הופך למגבלה DRAM ה- , מה שמחייב שימוש LLMs בכוונון העדין של ה- יקרים נוספים. זהו נטל עלויות GPU בכרטיסי

) training בעבר, נהוג היה לבצע אימון ( של המודלים של בינה מלאכותית בענן, ואז לפרוס את המודלים המאומנים ליחידות הקצה: להסקת מסקנות, יצירת תוצאות, חיזוי ושליחת נתונים בחזרה לענן. ההתקדמות בטכנולוגיית החומרה וכוח החישוב המוגבר של התקני קצה מאפשרים עמידה בדרישות החישוביות בהתקני הקצה. יתר AI של אימון מודל על כן, הגידול המהיר בנפח הנתונים של השפיע משמעותית על עלות העברת AIoT הנתונים מהקצה לענן. השינוי הנ"ל יצר ביחידות AI צורך בביצוע עיבוד של מודל הקצה. – בענן או AI עיבוד מודל ? Edge ב- בענן או AI ההחלטה אם לאמן מודלים של ביחידת הקצה נובעת ממספר גורמים: סוג יישום של הבינה המלאכותית, גודל הפרמטרים , נפח הנתונים ורמת האבטחה של AI של מודל הנתונים. מחשוב ענן מהיר עדיף עבור יישומי בינה מלאכותית עם פרמטרים גדולים, או כאלה שבהם כוח מחשוב קצה אינו מספיק, מכיוון

New-Tech Magazine l 46