יומן מסנן ההשחתות

''''LLaMA''' ([[ראשי תיבות]]: '''Large Language Model Meta AI''', בעברית: מודל שפה גדול מטא [[בינה מלאכותית]]) הוא [[מודל שפה גדול]] (LLM) ששוחרר על ידי [[מטא (חברה)|מטא]] בפברואר 2023. השם מתייחס לסדרת מודלים שלכל אחד מספר פרמטרים שונה (מ-7 מיליארד ועד 65 מיליארד פרמטרים). לטענת מפתחי לאמה, ביצועי מודל ה-13 מיליארד במשימות [[עיבוד שפה טבעית]], עולים על אלו של [[GPT-3]], הגדול בהרבה (175 מיליארד פרמטרים). המייחד את מודלי לאמה ממודלי השפה הגדולים האחרים באותה תקופה, היא שהאחרונים היו זמינים לרוב רק דרך [[ממשק תכנות יישומים|ממשקי API]] מוגבלים (אם בכלל), בעוד מטא פרסמה את משקלי המודל של לאמה לקהילת המחקר ברישיון לא מסחרי. שבוע לאחר השחרור, משקולות המודל הודלפו באינטרנט כך שהלכה למעשה הוא נהפך לפתוח לציבור. ב-18 ביולי 2023, Meta הכריזה על הדור הבא של מודלי הלאמה, בשם LLaMA 2.<ref>{{Cite web|title=Llama 2|url=https://ai.facebook.com/llama-project|access-date=2023-07-18|website=Meta AI|language=en}}</ref> המודלים שוחררו לציבור בקוד פתוח. חודש לאחר מכן, שחררה מטא גרסה ייעודית של המודל לכתיבת קוד, בשם Code LLaMA. גרסה זו היא למעשה אימון המודל לאמה 2 על כחצי טריליון טוקנים (יחידות טקסט קטנות, למשל מילה) של קטעי קוד.<ref>{{קישור כללי|כתובת=https://about.fb.com/news/2023/08/code-llama-ai-for-coding/|כותרת=Introducing Code Llama, an AI Tool for Coding|אתר=Meta|תאריך=2023-08-24|שפה=en-US|תאריך_וידוא=2023-08-24}}</ref> == ארכיטקטורה ואימון == === ארכיטקטורה === המודל משתמש בארכיטקטורת [[טרנספורמר (למידת מכונה)|טרנספורמר]], הארכיטקטורה הסטנדרטית למודלי שפה מאז שפורסמה בשנת 2018. עם זאת, ישנם הבדלי ארכיטקטורה קלים ביחס למודלי שפה גדולים סטנדרטיים אחרים. כך למשל, השימוש בפונקציית SwiGLU<ref>{{Cite journal|last=Shazeer|first=Noam|date=2020-02-01|title=GLU Variants Improve Transformer|url=https://ui.adsabs.harvard.edu/abs/2020arXiv200205202S}}</ref> במקום [[ReLU]]; או השימוש בנורמליזציית [[למידה עמוקה|שכבות]] מסוג root-mean-sqaured, להבדיל מנורמליזציית שכבות סטנדרטית.<ref>{{Cite journal|last=Lei Ba|first=Jimmy|last2=Kiros|first2=Jamie Ryan|last3=Hinton|first3=Geoffrey E.|date=2016-07-01|title=Layer Normalization|url=https://ui.adsabs.harvard.edu/abs/2016arXiv160706450L}}</ref> === מערך הנתונים עליו אומן המודל === על מנת לשפר את ביצועי המודל, מפתחי LLaMA מיקדו את מאמציהם בהגדלת נפח נתוני האימון, להבדיל ממספר הפרמטרים, בנימוק שהעלות המרכזית הנוגעת למודלי שפה גדולים היא מהסקת מסקנות על המודל המאומן ולא מהעלות החישובית של תהליך האימון. המודל אומן על 1.4 טריליון טוקנים, שנלקחו ממקורות נתונים זמינים לציבור, כולל: * דפי אינטרנט * מאגרי [[קוד פתוח]] מ[[גיטהאב]] * [[ויקיפדיה]] ב-20 שפות שונות * ספרים [[רשות הציבור|ברשות הרבים]] שנכללו ב[[פרויקט גוטנברג]] * [[קוד מקור|קוד המקור]] של [[LaTeX]] למאמרים מדעיים * שאלות ותשובות מאתרי Stack Exchange == שחרור והדלפות == המודל לאמה הוכרז ב-23 בפברואר 2023, באמצעות פוסט בבלוג ומאמר המתאר את האימון, הארכיטקטורה והביצועים שלו.<ref>{{קישור כללי|כתובת=https://www.geektime.co.il/meta-unveils-new-llm/|הכותב=אושרי אלקסלסי|כותרת="טוב יותר מ-GPT": עכשיו גם מטא חושפת מודל שפה ענק חדש|אתר=גיקטיים|תאריך=2023-02-26|שפה=he-IL|תאריך_וידוא=2023-07-18}}</ref> הקוד ששימש לאימון המודל שוחרר לציבור תחת רישיון הקוד הפתוח [[הרישיון הציבורי הכללי של גנו|GPL 3]] (שימוש חופשי אך לא למטרות מסחריות). הגישה למשקולות המודל נוהלה על ידי תהליך הגשת בקשה, כאשר גישה תינתן "בכל מקרה לגופו לחוקרים אקדמיים; אלה המזוהים עם ארגונים בממשלה, בחברה האזרחית ובאקדמיה; ולמעבדות מחקר בתעשייה ברחבי העולם". ב-2 במרץ 2023,<ref>{{Cite web|date=5 Mar 2023|title=/g/ - /aicg/ - AI Chatbot General - Technology - 4chan|url=https://archive.today/20230305095718/https://boards.4channel.org/g/thread/91848262}}</ref> הועלה לאתר האינטרנט [[4chan]], [[טורנט]] המכיל את המשקולות של לאמה, ולאחר מכן התפשט ברחבי האינטרנט דרך קהילות בינה מלאכותית מקוונות. התגובות לדליפה היו חלוקות. חלקן חששו מכך שהמודל ישמש למטרות זדוניות, כמו [[ספאם]]. חלקן האחר ראו את הפוטנציאל בקידום פיתוחים מחקריים נוספים. == יישומים == המרכז למחקר בינה מלאכותית [[אוניברסיטת סטנפורד|של אוניברסיטת סטנפורד]] פרסם את Alpaca, תשתית אימון המבוססת על מודל לאמה (בגודל 7 מיליארד פרמטרים) המשתמש בשיטת "Self-Instruct" של כוונון הוראות כדי לרכוש יכולות דומות למודל GPT-3 של חברת [[OpenAI]], אך בעלות נמוכה.<ref>{{Cite web|last=Taori|first=Rohan|last2=Gulrajani|first2=Ishaan|last3=Zhang|first3=Tianyi|last4=Dubois|first4=Yann|last5=Li|first5=Xuechen|last6=Guestrin|first6=Carlos|last7=Liang|first7=Percy|last8=Hashimoto|first8=Tatsunori B.|date=13 March 2023|title=Alpaca: A Strong, Replicable Instruction-Following Model|url=https://crfm.stanford.edu/2023/03/13/alpaca.html|access-date=|website=|publisher=Stanford Center for Research on Foundation Models}}</ref> מספר פרויקטי קוד פתוח עודם ממשיכים בעבודה זו של כוונון עדין של לאמה עם מערך נתונים של Alpaca. ב-18 ביולי 2023, הודיעה מטא על שחרור סדרת מודלים מתקדמים יותר, LLaMA 2, ושיחררה אותם לציבור בקוד פתוח.<ref>{{קישור כללי|כתובת=https://about.fb.com/news/2023/07/llama-2/|כותרת=Meta and Microsoft Introduce the Next Generation of Llama|אתר=Meta|תאריך=2023-07-18|שפה=en-US|תאריך_וידוא=2023-07-18}}</ref> המודל שוחרר בגדלים 7, 13 ו-70 מיליארד פרמטרים, ואומן על 2 טריליון טוקנים. המודלים זמינים לציבור דרך פלטפורמת [[Hugging Face]],<ref>{{קישור כללי|כתובת=https://huggingface.co/meta-llama|כותרת=meta-llama (Meta Llama 2)|אתר=huggingface.co|תאריך=2023-07-18|תאריך_וידוא=2023-07-18}}</ref> ודרך ספקיות ענן דוגמת [[Amazon Web Services|AWS]] (אמזון) ו-[[Microsoft Azure|Azure]] ([[מיקרוסופט]]). ==קישורים חיצוניים== * {{אתר רשמי}} == הערות שוליים == {{הערות שוליים}} [[קטגוריה:למידת מכונה]] [[קטגוריה:בינה מלאכותית יוצרת]] [[קטגוריה:מודלי שפה גדולים]]'