בדיקת שינויים ספציפיים

''''PaLM'''{{כ}} ('''Pathways Language Model''') הוא [[מודל שפה גדול]] המבוסס על [[טרנספורמר (למידת מכונה)|טרנספורמר]] של 540 מיליארד פרמטרים שפותח על ידי [[בינה מלאכותית של גוגל|Google AI]].<ref name="blog">{{Cite web|last=Narang|first=Sharan|last2=Chowdhery|first2=Aakanksha|title=Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance|url=https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html|access-date=17 March 2023|website=ai.googleblog.com|language=en}}</ref> החוקרים הכשירו גם גרסאות קטנות יותר של PaLM, בהם 8 ו-62 מיליארד מודלים פרמטרים, כדי לבדוק את ההשפעות של קנה המידה של המודל. PaLM מסוגל לבצע מגוון רחב של משימות, כולל [[הגיון בריא|חשיבה רגילה]] {{אנ|Commonsense reasoning}}, חשיבה [[אריתמטיקה|אריתמטית]], הסבר [[בדיחה|בדיחות]], יצירת [[תוכנית מחשב|קוד]] [[תרגום מכונה|ותרגום]].<ref name="venturebeat">{{Cite web|last=Anadiotis|first=George|date=12 April 2022|title=Google sets the bar for AI language models with PaLM|url=https://venturebeat.com/ai/ai-weekly-google-sets-the-bar-for-ai-language-models-with-palm/|access-date=17 March 2023|website=VentureBeat}}</ref><ref>{{Cite web|last=Bastian|first=Matthias|date=5 April 2022|title=Google PaLM: Giant language AI can explain jokes|url=https://the-decoder.com/google-palm-giant-language-ai-can-explain-jokes/|access-date=17 March 2023|website=THE DECODER}}</ref><ref>{{Cite web|date=12 December 2022|title=Google: Why Is No One Talking About PaLM (NASDAQ:GOOG) {{!}} Seeking Alpha|url=https://seekingalpha.com/article/4563975-google-why-is-no-one-talking-about-palm|access-date=17 March 2023|website=seekingalpha.com|language=en}}</ref> בשילוב עם [[הנדסת פרומפטים|הנחיה של פרומפטים]], PaLM השיגה ביצועים טובים יותר באופן משמעותי על מערכי נתונים הדורשים חשיבה של מספר שלבים, כגון [[בעיה מילולית|בעיות מילים]] ושאלות מבוססות [[לוגיקה]]. הדגם הוכרז לראשונה באפריל 2022 ונשאר פרטי עד [[מרץ]] 2023, אז השיקה גוגל [[ממשק תכנות יישומים|API]] עבור PaLM ועוד כמה טכנולוגיות.<ref>{{Cite web|last=Vincent|first=James|date=14 March 2023|title=Google opens up its AI language model PaLM to challenge OpenAI and GPT-3|url=https://www.theverge.com/2023/3/14/23639313/google-ai-language-model-palm-api-challenge-openai|access-date=17 March 2023|website=The Verge}}</ref> ה-API זמין תחילה למספר מצומצם של מפתחים שמצטרפים לרשימת המתנה לפני פתיחתו לציבור.<ref>{{Cite web|last=Huffman|first=Scott|last2=Woodward|first2=Josh|title=PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications|url=https://developers.googleblog.com/2023/03/announcing-palm-api-and-makersuite.html|access-date=17 March 2023|language=en}}</ref> גוגל ו-[[DeepMind]] פיתחו גרסה של PaLM 540B בשם '''Med-PaLM''' המכווננת ומאומנת על נתונים רפואיים ועולה על דגמים קודמים במדדי תשובות לשאלות רפואיות.<ref>{{Cite web|date=17 January 2023|title=MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor|url=https://medicalfuturist.com/medpalm-new-ai-medical-chatbots-will-soon-be-better-than-waiting-for-a-doctor/|access-date=17 March 2023|website=The Medical Futurist}}</ref> Med-PaLM הייתה הראשונה שהשיגה ציון עובר בשאלות רישוי רפואי בארצות הברית, ובנוסף לענות בצורה מדויקת הן על שאלות מרובות והן על שאלות פתוחות, היא גם מספקת נימוקים ומסוגלת להעריך את התשובות שלה.<ref>{{Cite web|last=Matias|first=Yossi|last2=Corrado|first2=Greg|date=14 March 2023|title=Our latest health AI research updates|url=https://blog.google/technology/health/ai-llm-medpalm-research-thecheckup/|access-date=17 March 2023|website=Google|language=en-us}}</ref> במאי 2023, גוגל הכריזה על PaLM 2 באירוע המרכזי השנתי [[Google I/O|של Google I/O]].<ref>{{Cite web|last=Lardinois|first=Frederic|date=May 10, 2023|title=Google launches PaLM 2, its next-gen large language model|url=https://techcrunch.com/2023/05/10/google-launches-palm-2-its-next-gen-large-language-model/|url-status=live|archive-url=https://web.archive.org/web/20230510172453/https://techcrunch.com/2023/05/10/google-launches-palm-2-its-next-gen-large-language-model/|archive-date=May 10, 2023|access-date=May 10, 2023|website=TechCrunch}}</ref> הדיווח העדכני הוא כי PaLM 2 הוא דגם של 340 מיליארד פרמטרים שאומן על 3.6 טריליון פריטי מידע.<ref name="cnbc-20230516">{{Cite web|last=Elias|first=Jennifer|date=16 May 2023|title=Google's newest A.I. model uses nearly five times more text data for training than its predecessor|url=https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html|access-date=18 May 2023|website=CNBC}}</ref> == אימון == PaLM מאומן מראש על מאגר מידע איכותי של 780 מיליארד פריטי מידע הכוללים משימות שונות [[עיבוד שפה טבעית|של שפה טבעית]] ומקרי שימוש. מערך נתונים זה כולל דפי אינטרנט מסוננים, ספרים, מאמרי [[ויקיפדיה]], מאמרי חדשות, קוד מקור המתקבל ממאגרי [[קוד פתוח]] ב-[[GitHub]] ושיחות [[מדיה חברתית]]. הוא מבוסס על מערך הנתונים המשמש לאימון מודל [[LaMDA]] של [[גוגל (חברה)|גוגל]]. החלק של השיחות מהמדיה החברתית במערך הנתונים מהווה 50% מהמאגר, מה שסייע למודל לשפר וללמוד יכולות שיחה טובות. == ראו גם == * [[מודל שפה גדול]] ==קישורים חיצוניים== * {{אתר רשמי}} {{ויקישיתוף בשורה}} == הערות שוליים == {{הערות שוליים|יישור=שמאל}} [[קטגוריה:גוגל: תוכנה]] [[קטגוריה:מודלי שפה גדולים]] [[קטגוריה:בינה מלאכותית יוצרת]]'