گوگل پیشرفتی را در تلاش برای ایجاد یک معماری هوش مصنوعی اعلام کرد که می تواند میلیون ها کار مختلف از جمله یادگیری و استدلال پیچیده را انجام دهد. سیستم جدید مدل زبان مسیرها نامیده میشود که به آن PALM گفته میشود.
PaLM میتواند در آزمونهای زبان و استدلال از وضعیت فعلی مدلهای زبان و انسانها بهتر عمل کند.
اما محققان همچنین خاطرنشان میکنند که نمیتوانند محدودیتهای ذاتی در مدلهای زبانی در مقیاس بزرگ را که میتواند ناخواسته منجر به نتایج اخلاقی منفی شود، از بین ببرند.
اطلاعات پس زمینه
چند بخش بعدی اطلاعات پس زمینه ای است که توضیح می دهد این الگوریتم در مورد چیست.
آموزش چند شات
یادگیری چند مرحله ای مرحله بعدی یادگیری است که فراتر از یادگیری عمیق است.
محقق مغز گوگل، هوگو لاروچل (@hugo_larochelle) در ارائه ای با عنوان، (ویدئو) توضیح داد که با یادگیری عمیق، مشکل این است که آنها مجبور بودند حجم زیادی از داده ها را جمع آوری کنند که به مقدار قابل توجهی کار انسانی نیاز دارد.
او اشاره کرد که احتمالاً یادگیری عمیق راهی به سمت هوش مصنوعی نخواهد بود که بتواند بسیاری از کارها را حل کند، زیرا با یادگیری عمیق، هر کار به میلیون ها مثال نیاز دارد که برای هر توانایی که یک هوش مصنوعی یاد می گیرد، از آنها یاد بگیریم.
>
لاروشل توضیح میدهد:
“… ایده این است که ما سعی خواهیم کرد به این مشکل خیلی مستقیم حمله کنیم، این مشکل یادگیری چند مرحله ای، که این مشکل تعمیم از مقدار کمی داده است.
… ایده اصلی در آنچه ارائه خواهم کرد این است که به جای اینکه بخواهیم آن الگوریتم یادگیری را با N تعریف کنیم و از شهود خود در مورد اینکه الگوریتم مناسب برای انجام یادگیری چند مرحله ای چیست استفاده کنیم، اما در واقع سعی کنیم یاد بگیریم. آن الگوریتم به صورت سرتاسری.
و به همین دلیل است که ما آن را یادگیری برای یادگیری می نامیم یا من دوست دارم آن را فرا یادگیری بنامم.”
هدف با رویکرد چند عکس تقریبی این است که انسانها چگونه چیزهای مختلف را یاد میگیرند و میتوانند بخشهای مختلف دانش را با هم به کار ببرند تا مشکلات جدیدی را که قبلاً هرگز با آنها مواجه نشدهاند حل کنند.
پس مزیت ماشینی است که می تواند از تمام دانشی که برای حل مشکلات جدید دارد استفاده کند.
در مورد PalM، نمونهای از این قابلیت، توانایی آن در توضیح جوکی است که قبلاً هرگز با آن مواجه نشده بود.
مسیرهای هوش مصنوعی
در اکتبر ۲۰۲۱، گوگل مقاله ای را منتشر کرد که اهداف یک معماری جدید هوش مصنوعی به نام Pathways را ترسیم می کرد.
Pathways نمایانگر فصل جدیدی در پیشرفت مداوم در توسعه سیستمهای هوش مصنوعی است.
رویکرد معمول ایجاد الگوریتم هایی بود که برای انجام کارهای خاص به خوبی آموزش داده شده بودند.
رویکرد Pathways ایجاد یک مدل هوش مصنوعی واحد است که میتواند همه مشکلات را با یادگیری نحوه حل آنها حل کند، به این ترتیب از روش کم کارآمد آموزش هزاران الگوریتم برای تکمیل هزاران کار مختلف اجتناب میشود.
>
طبق سند Pathways:
“در عوض، ما میخواهیم مدلی را آموزش دهیم که نه تنها میتواند بسیاری از وظایف مجزا را انجام دهد، بلکه مهارتهای موجود خود را برای یادگیری سریعتر و موثرتر از مهارتهای موجود استفاده کرده و ترکیب میکند.
به این ترتیب، آنچه که یک مدل با آموزش در مورد یک کار میآموزد – مثلاً یاد میگیرد که چگونه تصاویر هوایی میتوانند ارتفاع یک منظره را پیشبینی کنند – میتواند به او کمک کند تا کار دیگری را یاد بگیرد – مثلاً پیشبینی اینکه چگونه آبهای سیل در آن زمین جاری میشود. /p>
Pathways مسیر پیشرفت Google را برای ارتقاء هوش مصنوعی به سطح بعدی تعریف کرد تا شکاف بین یادگیری ماشین و یادگیری انسان را کاهش دهد.
جدیدترین مدل Google، به نام Pathways Language Model (PaLM)، این مرحله بعدی است و طبق این مقاله تحقیقاتی جدید، PaLM نشان دهنده پیشرفت قابل توجهی در زمینه هوش مصنوعی است.
چه چیزی Google PalM را قابل توجه می کند
PaLM فرآیند یادگیری چند شات را مقیاس میدهد.
طبق مقاله پژوهشی:
«مدلهای زبان بزرگ نشان داده شده است که با استفاده از یادگیری چند شات، عملکرد قابل توجهی را در انواع وظایف زبان طبیعی به دست میآورند، که بهشدت تعداد نمونههای آموزشی خاص مورد نیاز برای تطبیق مدل با یک برنامه خاص را کاهش میدهد. .
برای درک بیشتر ما از تأثیر مقیاس بر یادگیری چند شات، ما یک پارامتر ۵۴۰ میلیاردی، مدل زبان ترانسفورماتور با فعال سازی متراکم را آموزش دادیم که آن را مدل زبان مسیرها (PaLM) می نامیم.»
بلوک نقل قول>
مقالات تحقیقاتی بسیاری منتشر شدهاند که الگوریتمهایی را توصیف میکنند که بهتر از وضعیت فعلی هنر عمل نمیکنند یا فقط به بهبود تدریجی دست مییابند.
این مورد در مورد PalM صدق نمی کند. محققان ادعا میکنند که نسبت به بهترین مدلهای فعلی پیشرفتهای قابل توجهی داشتهاند و حتی از معیارهای انسانی بهتر عمل میکنند.
این سطح از موفقیت چیزی است که این الگوریتم جدید را قابل توجه می کند.
محققان می نویسند:
“ما مزایای مداوم مقیاسبندی را با دستیابی به نتایج پیشرفته یادگیری چند شات در صدها معیار درک زبان و نسل نشان میدهیم.
در تعدادی از این کارها، PaLM 540B به عملکردی نوآورانه دست می یابد، در مجموعه ای از کارهای استدلالی چند مرحله ای، از وضعیت پیشرفته پیشرفته پیشی می گیرد، و عملکرد متوسط انسانی را در معیار BIG-bench اخیراً منتشر شده بهتر از خود نشان می دهد.
تعداد قابلتوجهی از وظایف BIG-bench بهبودهای ناپیوستهای را نسبت به مقیاس مدل نشان دادند، به این معنی که با افزایش مقیاسبندی به بزرگترین مدل خود، عملکرد به شدت افزایش یافت.
PaLM در وظایف پردازش زبان طبیعی انگلیسی از پیشرفتهای فنی بهتر عمل میکند و این باعث میشود که PalM مهم و قابل توجه باشد.
در یک معیار مشترک به نام BIG-bench که شامل بیش از ۱۵۰ کار (مرتبط با استدلال، ترجمه، پاسخ به سؤال) است، PalM عملکرد بهتری از هنر خود داشت، اما مواردی وجود داشت که به خوبی انجام نمیداد.
شایان ذکر این است که عملکرد انسان در ۳۵٪ از وظایف، به ویژه وظایف مرتبط با ریاضی، از PALM پیشی گرفته است (به بخش ۶.۲ بزرگ مقاله پژوهشی، صفحه ۱۷ مراجعه کنید).
PaLM در ترجمه زبان دیگر به انگلیسی بهتر از ترجمه انگلیسی به زبان های دیگر بود. محققان اظهار داشتند که این یک مشکل رایج است که میتوان آن را با اولویت دادن به دادههای چندزبانهتر حل کرد.
با این وجود، PALM تقریباً از سایر مدلهای زبان و انسانها در کل عملکرد بهتری داشت.
توانایی استدلال
نکته قابل توجه عملکرد آن با وظایف محاسباتی و استدلال عقلانی بود.
نمونه ای از یک کار حسابی:
سوال:
راجر ۵ توپ تنیس دارد. او ۲ قوطی توپ تنیس دیگر می خرد. هر قوطی ۳ توپ تنیس دارد. او اکنون چند توپ تنیس دارد؟پاسخ:
پاسخ ۱۱ است.نمونه ای از استدلال عقل سلیم:
سوال:
شان برای رسیدن به خانه عجله داشت، اما چراغ زرد شد و او مجبور شد چه کاری انجام دهد؟
گزینه های پاسخ: (الف) زمان صرف کنید (ب) حرکت کنید (ج) آهسته بروید (د) اقیانوس (ه) سرعت را کاهش دهیدپاسخ:
پاسخ این است (ه) سرعت را کم کنید.تولید توضیحات
نمونه خارقالعاده دیگری از پیشرفت PALM در آزمایشهای ایجاد توضیحات.
در اینجا مقاله تحقیقاتی آن را توضیح میدهد:
«هدف این بخش نشان دادن قابلیتهای PALM با توجه به تولید زبان توضیحی است، برای اعلانهایی که به ترکیبی پیچیده از زنجیره استنتاج منطقی، دانش جهانی، درک زبان انتزاعی و درک زبان واژگانی نیاز دارند. به عنوان مثال، جناس).»
توضیحات جوک
در اینجا نمونهای از مدل زبانی است که یک جوک را توضیح میدهد:
جوک:
قرار بود ۶ آوریل برای دیدن خانواده ام پرواز کنم. مامانم گفت: “اوه عالی، شعرخوانی پدر ناتنی تو همان شب است!”بنابراین اکنون من در ۷ آوریل پرواز می کنم.
توضیح مدل:
شوخی این است که مادر گوینده سعی می کند آنها را به شعرخوانی پدر ناتنی خود وادار کند، اما گوینده نمی خواهد برود، بنابراین آنها پرواز خود را به روز بعد از شعرخوانی تغییر می دهند.زنجیره استنتاج
در اینجا مثالی از زنجیره استنتاج آمده است، که در آن چندین مفهوم و موجودیت باید به درستی به هم متصل شوند و برای ایجاد یک پاسخ در نظر گرفته شوند.
«ورودی:
گیدو در حال نوشتن یک برنامه پایتون بود. او مدام با دامنه متغیر گیج می شود و آن را در StackOverflow جستجو می کند.آیا ممکن است که Guido در اعلان به Guido van Rossum اشاره داشته باشد؟
خروجی مدل:
Guido van Rossum خالق پایتون است. او نیازی به جستجوی محدوده متغیر در StackOverflow ندارد. پاسخ “نه” است.یک مثال دیگر در اینجا آمده است:
«ورودی:
جنیفر به بیرون از پنجره نگاه کرد و یک ابر واقعا خنک زیر خود دید. کمربندش را باز می کند و به سمت حمام می رود. آیا جنیفر احتمالاً بیش از ۳۰۰ مایل در ساعت نسبت به زمین سفر می کند؟خروجی مدل:
۳۰۰ مایل در ساعت حدود ۴۸۰ کیلومتر در ساعت است. این در مورد سرعت یک هواپیمای تجاری است. ابرها معمولاً زیر هواپیما هستند، بنابراین جنیفر احتمالاً در هواپیما است.پاسخ «بله» است.»
موتور جستجوی نسل بعدی؟
مثال بالا از توانایی PalM برای استدلال پیچیده نشان میدهد که چگونه یک موتور جستجوی نسل بعدی میتواند با استفاده از دانش اینترنت و سایر منابع به پاسخهای پیچیده پاسخ دهد.
دستیابی به معماری هوش مصنوعی که بتواند پاسخهایی تولید کند که جهان اطراف ما را منعکس کند، یکی از اهداف اعلام شده Google Pathways است و PALM گامی در این مسیر است.
با این حال، نویسندگان تحقیق تاکید کردند که PALM کلمه نهایی در مورد هوش مصنوعی و جستجو نیست. آنها به صراحت اعلام کردند که PaLM اولین گام به سوی نوع بعدی موتور جستجویی است که Pathways متصور است.
قبل از اینکه ادامه دهیم، دو کلمه وجود دارد، اصطلاحاً اصطلاحاً، که درک آنها مهم است تا بفهمیم PALM چیست.
- روش ها
- تعمیم
کلمه «روشها» اشارهای به چگونگی تجربه چیزها یا وضعیتی است که در آن وجود دارند، مانند متنی که خوانده میشود، تصاویری که دیده میشود، چیزهایی که گوش داده میشوند. به.
کلمه “تعمیم” در زمینه یادگیری ماشینی در مورد توانایی یک مدل زبان برای حل وظایفی است که قبلاً در مورد آنها آموزش ندیده است.
محققان خاطرنشان کردند:
“PaLM تنها اولین قدم در دیدگاه ما به سمت ایجاد Pathways به عنوان آینده مقیاسبندی ML در Google و فراتر از آن است.
ما معتقدیم که PALM یک پایه قوی در هدف نهایی ما برای توسعه یک سیستم مدولار شده در مقیاس بزرگ نشان میدهد که قابلیتهای تعمیم گسترده در چندین روش دارد.
خطرات دنیای واقعی و ملاحظات اخلاقی
یک چیز متفاوت در مورد این مقاله تحقیقاتی این است که محققان در مورد ملاحظات اخلاقی هشدار می دهند.
آنها اظهار می دارند که مدل های زبانی در مقیاس بزرگ که بر روی داده های وب آموزش داده شده اند، بسیاری از کلیشه های “سمی” و نابرابری های اجتماعی را که در وب پخش شده اند جذب می کنند و اظهار می کنند که PALM در برابر این تأثیرات ناخواسته مقاوم نیست.
مقاله پژوهشی به یک مقاله تحقیقاتی مربوط به سال ۲۰۲۱ استناد میکند که میزان مقیاس بزرگ را بررسی میکند. مدلهای زبان میتوانند آسیبهای زیر را ترویج کنند:
- تبعیض، طرد و مسمومیت
- خطرات اطلاعاتی
- اطلاعات نادرست آسیب می رساند
- کاربردهای مخرب
- مضرات تعامل انسان و رایانه
- اتوماسیون، دسترسی و آسیب های زیست محیطی
در نهایت، محققان خاطرنشان کردند که PaLM در واقع کلیشه های اجتماعی سمی را منعکس می کند و روشن می کند که فیلتر کردن این سوگیری ها چالش برانگیز است.
محققان PalM توضیح می دهند:
«تحلیل ما نشان میدهد که دادههای آموزشی ما، و در نتیجه PalM، کلیشههای مختلف اجتماعی و تداعیهای سمی را در مورد اصطلاحات هویتی منعکس میکنند.
با این حال، حذف این ارتباطها امری بیاهمیت است… کار آینده باید به طور مؤثر به مقابله با چنین سوگیریهای نامطلوب در دادهها و تأثیر آنها بر رفتار مدل بپردازد.
در همین حال، هر گونه استفاده واقعی از PALM برای کارهای پایین دستی باید ارزیابیهای عادلانه بیشتری را برای ارزیابی آسیبهای احتمالی و معرفی اقدامات کاهشی و حفاظتی مناسب انجام دهد.
PaLM را می توان به عنوان نگاهی به نسل بعدی جستجو در نظر گرفت. PaLM ادعاهای خارقالعادهای برای به دست آوردن بهترین وضعیت هنر دارد، اما محققان همچنین اظهار میکنند که هنوز کارهای بیشتری باید انجام شود، از جمله یافتن راهی برای کاهش انتشار مضر اطلاعات نادرست، کلیشههای سمی و سایر نتایج ناخواسته.
نقل قول
مقاله وبلاگ هوش مصنوعی Google درباره PalM را بخوانید
مدل زبان مسیرها (PaLM): مقیاس گذاری تا ۵۴۰ میلیارد پارامتر برای عملکرد پیشرفت
مقاله تحقیقاتی Google را در PALM بخوانید
PaLM: مقیاسگذاری مدلسازی زبان با مسیرها (PDF)
