Learning and development in neural networks : the importance of starting small

بخشی از پاورپوینت

--- پاورپوینت شامل تصاویر میباشد ----

اسلاید 1 :

• انسان از موجودات دیگر از دو جنبه متفاوت است :

–ظرفیت حافظه

–زمان طولانی رشد

                                                                باعث

• مزیت یادگیری :انتقال رفتارها رشد سریع
• فهم اینکه چرا فشارهای تکاملی باعث حذف دوره طولانی رشد نمی شود، مشکل است.
• موفقیت افراد در زمینه خاص بوسیله مشارکت همه ویژگی هایشان حاصل می شود.
• برای مطالعه یادگیری باید به این نکته توجه نمود که بیشترین یادگیری در انسانها دقیقا در نقطه ای از زمان اتفاق می افتد .

اسلاید 2 :

• یکی از بیشترین حوزه های مطالعه شده زبان است این یکی از دامنه های مشکل مسئله طرح ریزی
• اگر وظیفه یادگیرنده زبان کشف قاعده های اساسی (گرامر) باشد ممکن است داده موجود کافی نباشد
• این مسئله کافی نبودن ظاهری داده در متن های بسیاری بحث شده است.
• ساده ترین اثبات ها از کاری کهGold در سال 1967 انجام داد ،بدست می آید.
• Goldنشان داد اگر یاد گیرنده زبان ارائه داده فقط مثبت زبانهای با قاعده فقط یاد   گرفته می شود

                                               به نظر می رسد زبانهای طبیعی به کلاس قوی تری تعلق داشته باشند.

• مسئله

                                           دلیل محکمی وجود ندارد که بچه ها از داده منفی در طول یادگیری استفاده می کنند  

اسلاید 3 :

• فاکتور سوم به غیر از فطرت وشواهد غیر مستقیم تغییرات رشدی
• PlunkettوMarchman یادگیری بهتر زمانی حاصل می شود که مجموعه آموزشی برای شبکه به آرامی رشد نماید
• اجازه دادن به مکانسیم یادگیری برای تغییر خودش تسهیل یادگیری  میشود

اسلاید 4 :

• The girls  who  the  teacher   has  picked  for  the  play  which  will  be   produced  next  month  practice  every  afternoon  .           ماهیت بازگشتی relative clause ها زبان طبیعی قادر به مدل  شدن توسط آتاماتای وضعیت متناهی

• مسئله شبکه ها باید دارای چه ویژگی هایی باشند که ظرفیت پردازشی ماورای آتاماتای وضعیت متناهی داشته باشند.

اسلاید 5 :

• برای فهم اینکه کجا شکست بروز می دهد وچطور پیچیدگی زبان را شبکه می تواند یاد بگیردپنج مجموعه آموزشی ساخته شد که ورودی آموزشی به مجموعه ای از پیچیدگی افزایشی سازماندهی شد.
• یک مغایرت مهمی که بین روشی که شبکه آموزش داده می شود و روشی که کودکان زبان یاد می گیرند وجود دارد ،بر خلاف شبکه ،کودکان نمونه هایی از همه جنبه های زبان بزرگسال را در ابتدا می شنوند.

اسلاید 6 :

• یک تغییر رشدی که مربوط به یادگیری است افزایش تدریجی در حافظه  
• حافظه در شبکه یعنی دسترسی شبکه به وضعیت های داخلی قبلی اش.
• درا ین شبیه سازی شبکه از ابتدا با زبان بزرگسال آموزش داده شد.
• اگر شبکه به خود اجازه دهد که در طول یادگیری تحت تغییرات رشدی قرار گیرد(افزایش ظرفیت حافظه ) سپس نتیجه به اندازه ای که اگر آن محیط خودش را به تدریج پیچیده نماید خوب خواهد بود.

اسلاید 7 :

• شبکه از ابعاد مختلف وضعیت درونی برای نمایش فاکتورهای مختلفی که به عملکرد مربوطند استفاده می کند

–آیتم واژگانی مجزا(تنها)

–رده گرامری(اسم ، فعل و ضمیر و ...)

–تعداد (مفرد در برابر جمع)

–نقش دستوری (فاعل در برابر مفعول و ...)

–سطح تعبیر(عبارت اصلی ، تابع و ..)

–بحث فعل

–ارائه های درونی جمله های خاص می توانند به عنوان حرکت هایی از این فضای وضعیت تصور شوند

اسلاید 8 :

• تعداد نسبتا کمی از منابع واریانس وجود دارد : تعداد، رده دستوری، نوع افعال و سطح تعبیر
• The girl who the dogs that I chased down the block frightened.
• هنگامی که پروسه یادگیری در مد افزایشی است، شبکه فقط زیر مجموعه ای از داده ها را می بیند. داده ها تنها جملات ساده هستند.
• این زیر مجموعه از داده ها (جملات ساده) فقط شامل 3 تا از 4 منبع واریانس هستند : تعداد، رده دستوری و نوع افعال
• نتیجه اثر یادگیری اولیه این است که فضای راه حل به محدوده بسیار کوچکتری محدود می شود
• محدودیت های حافظه اولیه به عنوان فیلتر در ورودی عمل می کنند

اسلاید 9 :

• 4 خاصیت اساسی یادگیری در مدلهای پیوندگرا :

–آمار به عنوان پایه واساس برای یادگیری، مساله اندازه گیری نمونه

–ارائه تجارب

–محدودیت در فرضیه های جدید

–چگونگی یادگیری تغییرات در طول زمان

–

• هر خصوصیت یک محدودیت کوچک در یادگیری اعمال می کند، اما این 4 ویژگی با هم محدودیت شدیدی در قدرت شبکه اعمال می کنند

اسلاید 10 :

• به صورت تجربی وزن ها را محاسبه می کنیم
• که تمام وزن های ممکن را بالا، پایین می کنیم و به ازای هر کدام شبکه را تست می کنیم.
• تغییرات کوچک و نرم وزن ها با یادگیری افزایشی

–فواید: یادگیری تدریجی زبان

–معایب: گیرکردن در بهینه های محلی

–