بخشی از پاورپوینت
اسلاید 1 :
مدلسازي نحوه تصميم گيري انسان با استفاده از پيش بيني مبتني بر مدل و فرآيند تصميم گيري مارکوف
اسلاید 2 :
عناوين بحث
معرفي اجزاي درگير در تصميم گيري در مغز
معرفي يادگيري تقويتي و فرآيند تصميم گيري مارکوف
بازبيني مدلهاي ارائه شده
کاربردها
اسلاید 3 :
مقدمه
تصميم گيري يک فرآيند بهينه سازي است.
انسانها يک فرآيند يادگيري تشويقي را براي بهينه کردن انتخابها استفاده مي کنند.
تصميم گيرها بايد اطلاعات مختلف راجع به مزايا و معايب و کيفيت و
کميت نتيجه پيش بيني شده و کار مورد نياز را ترکيب کنند.
فرضياتي مطرح شده که زير بخش هاي مختلف قشر فرانتال ممکن است
براي جنبه هاي مختلف تصميم گيري تخصص يافته باشند.
اسلاید 4 :
PreFrontal Cortex
اسلاید 5 :
روشهاي مطالعه پريفرانتال
قديمي ترين روش براي مطالعه نقش شناختي PFC، سنجش رفتار
بيمارانيست که به دليل تصادف يا جراحي، يک يا چندناحيه از PFC را از دست داده اند.
نکته تقريبا مشترک درمورد نقص شناختي بيماران پريفرانتال اينست که هوش عمومي آنها (IQ) طبيعي است و توانايي هاي ادراکي و حرکتي آنها نرمال است و نقص آنها بصورت آني و مثلا در شرايط آزمايشگاه قابل فهم نيست بنابراين نياز با انجام تستهاي روانشناسي مي باشد.
اسلاید 6 :
بيماري هاي مرتبط با ناحيه پريفرانتال و تصميم گيري
Autism
Depression
Obsessive-compulsive disorder
Schizophernia
Attention-deficit hyperactivity disorder
Tourette’s syndrome
Alzheimer
Huntington
اسلاید 7 :
تست هاي شناختي
word fluency
stroop test
Hayling
Wisconsin card
AX-CPT
اسلاید 8 :
معايب مطالعه پريفرانتال از روي بيماران
آسيب ها و بيماري هاي رواني نواحي ديگري غير از ناحيه مورد نظر(حتي گاهي کل مغز) را هم درگير مي کنند طوري که نمي توان يک نقص شناختي را به يک ناحيه خاص نسبت داد.
ممکن است استراتژي انتخابي شخص بيمار با فرد سالم متفاوت باشد.
اسلاید 9 :
روشهاي تصوير برداري
امروزه روشهاي جديدي توسعه يافته اند که به ما امکان اندازه گيري تغييرات
بزرگ فشار خون مغز را مي دهند(PET, FMRI) و داده هاي متقاعد
کننده تري توليد مي کنند.
معايب
چه ارتباطي بين بالا رفتن فشار خون و و فعاليت الکتروشيميايي سلولها وجود دارد؟
کم بودن سوژه هاي انتخابي
وضوح فضايي
اسلاید 10 :
ثبت سلولي
فعاليت سلولي PFC از سال 1960 با استفاده از روشهاي الکتروانسفالوگرافيک (EEG) مطالعه شده است.
از سال 1970 روشهايي توسعه يافت که مي توانستند فعاليت را در سطح سلولي کشف کنند.
delayed-response task
بازنمايي حسي اشياء ، يکي براي فعاليت حرکتي جهت اجرا، يکي براي پاداش و نهايتا يکي براي هماهنگي سه قسمت قبلي
اسلاید 11 :
اجزاي درگير در تصميم گيري توسط مغز
Dorso Lateral PreFrontal Cortex
بسياري نورونهايDLPFC
فعاليت تفکيکي براساس زمان
پيش بيني شده تحويل پاداش
انجام مي دهند.
اسلاید 12 :
حافظه فعال(working memory)
DLPFC بخشي از مغز است که درگيرنگهداري از بازنمايي اطلاعات ذخيره
شده در نواحي قبلي قشراست و قابليت نگهداري فعال اطلاعات و اداره کردن
آنها را براي رسيدن به اهداف دارد. اين نوع فعاليت معادل است با حافظه فعال
تفاوت با هيپوکامپ
هيپوکامپ چسباندن اطلاعات بهم نسبت به حافظه يک اپيزود است، درحالي که
PFC قواعد(قانونها و اهداف) آن اپيزود را استخراج مي کند
WM به عنوان بخش فعالي از حافظه بلندمدت تفسير کردند که که خودش بين قسمتهاي مختلف مغز توزيع شده است.
اسلاید 13 :
اجزاي درگير در تصميم گيري توسط مغز
نورونهاي LPFC در حافظه فعال دخالت دارند.
اهميت کاربردي اعمال LPFC مي تواند در جمع کردن اعمال
انگيزشي و شناختي به منظور انجام يک رفتار هدفمند باشد .
LPFC مرحله بعدي عمل را بر اساس اطلاعات ذخيره شده در
حافظه فعال آماده مي کند.
اسلاید 14 :
اجزاي درگير در تصميم گيري توسط مغز
OrbitoFrontal Cortex
اين ناحيه درپردازش خروجي مطلوب شامل
بازنمايي پيش بيني پاداش و ارتباط بين تحريک
و پاداش نقش دارد و نورونهاي اين ناحيه مقدار
نسبي پاداش را کد مي کنند.
اسلاید 15 :
اجزاي درگير در تصميم گيري توسط مغز
Anterior Cingulate Cortex
ACC در استفاده از اطلاعات تشويقي براي
کنترل رفتار نقش دارد .
ACC در مديريت کردن تضادها دخالت دارد
که اين مديريت شامل تضادهايي که پيش بيني
مي شود رخ دهند هم خواهد بود.
اسلاید 16 :
اجزاي درگير در تصميم گيري توسط مغز
Limbic System
قسمت ليمبيک يک پيش بيني
انگيزشي از حالت هدف ايجاد مي کند
که بعنوان نقطه کار، براي ارزيابي توسط
ACC در طرح ريزي و مانيتورينگ
استفاده مي شود.
اسلاید 17 :
دياگرام مدل پيشنهادي
اسلاید 18 :
آشنايي با اصول يادگيري تقويتي و فرآيند تصميم گيري مارکوف
انواع يادگيري
يادگيري با سرپرستي: خروجي مطلوب مشخص است
يادگيري بدون سرپرستي: خروجي مطلوب مشخص نيست
يادگيري تقويتي: سيستم بجاي دريافت يک خروجي مطلوب داده شده توسط
سرپرست، با توجه به نقد عملكرد کنترل آموزش مي بيند
اسلاید 19 :
ويژگي هاي يادگيري تقويتي
يکي از مسائل مهم که در RL وجود دارد و در ساير روشهاي يادگيري مطرح
نيست، مصالحه بين کاوش (exploration)وبهره برداري(exploitation) است .
بناي آموزش تقويتي بر روي اين احساس مشترک است که اگر عملي منجربه
بهبود وضعيت گردد ميل به انجام آن تقويت يا تشديد مي شود و در صورت عدم
بهبود،امكان انجام آن تضعيف مي گردد.
در يادگيري تشويقي دو جنبه مهم و مستقل از هم وجود دارد: يکي يادگيري با
روش سعي و خطاست که از مطالعه روي روشهاي يادگيري حيوانات شروع شد و
ديگري کنترل بهينه است که شامل يادگيري نمي شود. اين دو جنبه از اواخر
سال 1980 با هم تلفيق شدندو RL مدرن را بوجود آوردند.
اسلاید 20 :
اجزاي يادگيري تقويتي
حالت (state): آنچه كه عامل از محيط حس مي كند ) به جز پاداش و جريمه)
عمل(action): عملهايي كه عامل پس از حس محيط بر اساس يك استراتژي مي تواندانجام دهد كه باعث تغيير در محيط گردد
سياست(policy): قانوني كه عامل با توجه به حالت در هر لحظه عمل را انتخاب و انجام مي دهد
