پاورپوینت اعتبارسنجی

بخشی از پاورپوینت

اسلاید 2 :

دانشگاه علوم کشاورزی و منابع طبیعی

اعتبارسنجی

اسلاید 3 :

پس از کالیبراسیون مدل، مدلساز باید اعتبار مدلی را که کالیبره کرده است، بسنجد تا به کمک آن مشخص کند تا چه حد پیشبینیهای مدل با واقعیت همخوانی دارد (وینوف، 2008). به بیان دیگر ارزیابی اعتبار مدل، فرآیندی است که مدلساز تعیین میکند مدل ساخته شده، تا چه حد بیان درستی از دنیای واقعی در اختیار کاربر خود میگذارد. در حقیقت، هدف از اعتبارسنجی مدل آن است که مدلساز بتواند در کار پیشبینی، میزان اعتماد به توانایی مدل را با بهکارگیری دادههای اندازهگیری شده یا دادههای مشاهداتی، کمی کند (تیکر و همکاران، 2004).

رهیافت بنیادینی که سنجش اعتبار مدل بر آن استوار است، اندازهگیری میزان همخوانی میان مقادیر پیشبینی شده و مقادیر اندازهگیری شده است. این همخوانی را میتوان از راه کمی کردن تفاوت یا خطای میان دادههای اندازهگیری شده و دادههای خروجی مدل، اندازهگیری کرد. نکته قابل اهمیت در بهکارگیری این رهیافت آن است که بهدلیل عدم قطعیت در اندازهگیری اشیاء و پدیدهها و نیز دادههای خروجی مدل، از روشها و سنجههای آماری برای بیان میزان همخوانی میان مقادیر پیشبینی شده توسط مدل و مقادیر اندازهگیری شده، بهرهگیری میشود.
اعتبارسنجی

اسلاید 4 :

اعتبارسنجی مدل، همانطور که در تعریف آن آمده، یک فرآیند است. از این رو، میتوان آن را کار پیوستهای دانست که مدلساز تا به میزان مطلوبی از همخوانی میان مقادیر پیشبینی شده و مقادیر اندازهگیری شده نرسد، به کارش ادامه خواهد داد (تیکر و همکاران، 2004).

اعتبارسنجی مدل دامنه گستردهای دارد، بطوریکه میتواند دربرگیرنده همه اجزای مدل باشد. اجزای یک مدل شامل متغیرهای مستقل (ورودی)، متغیر وابسته (خروجی)، پارامترهای مدل و نیز پیشفرضهایی است که مدل براساس آن ساخته میشود (تیکر و همکاران، 2004).

قابل گفتن است بیشتر کارهای انجام گرفته در زمینه اعتبارسنجی مدل بر روی متغیر خروجی یا به بیان دیگر مقادیر پیشبینی شده مدلهای ابداعی متمرکز شده است و کمتر مطالعه یا کار مدلسازی را میتوان یافت که بر سایر اجزاء همچون متغیرهای ورودی، پارامترهای مدل یا پیشفرضهایی که مدل بر اساس آن ساخته شده است، تمرکز کرده باشد. نکته قابل توجه آن است که تعدیل مدل خواه پارامترهای مدل یا معادلات اساسی آن، برای بهبود همخوانی میان خروجی مدل و مقادیر اندازهگیری شده، باشد به معنای اعتبارسنجی نیست (تیکر و همکاران، 2004).
اعتبارسنجی

اسلاید 5 :

1- سلسله مراتب اعتبارسنجی
یکی از ویژگیهای بارز و قابل توجه سیستمهای اکولوژیک و سیستمهای محیط زیستی که مدلساز باید در فرایند مدلسازی به آن توجه کند این است که این سیستمهای، دارای خرده سیستم، اجزای چندگانه و پیچیدهای هستند، بهطوری که هر کدام از آنها لازم است نخست مدلسازی و سپس اعتبارسنجی شوند. نحوه کار، بدین صورت است که مدلهای ابداعی را با بهکارگیری دادههای آزمایشی که از کل سیستم میگیرند، اعتبارسنجی میکنند. نکته مهم اینکه اگر سیستمی که در حال مدلسازی آن هستیم، دارای تعداد زیادی اجزاء باشد یا اگر مدلهای ساخته شده برای خرده سیستم دارای ارتباطات پیچیده یا روابط غیرخطی باشند، این رهیافت ممکن است برای مدل‎ساز ایجاد مشکل کند. در چنین حالتی، چنانچه مدل‎ساز، هنگام اعتبارسنجی مدل، با همخوانی ضعیفی میان مقادیر پیشبینی شده و مقادیر اندازهگیری شده روبهرو شود، جدا کردن و تعیین اینکه کدام یک از خرده سیستمها مسئول ایجاد این ناهمخوانیاند، اگر غیرممکن نباشد، کاری بس مشکل است (تیکر و همکارران، 2004).
اعتبارسنجی

اسلاید 6 :

حتی اگر همخوانی خوبی میان مقادیر پیشبینی شده و مقادیر اندازهگیری شده مشاهده شود، بهدلیل پدیده نادیده گرفتن خطا میان مدلهای خرده سیستمها، این امکان وجود دارد که مدل باز هم کیفیت ضعیفی داشته باشد. این مسئله میتواند با پدیده برازش بیرویه در فرایند کالیبراسیون مدلها مرتبط باشد. در چنین حالتی، مدلساز هنگام کالیبراسیون مدلها، به سازوکار کنترلکنندهای برای ممانعت از برازش بی رویه مدل نیازمند است.
براساس پیچیدگیهای سیستمهای اکولوژیک و محیط زیستی، برای مدلساز این امکان وجود دارد که اعتبارسنجی مدل را بهصورت سلسله مراتبی به انجام رساند. در رهیافت سلسله مراتبی، یک سیستم خواه اکولوژیک یا محیط زیستی باشد، دربرگیرنده خرده سیستم، اجزاء و یگان است. دادههای جمعآوری شده در هر سطح از این سطوح سلسله مراتبی دربرگیرنده کار اندازهگیری است که توانایی مدل ابداعی را در پیشبینی دستخوش چالش میکند.

اسلاید 7 :

برای کاهش احتمال حذف خطا در پیش بینی یک سیستم، لازم است اعتبارسنجی یک مدل نخست در سطح یگان، سپس بهترتیب در سطوح بالاتر، یعنی خرده سیستم و سپس سیستم به انجام برسید. از سوی دیگر، وجود محدودیت زمانی و مالی ممکن است مانع آن شود که مدلساز بتواند کار اعتبارسنجی مدل را برای هر یک از سطوح سلسله مراتبی همچون یگان، خرده سیستمها و کل سیستم به انجام برساند. در چنین حالتی، انجام تحلیل حساسیت از مدلی که برای کل سیستم ابداع شده است، میتواند به مدلساز نشان دهد که کدام یک از سطح سلسله مراتبی نقش مهمتری در خروجی مدل ابداعی دارند.

2. فرایند اعتبارسنجی
مدلساز با توجه به میزان دادههای دسترس، لازم است مجموعه دادههای در اختیار را با نسبت 60-40 درصد یا 70-30 درصد به دو زیرمجموعه داده تقسیم کند؛ از زیر مجموعه داده بزرگ که 70-60 درصد دادهها را دربرمیگیرد، برای کالیبراسبون مدل و در نهایت ابداع مدل بهره گیرد. از زیر مجموعه داده کوچک که تعداد آن میتواند بین 30 تا 40 درصد مجموعه داده باشد، برای اجرای مدل و اعتبارسنجی آن بهرهگیری کند.

اسلاید 8 :

براساس شکل 5-1 مدل‎ساز باید از زیرمجموعه داده کوچک که 40-30 درصد کل مجموعه داده در دسترس را شامل میشود، برای اعتبارسنجی مدل بهره گیرد، بطوریکه با وارد کردن آن به مدل ابداعی، مدل را به اجرا میگذارد. پس از آن، خروجی مدل استخراج میشود. در این گام لازم است سنجههای مربوط به اعتبارسنجی، محاسبه شوند. سپس مدل‎ساز باید سنجههای اعتبارسنجی را با مقادیر استاندارد آنها مقایسه کند و به قضاوت کیفی در مورد میزان اعتبار مدل دست یابد.

3. روشهای اعتبارسنجی مدل
بهطور کلی، رهیافتهای ارزیابی اعتبار مدل را میتوان به دو دسته کلی زیر طبقهبندی کرد؛
- اعتبارسنجی مدل به روشهای گرافیکی
- اعتبارسنجی مدل به کمک سنجه

اسلاید 9 :

اعتبارسنجی

اسلاید 10 :

3-1 اعتبارسنجی مدل به روش گرافیکی
بهکارگیری رهیافت تحلیل گرافیکی مدل بهویژه در علوم محیط زیست توجه زیادی را به خود جلب کرده است (هیل و تروکانو، 1999). تکنیکهای گرافیکی به مدلساز اجازه میدهند تا به صورت ذهنی و کیفی به ارزیابی اعتبار مدل بپردازد. با وجود زیاد بودن تعداد سنجههای تکوینی برازش، وارسی -دیداری همچنان گامی بنیادین در اعتبارسنجی مدلها بهشمار می رود، زیرا وارسی -دیداری مدل به مدلساز اجازه میدهد تا چگونگی کارکرد مدل را با توجه به تغییرات زمانی بررسی کند. این کار، تحلیل پویایی زمانی کارکرد مدل نیز خوانده میشود که از راه آن میتوان به آسانی الگوهای رخداد خطا را در مدل تعیین و تحلیل کرد.
در اغلب موارد این تکنیکها براساس مقایسه گرافیکی میان مقادیر پیشبینی شده و مقادیر اندازهگیری شده هستند. بهطورکلی، روش گرافیکی اعتبارسنجی مدل را میتوان به سه دسته زیر تقسیم کرد (بیوندی و همکاران، 2012).
اعتبارسنجی

اسلاید 11 :

3-1-1. روش نمودار یک به یک

این نوع نمودارها برای مدل‎ساز، امکان تفسیر را به راحتی فراهم میآورند و میتوانند مرجع عینی برای اعتبارسنجی مدل باشند (اشتایربرگ و همکاران، 2010). در این روش، مقادیر پیشبینی شده توسط مدل بر روی محور x و مقادیر مشاهده شده بر روی محور y ترسیم میشود. پس از نمایش مقادیر پیشبینی شده و مقادیر مشاهده شده روی نمودار، خط 1:1 ترسیم میشود، سپس معادله رگرسیون میان مقادیر پیشبینی شده و مقادیر مشاهده شده و ضریب تعیین آن نیز محاسبه میشود. (هیل و تروکانو، 1999؛ بیوندی و همکاران، 2012)(شکل 5-2).

چنانچه مدل ابداع شده بتواند بهطور کامل تمام مقادیر مشاهده شده را پیشبینی کند، تمام نقاط در نمودار روی خط (1:1) قرار خواهند گرفت و فاصله از مبدا و شیب معادله رگرسیون بهترتیب برابر صفر و یک خواهد بود. پس از آن، باید با بهرهگیری از آزمون آماری تعیین کرد که آیا شیب معادله رگرسیون و عرض از مبداء، تفاوت معنیداری با مقادیر صفر و یک دارند (رکهاو و همکاارن، 1990).

اسلاید 12 :

نکته دیگر، محاسبه و ترسیم نوار خطا روی نمودار ابرنقاط است (شکل 5-2ب). نوار خطا، در واقع دربرگیرنده تاثیرات وجود عدم قطعیت در اندازهگیری و خود مدل است که بر روی مقادیر پیشبینی شده به تصویر کشیده میشود (پترسن و کرچر، 1998). در گام آخر، مدلساز میتواند پس از شمارش تعداد نقاطی که نوارهای خطا آنها را پوشش نمیدهد، در مورد اعتبار مدل قضاوت کند. بطوریکه اگر بیش از 75 درصد نقاط پیشبینی شده توسط مدل در حدود اعتماد 95 درصد (که روی نمودار ترسیم شده است) قرار گرفته باشد، میتوان مدل را معتبر دانست (رایکبل، 1996).

اسلاید 13 :

نمودار یک به یک مقادیر مدلسازی شده و مقادیر مشاهداتی

اسلاید 14 :

3-1-2. نمودار مقادیر باقیمانده
یکی از رهیافتهای مرسوم برای تحلیل اعتبار مدل، پرداختن به مقادیر باقی مانده است (هیل و تروکانو، 1999). براساس تعریف، مقدار باقیمانده، عبارت است از تفاوت میان مقدار پیشبینی شده با مقدار اندازهگیری شده است که میتوان آن را بهصورت رابطه 5-1 نشان داد:
رابطه 5-1 ei=yi-ȳ که در آن
e: میزان تفاوت (خطا) به ازای مشاده i ام
yi: مقدار مشاهده شده (اندازهگیری شده) و
ȳ: مقدار پیشبینی شده است.
برای استفاده از مقادیر باقیمانده برای تحلیل گرافیکی اعتبار مدل لازم است گامهای زیر برداشته شود.

گام نخست: اجرای مدل
پس از ابداع مدل، لازم است با استفاده از زیرمجموعه کوچکی از دادهها، که در بخش 5-2 شرح داده شده است، مدل را اجرا کرد تا مقادیر پیشبینی شده بهدست آید.

اسلاید 17 :

بر اساس شکل 5-3، برای یک مدل مفروض میتوان شش حالت گوناگون پراکنش نقاط متناظر مقادیر خطای استاندارد شده و مقادیر پیشبینی شده را انتظار داشت. بر اساس یک اصل، مدلی را میتوان خوب دانست که پراکنش نقاط متناظر مقادیر خطای استاندارد شده و مقادیر پیشبینی شده آن در حول محور صفر یکسان و فاقد هر گونه الگویی باشد (شکل 5-3 الف).

از سوی دیگر، شکل 5-3 ب نشاندهنده مدلی است که دارای اریب ولی پراکنش همسان است. این مسئله ممکن است بهواسطه متغیری باشد که در آزمایش و سپس در فرایند مدل سازی در نظر گرفته نشده است؛ بطوریکه مقادیر باقیمانده (خطا) استاندارد شده از الگوی ویژهای پیروی میکند. در چنین حالتی، معمولا تغییر شکل یک متغیر (ایجاد تراریختگی در مقادیر یک متغیر) میتواند مشکل اریبی را در مدل حل کند. شکل 5-3 د یک مدل نااریب را نشان میدهد اما دارای پراکنش ناهمسان است. میزان انحراف معیار در سمت چپ نمودار اندک، ولی در سمت راست نمودار بسیار زیاد است.

اسلاید 19 :

3-2. اعتبارسنجی مدل با بهکارگیری سنجه
بر اساس تعریف، سنجه ارزیابی اعتبار مدل شاخصی کمی است که میزان همخوانی میان مقادیر پیشبینی شده و مقادیر مشاهداتی (اندازهگیری شده) را نشان میدهد. سنجهها ابزاری سودمند برای انتخاب مدل مناسب از میان چندیدن مدل و نیز قضاوت در مورد میزان بهبود یافتگی در مدل به روز شده، محسوب میشوند (مسر و همکاران، 2010؛ ژیونگ و همکاران، 2009). همچنین میتوان از آنها، برای قضاوت در مورد توان پیشبینی مدل، پیش از بهکارگیری مدلها بهره گرفت (ملک و پرادیس، 2010؛ چن و همکاران، 2008).

روشهای مرسوم اعتبارسنجی مدل، معمولا بر چارچوبهای جبری استوار است که در آن پدیده عدم قطعیت در پیشبینی مدل و مقادیر اندازهگیری شده مدنظر قرار نمی گیرد و تنها تفاوت میان مقادیر پیشبینی شده و مقادیر اندازهگیری شده بهصورت کیفی با استفاده از نمودارهای گرافیکی کنترل میشود (سوگاوارا و همکاران، 2009؛ مایر و باتلر، 1993). قضاوت در مورد میزان همخوانی میان مقادیر پیشبینی شده با مقادیر اندازهگیری شده با بهکارگیری نمودراهای گرافیکی، دقیق نیست و بسته به فرد ارزیاب تغییر میکند (اوبرکامف و تروکانو، 2008)؛ ضمن آنکه در اعتبارسنجی گرافیکی مدل، ویژگی عدم قطعیت نیز در نظر گرفته نمیشود. ویژگیهای مهم یک سنجه برای ارزیابی اعتبار مدل به قرار زیر است:

اسلاید 20 :

1. یک سنجه باید یک شاخص کمی از میزان همخوانی میان مقادیر پیشبینی شده و مقادیر اندازهگیری شده باشد (اوبرکامف و بارون، 2006).

2. یک سنجه باید عینی باشد، به این معنا که به شرط یکسان بودن دادههای مقادیر پیشبینی شده و مقادیر اندازهگیری شده فارغ از ترجیحات فردی ارزیاب، ارزیابی یکسانی از اعتبار مدل در اختیار قرار دهد (فرسن و همکاران، 2008). درضمن، بسیار مطلوب است که سنجه بتواند اعتماد آماری قابل قبولی را با دادههای اندازهگیری شده قابل دسترس (موجود) به دست دهد.

3. سنجه باید میان مدلهایی که دارای مقادیر مشخصی از عدم قطعیتاند، تمایز قائل شود. اگر مدلساز منابع جدید عدم قطعیت را وارد فرایند مدل‎سازی کند، مقدار سنجه نباید بهبود یابد. برای مثال، گسترده کردن توزیع احتمالی یک پارامتر مدل برای بهدست آوردن شانس بیشتر برای در برگرفتن مقادیر مشاهدات فیزیکی.

4. یک سنجه در اندازهگیری میزان همخوانی بین مقادیر پیشبینی شده و مقادیر اندازهگیری شده باید نرمشپذیری داشته باشد. از این رو باید یا دارای ساختار منفرد یا ساختار چندگانهای از متغیرهای کنترل شدنی باشد تا بتوان به کمک آن قابلیت پیشبینی کلی مدل را ارزیابی کرد.