بخشی از پاورپوینت
اسلاید 2 :
داده های پرت
سمینار کلاسی مدلهای خطی 1
اسلاید 3 :
فهرست مطالب
اسلاید 4 :
روشهای تشخیص دادههای پرت
دلایل توجه به دادههای پرت
دلایل ایجاد دادههای پرت
تعریف
روشهای برخورد با داههای پرت
تعریف
یک داده پرت مشاهدهای است که به طور غیر عادی یا اتفاقی از وضعیت عمومی دادههای تحت آزمایش و نسبت به قاعدهای که بر اساس آن آنالیز میشود انحراف داشته باشد.
داده پرت به دادهای اطلاق میگردد که معمولا در یک مجموعه داده نسبت به سایر مقادیر موجود بزرگتر یا کوچکتر است.
دادههای پرت دادههایی هستند که با سایر دادهها تفاوت دارند و این تفاوت به حدی است که به نظر میرسد این دادهها توسط توزیع یا مکانیزم متفاوتی از سایر دادهها تولید شدهاند.
کاربرد دادههای پرت
اسلاید 5 :
تعریف
دلایل ایجاد دادههای پرت
دلایل توجه به دادههای پرت
انواع دادههای پرت
روشهای تشخیص دادههای پرت
روشهای برخورد با داههای پرت
کاربرد دادههای پرت
اسلاید 8 :
غیر صحیح بودن اندازهگیری دادههای مشاهده
از کار افتادن وسیله اندازهگیری
پاسخگو به هر دلیلی قادر به پاسخگویی نباشد
اسلاید 9 :
دلایل توجه به دادههای پرت
اولا آنها باعث افزایش واریانس خطا و کاهش توان آزمون می گردند.
دوم؛ اگر به طور تصادفی توزیع نیافته باشند، باعث برهم زدن نرمال بودن دادهها میشوند و از این رو مفروضهی نرمال بودن توزیع دادهها را از بین میبرند و احتمال وقوع خطاهای نوع اول و دوم را به شدت افزایش می دهند. این مسئله در مورد تحلیلهای چند متغیره که نیازمند مفروضات کرویت و نرمال بودن چند متغیره است اهمیت بیشتری پیدا میکند.
سومین عامل مؤثر دادههای پرت در برآورد اریب پارامترها است.
اسلاید 10 :
انواع دادههای پرت
1-دادههای پرت عمومی:
به دادههایی اطلاق میگردد که با فاصله قابل توجهی از از سایر دادهها قرار دارند.
2-دادههای پرت زمینهای ( دادههای پرت مشروط) :
به دادههایی اطلاق میگردد که بسته به شرایط آن دادهها میتوااند پرت باشند یا نباشند . برای مثال دمای هوای 40 درجه سانتیگراد برای شهر تهران در فصل زمستان داشته باشیم یک دادهی پرت محسوب میشود، در صورتی که همین دما در تابستان یک دادهی معمولی است.
3-دادههای پرت جمعی:
به دادههایی اطلاق میگردد که بصورت دسته جمعی منحرف از سایر دادهها قرار دارند. جالب آنکه ممکن است این دادهها انحراف نداشته باشند.
اسلاید 11 :
معرفی مدل و نمادهای استفاده شده:
اسلاید 18 :
روشهای برخورد با داههای پرت
بعد از شناسایی داده های پرت باید در مورد نحوه ی برخورد با آنها تصمیم گرفته شود. در صورتی که تعداد این داده ها زیاد نباشد می توان آنها را از فرایند تحلیل کنار گذاشت. به این روش حذف گفته می شود. اگر تعداد این داده ها زیاد باشد یا محقق به هر دلیلی بخواهد از اطلاعات موجود از آنها استفاده کند می تواند راههای زیر را انتخاب نمایید:
1) خلاصه سازی: در این روش داده های پرت به آخرین داده ی قابل قبول انتقال می یابند یعنی سر و ته داده های زده می شود و د اده های پرت به آخرین داده ی قانونی تغییر می یابند.
) استفاده از توزیع های دم کلفت2
3) راه سوم استفاده از تکنیک های آماری است که نسبت به داده های پرت حساس نیستند مثلا استفاده از برآوردگر M ،حداقل میانهی مجذورات، حداقل مجذورات پیرایش شده، میانگین پیراسته شده(Trimmed mean)، میانگین ویندسورنر و .
اسلاید 19 :
در توزیع نرمال دادههایی که دور از میانگین قرار دارند و شانس کمی برای قابل قبول بودن دارند را میتوان با برازش دادن (fit) توزیع t و یا پیرسون و . برای همین داده ها شانس بیشتری برای مقبول بودن دادهها ارائه می دهد.
استفاده از توزیعهای دم کلفت
