دانلود مقاله روش های اماری

بخشی از مقاله

روش های اماری

فصل اول: روش های آماری
اهداف این فصل
• توضیح روش های استنتاج آماری که معمولاً در داده کاوی استفاده می شود.
• تشخیص پارامترهای آماری مختلف به منظور تقریب سازی اختلاف موجود در داده ها.
• توصیف مولفه ها و اصول اساسی ممیز کننده های Navia Bayesian و روش رگرسیون Logistic.
• معرفی مدل های log خطی با استفاده از تحلیل متناظر جداول توافقی.
• بحث و بررسی در مورد مفاهیم آنالیز واریانس (Anova) و تحلیل ممیزی خطی نمونه های چند بعدی.

آمار علم جمع آوری و سازماندهی داده ها و استخراج نتایج از این مجموعه های داده ها است. سازماندهی و توصیف مشخصات عمومی مجموعه داده ها از اهداف آمار توصیفی و چگونگی استخراج نتایج از داده ها، از اهداف استنتاج آماری است. در این فصل، تاکید روی اصول اساسی استنتاج آماری است و عناوین مرتبط دیگر به طور خلاصه و فقط برای درک مفاهیم اساسی توضیح داده خواهد شد.

دامنه این تحلیل ها از تحلیل داده های یک بعدی تا تحلیل داده های چند متغیره تشکیل شده است. علم آمار روش های مختلفی را برای داده کاوی پیشنهاد می کند که شامل انواع مختلف رگرسیون و تحلیل ممیزی مبین می باشد. ایم بازبینی کوتاه از روش های آماری که فرآیند داده کاوی را پیشنهاد می کند همه روش ها را پوشش نخواهد داد و تکنیک هایی که بیشتر در داده کاوی جهان واقعی استفاده می شود بیان شده است.

1. استنتاج آماری
تمام مشاهداتی که در تحلیل آماری مورد استفاده قرار می گیرند، اعم از این که تعداد این مشاهدات متناهی یا غیر متناهی باشند تشکیل دهنده چیزی هستند که ما آن را جامعه می نامیم. این اصطلاح به گروهی از افراد اشیا یا رویدادها اطلاق می شود. تعداد مشاهدات در جامعه به عنوان اندازه جامعه تعریف می شود. عموما جامعه ممکن است متناهی یا نا متناهی باشد، اما در تئوری، جامعه متناهی خیلی بزرگ را نامتناهی فرض می کنیم.

در استنتاج آماری علاقه مندیم هنگامی که مشاهده کلی مشاهدات جامعه غیر ممکن یا غیر عملی است، به نتایجی در مورد جامعه برسیم. به عنوان مثال هنگام مبادرت به تعیین میانگین طول عمر لامپ های روشنایی مارک خاصی، تست همه لامپ ها غیر عملی خواهد بود. بنابراین ما باید به زیر مجموعه مشاهدات جامعه برای تحلیل آماری بسنده کنیم. در آمار مجموعه ای از یک جامعه نمونه نامیده می شود و این بردارهای n بعدی را از مجموعه داده های متناهی توصیف می کند. در

سراسر این کتاب ما این زیر مجموعه از جامعه را مجموعه داده ها می نامیم. ما از جامعه یک مدل آماری می سازیم که به ما در تعمیم استنتاج به جامعه مشابه این جامعه کمک می کند و برای این که برداشت ما از مجموعه داده ها درست باشد باید نمونه ای انتخاب کنیم که نماینده جامعه

باشند. چنانچه سعی به انتخاب مجموعه ای با مناسب ترین اعضای جامعه را داشته باشیم، از آنجایی که یک شیوه ممکن است منجر به استنتاج نادرست و تعمیم آن به جامعه شود و هر رویه ای که موجب زیاد برآورد کردن یا کم برآورد کردن بعضی مشخصات جامعه شود گفته می شود که

به یک طرف متمایل شده است، برای رفع هر گونه انحرافی در روال یا فرآیند نمونه گیری مطلوب است که مجموعه داده ها به طور تصادفی و مستقل انتخاب گردد. هدف اصلی انتخاب نمونه های تصادفی استخراج اطلاعات درباره پارامترهای ناشناخته جامعه است.

ارتباط میان مجموعه داده ها و سیستم ممکن است توسط استدلال قیاسی توصیف شود: از داده های مشاهده شده به دانش یک سیستم ناشناخته (تا حدودی ناشناخته) استنتاج آماری صورت اصلی استدلال مربوط به تحلیل داده ها است. تئوری استنتاج آماری شامل روش هایی برای استنتاج یا تعمیم نتایج به جامعه است. این روش ها در دو دسته اصلی قرار میگیرند: برآورد و آزمون فرضیه ها.

در فرآیند برآورد می خواهیم از یک مقدار محتمل یا بازه ای از مقادیر محتمل به پارامترهای ناشناخته سیستم برسیم، هدف اصلی دستیابی به اطلاعات از مجموعه T برای برآورد یک یا چند پارامتر W که به مدلی از سیستم واقعی تعلق دارد می باشد. (X,w)f. یک مجموعه داده T به وسیله مقادیر n تایی برای متغیرهای x={x1,x2,…,xn} توصیف می شود (صفات موجودیت ها در جامعه):

این عبارت می تواند در یک جدول به عنوان مجموعه ای از نمونه ها با مقادیر متناظر برای هر مشخصه سازماندهی شود. هنگامی که پارامتر های مدل، تخمین زده شوند، می توانیم از آن ها برای پیشگویی در مورد متغیر تصادفی y از مجموعه اولیه صفات Y € X براساس دیگر متغیرها یا مجموعه ای از متغیرها X = X – Y استفاده کنیم اگر Y یک کمیت عددی باشد در مورد رگرسیون صحبت می کنیم و اگر مقادیری از یک مجموعه گسسته، نادرست باشد در مورد بسته بندی صحبت خواهیم نمود.

هرگاه تخمین هایی برای مدل پارامترهای w از مجموعه داده T به دست آوریم، ممکن است از مدل منتج شده برای پیشگویی در مورد Y استفاده کنیم. وقتی که مقدار متناظر بردار X را داریم. اختلاف میان پیشگویی (X,w)f و مقدار واقعی Y خطای پیشگویی نامیده می شود. این خطا باید ترجیحا مقادیر نزدیک به صفر به خود بگیرد. یک برآورد و سنجش کیفیت طبیعی از یک مدل (X,w)f به عنوان یک پیشگویی کننده Y میانگین مربع خطای قابل انتظار برای هر مجموعه داده T است.

آزمون های آماری قصد دارند تا فرض مربوط به مقدار مشخصه جامعه در یک تحلیل از مجموعه داده ها را قبول یا رد کنند. یک فرض آماری یک ادعا یا حدس مربوط به یک یا چند جامعه است. صحت و سقم یک فرض آماری هرگز با اطمینان مطلق قابل بررسی نیست مگر این که همه جامعه را

امتحان کنیم که البته این در حداکثر مواقع غیر عملی است و گاهی اوقات حتی غیر ممکن است. در عوض ما فرض را روی مجموعه داده های انتخاب شده به طور تصادفی امتحان می کنیم. چنانچه مدارک به دست آمده از مجموعه داده متناقض با فرض اظهار شده باشد، آن فرض رد می شود و چنانچه تأیید کننده فرض باشند این موجب پذیرش آن فرض می شود، به طور دقیق تر باید گفت که داده ها مدارک کافی برای رد آن فرض را ندارد. ساختار آزمون فرض با استفاده از عبارت فرض تهی

تنظیم می شود. این بدین معنی است فرضی که بخواهیم تست کنیم با H0 فقط در صورتی که فرض نادرست نباشد رد می شود. رد H0 منجر به پذیرش یک فرض دیگر در جامعه می شود.
در این فصل بعضی روش های تخمین آماری و آزمون فرض با جزئیات بیشتر توضیح داده می شوند. که این روش ها بر پایه تکنیک های کاربردی در فرآیند داده کاوی روی مجموعه داده بزرگ انتخاب شده اند.

2. تشخیص تفاوت ها در مجموعه داده
در تعداد زیادی از وظایف داده کاوی بررسی مشخصه های عمومی بیشتری در مورد مجموعه داده ها هم در مورد گرایش اصلی و هم در مورد پراکندگی آنها یک امر کاملاً مفید است. این پارامترهای ساده از مجموعه داده توصیف گرهای واضحی برای شناخت تفاوت های میان مجموعه های داده مختلف هستند. سنجش های موردی گرایش اصلی شامل میانگین، میانه و مد (نما) و مشخص کننده های پراکندگی شامل واریانس و انحراف معیار می باشد.

متداول ترین و موثرترین سنجش عددی برای مرکز مجموعه داده ها، مقدار میانگین آن است که میانگین حسابی نیز نامیده می شود. برای مجموعه با n مقدار عددی x1,x2,…,xn برای مشخصه معلوم X میانگین عبارت است از:

و این تابع پیش ساخته در ابزارهای نرم افزاری آماری جدید می باشد. برای هر ویژگی عددی در مجموعه نمونه n بعدی، محاسبه مقدار میانگین به عنوان خصیصه گرایش مرکزی برای این ویژگی امکان پذیر است. گاهی ممکن است به هر مقدار Xi در مجموعه وزن Wi اختصاص داده شود که میزان اهمیت یا فراوانی مقدار را منعکس می کند. در این حالت میانگین حسابی وزنی یا مقدار متوسط وزن ها عبارت است از:

اگر چه میانگین مفیدترین مقداری است که ما می توانیم برای مجموعه ای از داده ها در نظر بگیریم، ولی باید توجه داشت که این تنها مقدار ممکن نیست. برای مجموعه داده های نا متقارن، شاخص مرکزی بهتری به نام میانه وجود دارد. اگر تعداد عناصر مجموعه فرد باشد، مقدار میانه مجموعه مرتب شده از مقادیر ویژگی می باشد و در مجموعه با تعداد عناصر زوج برابر است با میانگین دو عدد وسط. اگر x1,x2,…,xn یک مجموعه با n عضو را نشان دهد، به ترتیب صعودی مرتب می گردند و سپس میانه عبارت است از:

سنجش دیگر گرایش مرکزی مجموعه داده ها مد می باشد. مد برای مجموعه ای از داده ها مقداری است که بالاترین فراوانی را در مجموعه داشته باشد. هنگامی که میانه و میانگین مشخصه های مجموعه داده های عددی باشند، مد می تواند بر روی داده های رده بندی نیز اعمال شود. اما این باید با دقت تفسیر گردد. زیرا داده ها مرتب نمی شود. ممکن است بزرگترین فراوانی متناظر با مقادیر مختلف در مجموعه داده باشند. نتیجتا برای یک مجموعه داده بیشتر از یک مد

وجود دارد. بنابراین مجموعه های داده را به صورت تک نمایی و چند نمایی دسته بندی می کنیم. مجموعه داده های چند مدی ممکن است دقیقا به صورت دو نمایی، سه نمایی و غیره نمایش داده شوند. برای منحنی های فراوانی تک نمایی که تا حدودی همواره باشند رابطه تجربی زیر را برای مجموعه های داده عددی داریم:

ممکن است برای یک تحلیل توزیع مجموعه داده ها و برآورد سنجش یک گرایش مرکزی مبتنی بر دو تای دیگر استفاده شود.
به عنوان مثال اجازه دهید این سه مشخصه را روی مجموعه داده های ساده T که شامل مقادیر عددی زیر هستند، تحلیل کنیم:

بعد از فرآیند مرتب سازی مجموعه داده ها عبارت است از:

شاخص ها و سنجش های آماری توصیفی متناظر برای گرایش مرکزی عبارتند از:

درجه که در حقیقت میزان گرایش داده های عددی به انتشار می باشد، پراکندگی داده ای نامیده می شود و متداول ترین سنجش های پراکندگی، انحراف معیار و واریانس می باشند. واریانس n مقدار عددی x1,x2,…,xn به صورت زیر می باشد:

انحراف معیار، ریشه دوم واریانس می باشد. خواص اصلی انحراف معیار به عنوان یک سنجش توزیع و پراکندگی به صورت زیر می باشد.

1. انحراف معیار، پراکندگی مربوط به میانگین را مورد سنجش قرار داده و میتواند تنها زمانی مورد استفاده قرار گیرد که میانگین به عنوان سنجش یک مرکز انتخاب شود.
2. =0σ می باشد تنها زمانی که هیچگونه پراکندگی در داده ها وجود نداشته باشد یعنی زمانی که تمام سنجش ها و اندازه گیری ها دارای مقدار یکسانی باشد، در غیر اینصورت >0σ می باشد.
برای مجموعه داده های ارائه شده در مثال واریانس و انحراف معیار به صورت زیر می باشد

:

در بسیاری از ابزارهای نرم افزاری، یک ابزار تجسم سازی مورد استفاده مرسوم از آمار توصیفی برای گرایش مرکزی مورد سنجش قرار می گیرد و پراکندگی یک ترسیم جعبه ای می باشد که در شکل 1ـ5 ارائه شده است.

3. استنتاج Bayesian
تصور وضعیتی که در آن مجموعه داده ها تنها منابع در دسترس درباره جامعه یا درباره سیستم های تحت مدل سازی باشند کار آن چنان سختی نمی باشد. شیوه Bayesian نشان دهنده روش و راهی است که اطلاعات خارجی را به شکلی با فرآیند تحلیل داده ها مرتبط کند. این فرآیند کار

خود را با توزیع احتمال مشخصی برای مجموعه داده های تحلیل شده شروع می کند. همان گونه که این توزیع قبل از هیچ تفکری در خصوص داده ها، آماده می شود توزیع پیشین نامیده می شود. مجموعه داده جدید توزیع پیشین را به توزیع پسین تغییر می دهد. ابزار اصلی برای این تغییر قضیه بیز است.

قضیه بیز زمینه تئوری را برای شیوه آماری به استنباط استقرایی مسائل رده بندی بیان می کند. ما ابتدا مفاهیم اصلی قضیه بیز را توضیح خواهیم داد و سپس از این قضیه در توضیح فرآیند رده بندی Naïve Bayesian یا رده بندی ساده Bayesian استفاده خواهیم کرد.
فرض کنید X نمونه داده ای است که کلاس آن نامشخص است و فرض کنید که H فرضیه ای باشد که نمونه داده X به کلاس معین c تعلق دارد. ما می خواهیم (H / X)P یعنی احتمال اینکه فرضیه H نمونه داده های مشاهده شده X را برقرار کنند تعیین می کنیم. (H / X)P احتمال پسین نشان

دهنده اطمینان ما در فرض بعد از این که X ارائه شده می باشد. در این مقایسه P(X) احتمال پیشین H برای هر نمونه صرفنظر از چگونگی دیده شده داده در نمونه و احتمال پسین (H / X)P بر پایه اطلاعات بیشتر از احتمال پیشین P(H) می باشد. تئوری بیز برای محاسبه احتمالی پسین (H / X)P از احتمالات P(X) ، P(H) و (X / H)P را استفاده می کنند رابطه اصلی عبارت است از:

فرض کنید یک مجموعه m نمونه ای مانند S = {S1,S2,…,Sm} وجود داشته باشد به نحوی که هر نمونه Si به عنوان یک بردار n بعدی {X1,X2,…,Xn} نشان داده می شود. مقادیر Xi به ترتیب به صفات A1,A2,…An مربوط است. یک نمونه داده X اضافی ارائه شده است. امکان پیشگویی این مسئله وجود دارد که کلاس X بیشترین احتمال شرطی P(Ci / K) را دارا باشد. در جایی که i = 1,…,k این اساس نظریه رده بندهای Naïve Bayesian است که با استفاده از قضیه بیز محاسبه می شود.

P(X) برای تمام کلاس ها ثابت است. فقط نیاز است که حاصل P(Ci). P(X / Ci) به حد

اکثر رسانی شود. ما احتمال پسین کلاس را به صورت زیر محاسبه می کنیم:
تعداد کل نمونه ها / تعداد نمونه های کلاسP(Ci) =
از آن جا که محاسبه P(X / Ci) بینهایت پیچیده است، به ویژه برای مجموعه داده بزرگ استقلال شرطی بین صفات در نظر گرفته می شود. در نتیجه می توان P(X / Ci) را با فرمول زیر بیان کرد.:

به نحوی که Xt مقادیری برای صفات در نمونه X هستند. احتمال P(Xt / Ci) می تواند از مجموعه داده آموزشی تخمین زده شده باشد.
در تئوری رده بند Bayesian حداقل میزان خطا را نسبت به تمام رده بندهای دیگر در داده کاوی داراست. گرچه عملا این موضوع همیشه به علت اشتباه در فرض های صفات و استقلال کلاس شرطی درست نیست.

4. رگرسیون پیشگو
پیشگویی مقادیر پیوسته می تواند توسط تکنیک های آماری که رگرسیون نامیده می شود، مدل سازی شود. هدف تحلیل رگرسیون، تعیین بهترین مدلی است که بتواند متغیر خروجی با متغیرهای ورودی متعدد را تعیین کند. در بیشتر حالات تحلیل رگرسیون فرآیندی است که تعیین کننده چگون

گی ارتباط متغیر Y با یک یا چند متغیر X1,X2,…,Xnباشد. Y معمولا خروجی پاسخ یا متغیر وابسته نامیده می شود و Xi – Y ورودی ها، برگشت کننده ها، متغیرهای توضیحی یا متغیرهای مستقل نامیده می شوند. دلایل عمومی برای انجام تحلیل رگرسیون شامل موارد زیر می باشد.
1. اندازه گیری خروجی برعکس ورودی پرهزینه است و بنابراین سعی می شود یک پیشگویی کم هزینه و ارزان از خروجی انجام شود.

2. مقادیر ورودی قبل از شناخت خروجی شناخته می شوند و یک پیشگویی عملی و کارا از خروجی لازم می باشد.
3. کنترل متغیرهای ورودی ما می توانیم رفتار خروجی های وابسته را پیشگویی کنیم.
4. پیوند سببی میان تعدادی از ورودی ها و خروجی امکان پذیر است و ما می خواهیم این پیوندها را مشخص کنیم.

معمولا بیشترین تکنیک های آماری مورد استفاده مدل های خطی هستند. این مدل ها برای توصیف و شرح ارتباط میان گرایش یک متغیر و مقادیر به کار برده شده توسط چندین متغیر دیگر استفاده می شوند. مدل سازی این نوع از ارتباط اغلب رگرسیون خطی نامیده می شود. برازش مدل ها تنها وظیفه و عملکرد مدل سازی آماری نیست. ما اغلب می خواهیم یکی از چند مدل ممکن را به عنوان بهترین مدل انتخاب کنیم. یک روش انتخاب از میان مدل های مختلف تحلیل واریانس می باشد که در بخش 5 توضیح داده شده است.

رابطه ای که بر مجموعه داده ها منطبق می باشد توسط مدل پیشگویی که معادله خط رگرسیون نامیده می شود مشخص گردد. مدل رگرسیونی که بیشتر استفاده می شود مدل خطی عمومی است که به شکل زیر نوشته می شود:

با به کار بردن این معادله برای هر نمونه معلوم و مشخص یک معادله جدید به دست می آید:

به نحوی که در این جا، خطاهای رگرسیون به ازای m نمونه است. مدل خطی از آن جهت خطی نامیده می شود که Yj یک تابع خطی است یعنی مجموع وزنی از مقادیر ورودی.
رگرسیون خطی با یک متغیر ورودی ساده ترین شکل رگرسیون است که متغیر تصادفی Y را به عنوان تابع خطی از متغیر تصادفی X دیگر مدل سازی می کند. برای نمونه به شکل (X1,Y1),(X2,Y2),…,(Xn,Yn) به ازای Xi € X و Yi € Y رگرسیون خطی عبارت است از:

به نحوی که α و β ضریب رگرسیون هستند. با فرض این که واریانس Y ثابت است این ضرایب می توانند با روشی حداقل مربعات حل شود تا خطای بین داده های واقعی و خطای تخمین زده شده را به حداقل رسانند. باقیمانده مجموع مربعات اغلب مجموع مربعات انحراف از خط رگرسیون نامیده می شود که با SSE مشخص می شود.

به نحوی که Yi مقدار خروجی واقعی مورد نظر در مجموعه داده ها است و Yi جواب حاصل از این مدل با مشتق گیری از SSE نسبت به α و β می باشد:

مشتقات جزیی را معادل صفر قرار می دهیم معادلات زیر به دست می آید:

که از حل این دو معادله دو مجهول α و β محاسبه می شود. ضریب همبستگی برای این حالت ساده عبارت است از:

به نحوی که mean x و mean y مقادیر میانگین متغیر تصادفی X و Y یک مجموعه داده هستند. لازم به یادآوری است که مقادیر α و β یک مجموعه معلوم فقط برای پارامترهای واقعی کل جامعه برآورد هستند. معادله و xβ+α y = ممکن است برای پیشگویی میانگین Y0به ازای ورودی X0 استفاده شود که لزوماً در نمونه های مجموعه آغازی وجود ندارد.

تلاش اصلی به کارگیری تکنیک رگرسیون چندگانه در تعریف متغیر های مستقل مربوط از مجموعه اولیه و انتخاب مدل رگرسیونی است که فقط استفاده کننده متغیرهای مربوط هستند. دو شیوه و رهیافت برای این فعالیت وجود دارد:
1. شیوه جست و جو دنباله ای: که شامل اصول ساخت مدل رگرسیون با مجموعه اولیه ای از متغیرها و سپس اضافه یا حذف متغیرها تا وقتی که معیار رضایت بخش یا بهینه شود.
2. شیوه ترکیبی: که از نظر ماهیتی یک شیوه brute-force است. در حالی که در میان همه ترکیبات ممکن متغیرهای مستقل برای تعیین بهترین مدل رگرسیون جست و جو انجام می شود.
صرفنظر از اینکه شیوه ترکیبی یا دنباله ای استفاده می شود حداکثر بهره وری در ساخت مدل از یک درک مناسب از دامنه کاربرد ناشی می شود.

مراحل پس پردازش های اضافی امکان برآورد کیفی از مدل رگرسیون خطی را ممکن می سازد. تحلیل همبستگی مبادرت به اندازه گیری میزان استحکام ارتباط میان دو متغیر را دارد. پارامتری که این میزان استحکام وابستگی خطی میان دو متغیر را با یک عدد نشان می دهد ضریب همبستگی نامیده می شود. محاسبه آن نیازمند تعدادی نتایج میانی در یک تحلیل رگرسیون است.

در این جا مقدار r بین 1 و 1- است مقادیر منفی برای r خطوط رگرسیون با شیب منفی و r مثبت تا شیب مثبت را نشان می دهد. ما باید در تفسیر مقدار r دقت کنیم.

5. تحلیل واریانس
اغلب مسائل تحلیلی بررسی کیفیت خط رگرسیون تخمین زده شده و تأثیر متغیرهای مستقل در رگرسیون نهایی از طریق شیوه تجزیه واریانس مورد بررسی قرار می گیرد. این رویه که مجموع اختلافات در متغیرهای وابسته را به عناصر معنی دار تقسیم می کند در یک مدل سیستمی مشاهده و به صورت متقارن با آن عمل می شود. تحلیل واریانس یک ابزار قوی در بعضی مباحث داده کاوی می باشد.

تحلیل واریانس یا ANOVA یک روش تعیین ضریب B با مقدار غیر صفر در مدل رگرسیون خطی می باشد. فرض کنید پارامتر B قبلاً به وسیله الگوریتم کمترین توان دوم خطا تخمین زده شده است آنگاه باقیمانده از اختلاف مقادیر خروجی قابل مشاهده و مقادیر برازش شده محاسبه می شود که به صورت فرمول زیر می باشد:

اندازه و مقدار باقیمانده برای همه m نمونه در مجموعه داده به واریانس σ ارتباط دارد و با فرمول زیر تخمین زده می شود:

با فرض این که عبارت فوق یک مدل غیر پارامتری باشد، صورت مجموع تفاضل ها نامیده می شود و مخرج درجه آزادی باقیمانده نامیده می شود.
عبارت S2 اجازه مقایسه مدل های خطی متفاوت را به ما می دهد. اگر مدل برازش شده مناسب باشد آنگاه S2 یک تخمین درست برای σ می باشد. اگر در مدل برازش شده عبارت اضافی و زائد داشته باشیم آنگاه S2 هنوز یک تخمین مناسب و نزدیک به σ2 می باشد. تنها اگر در مدل برازشی

یک یا چند ورودی نداشته باشیم مقدار S2 از مقدار حقیقی σ2 اهمیت بیشتری خواهد داشت. این معیار ها گام های تصمیم اصلی در الگوریتم ANOVA می باشد به نحوی که تأثیر متغیرهای ورودی در مدل نهایی تحلیل و بررسی می شود. در این مدل ابتدا با تمام ورودی ها شروع می کنیم و S2 را محاسبه می کنیم و سپس ورودی ها را یکی یکی حذف کنیم در تخمین ما تأثیر چندانی نخواهد

داشت. حذف یک ورودی در مدل باعث گرایش β به سمت صفر می شود و در اصل در هر تکرار دو مقدار برای S2 محاسبه و اختلاف بین آن ها بررسی و تحلیل می شود. برای این منظور یک آزمون –F نسبت یا –F آمار به شکل زیر معرفی می شود:

اگر مدل جدید مناسب باشد F با مقدار یک بسته خواهد شد و در صورتی که مقدار به طور معنی داری از یک بزرگتری باشد مدل معنی داری نیست. با استفاده از مدل مکرر تکراری ANOVA می توانیم تعیین کنیم در چه حالتی متغیرهای مستقل به پاسخ ها مرتبط هستند و در چه حالتی مرتبط نیستند. اگر مدل های مورد مقایسه تودرتو باشند، تحلیل ANOVA تنها مدل موثر و معتبر می باشد. به عبارت دیگر یک مدل حالت خاصی از دیگری است.

در اینجا مجموعه داده با سه متغیر مستقل X3,X2,X1 و یک خروجی Y را در نظر بگیرید برای به کارگیری روش رگرسیون خطی لازم است تا یک مدل ساده با تعدادی متغیر مستقل تخمین بزنیم.

نتایج تحلیل ANOVA چنین نشان می دهد به علت اینکه مقدار نسبت F- نزدیک به یک است صفت ورودی X3 برای تخمین پاسخ کافی نبوده و اثر گذار نمی باشد.

به عبارت دیگر زیر مجموعه های متغیرهای مستقل اهمیت F- را افزایش می دهد و بنابراین کاهش تعداد ابعاد متغیرهای مستقل بدون اهمیت چگونگی مدل غیر ممکن است. مدل رگرسیون نهایی برای این مثال به صورت زیر محاسبه می شود:

تحلیل چند متغیره واریانس یک تعمیم از تحلیل ANOVA توضیح داده شده قبلی است که به تحلیل داده ها اهمیت می دهد و پاسخ به جای یک مقدار منفرد یک بردار است. یک راه تحلیل این نوع از داده ها این است که هر عنصر پاسخ به صورت جداگانه مدلسازی شوند، اما این مسئله از رابطه بین خروجی ها صرفنظر می کند. به عبارت دیگر در این روش فرض کنید که پاسخ ها هیچ ارتباطی

با یکدیگر ندارند. تحلیل چند متغیره واریانس، شکلی از تحلیل است که برای ارتباط بین پاسخ ها و در حقیقت همبستگی بین آن ها به کار می رود. یک تعداد متغیر مستقل و پاسخ ارائه شده است. حالا با یک مجموعه داده قابل دسترس مدل خطی چند متغیره را تحلیل می کنیم.

در این مجموعه n تعداد ابعاد متغیر مستقل m تعداد نمونه ها، Yj یک بردار با ابعاد c * 1 و c تعداد پاسخ ها است. این مدل طوری برازش داده شده است که در آن از روش حداقل مربعات برای برآورد پارامترها دقیقا مثل مدل خطی استفاده شده است. یک روش برای این برازش انطباق یک

مدل خطی به هر C بعد هر پاسخ و خروجی می باشد. باقیمانده متناظر برای هر بعد به صورت (Yj - Ýj) می باشد به نحوی که Yj مقدار دقیق و Ýj مقدار برآورد شده برای هر بعد می باشد.
نظیر مجموع مربعات باقیمانده مدل خطی تک متغیره ماتریسی از مجموع مربعات باقیمانده های مدل خطی چند متغیره می باشد.