بخشی از پاورپوینت
--- پاورپوینت شامل تصاویر میباشد ----
اسلاید 1 :
رئوس مطالب
1- تئوری تصمیم بیز
2- توابع تمایز و سطوح تصمیم
3- طبقه‌بندی بیزین برای توزیع‌های نرمال
4- تخمین توابع چگالی احتمال نامعلوم
5- قاعده نزدیکترین همسایه
6- شبکه‌های بیزین
اسلاید 2 :
1- تئوری تصمیم بیز
هدف طراحی طبقه‌بندی جهت قراردادن یک الگوی ناشناس در محتمل‌ترین کلاس
فرض M کلاس از ω1، ω2، ...، ωM موجود بوده و یک بردار ویژگی ناشناس x داریم.
M احتمال شرطی بصورت P(ωi|x), i =1, 2, …, M را تشکیل می‌دهیم، این توابع احتمال شرطی را احتمالات پسین نیز می‌نامند
هر احتمال‌پسین بیانگر میزان تعلق بردار x به کلاس ωi میباشد
محتمل‌ترین کلاس می‌تواند برابر اندیس احتمال شرطی بیشینه باشد و x به آن تعلق دارد
کار طراحی با تخمین توابع چگالی احتمال (pdf) از روی بردارهای ویژگی مجموعه داده آموزش شروع می‌شود
برای سادگی، مسئله دو کلاسه را در نظر بگیرید (ω1، ω2) و احتمال پیشین اتفاق هر کلاس نیز معلوم فرض می‌شود
حتی اگر اینگونه نبود، به آسانی قابل تخمین‌زدن می‌باشند (غیر دقیق)
اسلاید 3 :
توابع چگالی احتمال شرطی کلاس، P(x|ωi), i =1, 2، بیانگر توزیع هر بردار ویژگی در کلاس مربوطه، قابل تخمین توسط داده آموزش؛ این تابع بعنوان تابع همانندی (likelihood function) نیز شناخته می‌شود
طبق قاعده بیز
قاعده طبقه‌بندی بیز
با جایگزینی قاعده بیز در رابطه طبقه‌بندی، داریم
همانطور که می‌بینیم، به P(x) در رابطه نهایی احتیاجی نیست و اگر احتمال پیشین وقوع کلاسها را برابر در نظر بگیریم داریم:
اسلاید 4 :
طبق قاعده تصمیم بیز، بازای تمام مقادیر x در R1 بردار ویژگی متعلق به کلاس یک و در غیر اینصورت به کلاس دو تعلق دارد
بوضوح از روی شکل، خطاهای تصمیم‌گیری غیرقابل اجتناب می‌باشند
اسلاید 5 :
باتوجه بشکل، خطای تصمیم برابر است با
هدف در طراحی طبقه‌بند بیز، حداقل کردن خطای تصمیم‌گیری میباشد
حداقل کردن احتمال خطای طبقه‌بندی
از لحاظ کمینه احتمال خطا، طبقه‌بند بیز بهینه میباشد
P(.,.) احتمال توام دو رویداد، طبق قانون بیز
خطا کمینه است اگر R1 و R2 بصورت زیر تعریف شوند
اسلاید 6 :
از سویی دیگر، R1 و R2 کل فضای ویژگی را پوشش میدهند و داریم
بدیهی است، تنها در صورتی خطا کمینه خواهد بود که در ناحیه R1
در حالت M کلاسه، بردار ویژگی x متعلق به کلاس ωi میباشد هرگاه
حداقل کردن متوسط خطرپذیری (Average risk)
احتمال خطای طبقه‌بندی همواره بهترین معیار نیست
اسلاید 7 :
بدلیل نسبت‌دادن اهمیت یکسان به تمام خطاها، مثال خطر تشخیص اشتباه یک بیمار با تومور بدخیم بعنوان خوشخیم (منجر به مرگ بیمار و بالعکس خیر)
راه حل، اختصاص یک جریمه (پنالتی) بعنوان وزن برای هر خطا؛ فرض ω1 کلاس بیماران سرطانی و ω2 افراد سالم، همچنین نواحی مربوطه بترتیب R1 و R2
هدف کمینه کردن تابع خطرپذیری زیر
انتخاب منطقی بصورت λ12> λ21 خواهدبود
در مسئله M کلاسه با نواحی تصمیم Rj, j = 1, 2, …, M فرض میکنیم بردار x از کلاس ωk در Ri, i≠k قرار گیرد.
مقدار جریمه λki بنام تلفات به این تصمیم اشتباه اختصاص می‌یابد، ماتریس تلفات L با درایه‌های (k,i) مبین مقدار جریمه تشکیل‌می‌شود، و مقدار خطرپذیری یا تلف کلاس k
اسلاید 8 :
در رابطه قبلی، احتمال قرارگیری بردار ویژگی x از کلاس k در کلاس i محاسبه می‌شود
هدف انتخاب یک یک ناحیه تصمیم Rj جهت کمینه کردن متوسط rk میباشد
رابطه بالا کمینه است اگر هریک از انتگرالها کمینه باشد
اگر λki= 1- δki باشد، آنگاه حداقل‌متوسط‌خطرپذیری معادل با حداقل احتمال طبقه‌بندی خواهدبود. در حالت دو کلاسه داریم
آنگاه x به ω1 اختصاص دارد، اگر l1 < l2 باشد
اسلاید 9 :
طبیعی است که λij>λii باشد، قاعده تصمیم بنام نسبت همانندی برای دو کلاس
بطور معمول، عناصر قطری ماتریس تلفات را صفر در نظر می‌گیرند، حال اگر بخواهیم طبقه‌بندی اشتباه الگوهای کلاس 2 در کلاس 1 عواقب وخیم بهمراه داشته باشد، آنگاه بایستی λ21>λ12
در رابطه بالا، احتمال وقوع کلاسها برابر فرض شده‌اند.
مثال: برای یک مسئله دوکلاسه، با فرض احتمال گوسی برای بردار ویژگی x با σ2 = ½ و میانگین صفر و یک بترتیب برای هر کلاس، مقدار آستانه را برای کمینه احتمال خطا و خطرپذیری با ماتریس تلف زیر حساب نمایید.
اسلاید 10 :
الف) کمینه احتمال خطای طبقه‌بندی
ب) کمینه متوسط خطرپذیری
نتیجه: آستانه در حالت دوم کوچکتر شده و ناحیه تصمیم گسترش یافت. بوضوح، برای محتمل‌ترین کلاس خطای کمتری خواهیم‌داشت
2- توابع تمایز و سطوح تصمیم
کمینه کردن توابع هدف در تصمیم‌گیری معادل با قسمت‌بندی صفحه ویژگی به M ناحیه بمنظور کار طبقه‌بندی M کلاسه میباشد
