بخشی از پاورپوینت
--- پاورپوینت شامل تصاویر میباشد ----
اسلاید 1 :
دسته بندی
در مسایل دسته بندی یک بردار ورودی X به یکی از K کلاس مجزای Ck اختصاص داده میشود.
برای این کار فضای ورودی به نواحی تصمیم گیری تقسیم بندی میشود که مرزهای آنرا سطوح تصمیم گیری می نامند.
در این فصل مدل هایی بررسی میشوند که سطوح تصمیم گیری از توابع خطی تشکیل میشوند. برای جدا سازی فضای ورودی D بعدی از ابرصفحه های D-1 بعدی استفاده میشود.
اسلاید 2 :
مسایل جدا پذیر خطی
مجموعه داده هایی که با یک سطح تصمیم گیری خطی جداپذیر هستند inear y separab e یا جداپذیر خطی نامیده میشوند.
یک دسته بندی کننده خطی برای دسته بندی داده ها از ترکیب خطی ویژگی ها استفاده میکند.
دسته بندی کننده خطی بسیار سریع عمل میکند و برای داده ها با ابعاد بالا کارائی خوبی دارد. (البته درخت تصمیم میتواند سریعتر عمل نماید.)
اسلاید 3 :
Generative mode s vs. discriminative mode s
دو روش کلی برای تعیین پارامترهای دسته بندی کننده های خطی وجود دارد:
Generative mode s
این روش ها بر اساس مدل سازی توابع چگالی شرطی عمل میکنند نظیر
Naive Bayes c assifier که در آن از فرض استقلال شرطی استفاده میشود.
discriminative mode s
در این روش ها از یک مدل جدا کننده استفاده میشود که سعی در افزایش کیفیت خروجی بر اساس داده های آموزشی دارد. نظیر:
ogistic regression
که در آن مدل بر این اساس بدست می آید که داده مشاهده شده توسط مدلی ساخته شده که توسط خروجی قابل توصیف است
Perceptron
که در آن سعی در کاهش خطای مشاهده شده در داده آموزشی است
Support vector machine
که در آن سعی در افزایش فاصله مرزی سطوح تصمیم گیری و داده های آموزشی است
اسلاید 4 :
تقسیم بندی مدلها به صورت احتمالاتی
Discriminant Functions
Two c ass and Mu ti c ass
east squares for c assification
Fisher’s inear discriminant
Perceptron a gorithm
Probabi istic Generative Mode s
Continuous inputs and max ike ihood
Discrete inputs, Exponentia Fami y
Probabi istic Discriminative Mode s
ogistic regression for sing e and mu ti c ass
ap ace approximation
Bayesian ogistic regression
اسلاید 5 :
تابع هدف
در مسایل دو کلاسی تابع هدف بصورت زیر است:
که مقدارt=0 برای کلاس C1 و t=1 برای کلاس C2 استفاده میشود.
برای مسایل چند کلاسی از یک روش کدینگ 1-of-K برای نمایش کلاسها استفاده میشود. برای مثال در یک مسئله 5 کلاسی یک ورودی متعلق به کلاس 2 بصورت زیر نمایش داده میشود.
اسلاید 6 :
تبدیل رگراسیون خطی به دسته بندی کننده خطی
ساده ترین مدل رگراسیون مدل خطی بصورت زیر است:
در مسایل دسته بندی مقدار y مقادیر گسسته و یا مقدار احتمال ثانویه بین (0,1) به خود میگیرد.
برای این منظور از تابعی به صورت f(.) که تابع activation function نامیده میشود استفاده میشود.
سطوح تصمیم گیری بصورت y(x)=constant خواهند بود که توابع خطی از x هستند. اما در حالت کلی f می تواند غیر خطی باشد.
اسلاید 7 :
تابع جداساز
تابع جدا ساز تابعی است که بردار x را بعنوان ورودی گرفته و در خروجی مقداری متناسب با کلاس Ck تولید میکند.
در حالت دو کلاسی تابع جدا ساز خطی بصورت زیر تعریف میشود.
که در آن w بردار وزن و w0 مقدار بایاس خوانده میشود.
اسلاید 8 :
تعیین تابع جداساز
برای تعیین مقادیر w می توان دو نقطه XA, XB را در روی سطح تصمیم گیری درنظر بگیرید. از آنجائیکه
لذا خواهیمداشت:
در نتیجه بردار w بر هر بردار موجود در صفحه تصمیم گیری عمود خواهد بود. بعبارت دیگر بردار w می تواند جهت صفحه تصمیم گیری را تعیین نماید.
اگر x نقطه ای روی سطح تصمیم گیری باشد خواهیم داشت:
اسلاید 9 :
تعیین تابع جداساز
برای یک نقطه دلخواه x داریم:
که تصویر نقطه x روی صفحه تصمیم گیری است.
با ضرب کردن هر دو طرف در wT و جمع کردن با w0 و استفاده از روابط زیر خواهیمداشت:
اسلاید 10 :
مسایل چند کلاسی
برای مسایلی که K >2 باشد ممکن است بخواهیم دسته بندی را با استفاده از چند دسته بندی کننده 2 کلاسی انجام دهیم. اما اینکار با مشکل مواجه است.
در یک دسته بندی کننده one-versus-a از تعداد k-1 دسته بندی کننده 2 کلاسی استفاده میشود که هر کدام یکی از کلاسها را از سایرین جدا میکند. این امر باعث بوجود آمدن نواحی با دسته بندی مبهم میشود.
در روش one-versus-one از تعداد k(k-1)/2 دسته بندی کننده باینری استفاده میشود که یک دست را از یک دسته دیگر جدا میکند. برای دسته بندی کردن یک نقطه از روش voting برای انتخاب رای اکثریت دسته بندی کننده ها استفاده میشود. اما این امر هم باعث بوجود آمدن نواحی با دسته بندی مبهم میشود.
