تحلیل تفکیک خطی

از ویکی‌پدیا، دانشنامهٔ آزاد
پرش به: ناوبری، جستجو

تحلیل تفکیک کننده خطی (به انگلیسی: Linear Discriminant Analysis، به طور مخفف LDA) و تفکیک کننده خطی فیشر روش‌های آماری هستند که از جمله در یادگیری ماشین برای پیدا کردن ترکیب خطی خصوصیاتی که به بهترین صورت دو یا چند کلاس از اشیا را از هم جدا می‌کند، استفاده می‌شوند.

تحلیل تشخیص خطی بسیار به تحلیل واریانس و تحلیل رگرسیونی نزدیک است؛ در هر سهٔ این روش‌های آماری متغیر وابسته به صورت یک ترکیب خطی از متغیرهای دیگر مدل‌سازی می‌شود.[۱][۲] با این حال دو روش آخر متغیر وابسته را از نوع فاصله‌ای در نظر می‌گیرند در حالی که تحلیل تشخیص خطی برای متغیرهای وابستهٔ اسمی یا رتبه‌ای به کار می‌رود.[۳] از این رو تحلیل تشخیص خطی به رگرسیون لجستیک شباهت بیشتری دارد.

تحلیل تشخیص خطی همچنین با تحلیل مؤلفه‌های اصلی و تحلیل عاملی هم شباهت دارد؛ هر دوی این روش‌های آماری برای ترکیب خطی متغیرها به شکلی که داده را به بهترین نحو توضیح بدهد به کار می‌روند[۴] یک کاربرد عمدهٔ هر دوی این روش‌ها، کاستن تعداد بعدهای داده است. با این حال این روش‌ها تفاوت عمده‌ای با هم دارند: در تحلیل تشخیص خطی، تفاوت کلاس‌ها مدل‌سازی می‌شود در حالی که در تحلیل مؤلفه‌های اصلی تفاوت کلاس‌ها نادیده گرفته می‌شود.

LDA ارتباط تنگاتنگی با تحلیل واریانس و تحلیل رگرسیون دارد که سعی دارند یک متغیر مستقل را به عنوان ترکیبی خطی از ویژگی های دیگر بیان کنند. این متغیر مستقل در LDA به شکل برچسب یک کلاس است. همچنین LDA ارتباطی تناتنگ با تحلیل مولفه های اصلی PCA دارد. چرا که هر دو متد به دنبال ترکیبی خطی از متغیرهایی هستند که به بهترین نحو داده ها را توصیف می کنند. LDA همچنین سعی در مدلسازی تفاوت بین کلاس های مختلف داده ها دارد. از LDA زمانی استفاده می شود که اندازه های مشاهدات، مقادیر پیوسته باشند.[۵][۶]

LDA برای دو کلاس[ویرایش]

مجموعه ای از مشاهدات را به نام { \vec x } برای هر نمونه از یک شی یا پدیده با کلاس شناخته شده y در نظر بگیرید. این مجموعه از نمونه ها مجموعه آموزش نامیده می شود. مساله دسته بندی پیدا کردن یک پیش بینی کننده (predictor) برای هر کلاس از همان توزیع (نه لزوما از مجموعه آموزش) داده شده از مجموعه مشاهده x است.[۷]:338. LDA با این فرض که تابع چگالی احتمال شرطی و هر دو دارای توزیع نرمال با پارامترهای میانگین و کواریانس و هستند. با این فرضیات، اگر لگاریتم نسبت همانندی کمتر از مقدار آستانه T باشد، راه حل بهینه bayes، پیش بینی می کند که نقاطی از کلاس دوم هستند، یعنی:

  (\vec x- \vec \mu_0)^T \Sigma_{y=0}^{-1} ( \vec x- \vec \mu_0) + \ln|\Sigma_{y=0}| - (\vec x- \vec \mu_1)^T \Sigma_{y=1}^{-1} ( \vec x- \vec \mu_1) - \ln|\Sigma_{y=1}| \ < \ T 

بدون هیچ فرض اضافه¬ای دسته بندی کننده حاصل به عنوان QDA (Quadratic discriminant analysis) شناخته می شود. LDA علاوه براین ها فرض ساده کننده همواریانسی(Homoscedasticity) (یعنی برابری کواریانس کلاسها، ) و کواریانس ها full rank هستند. در این مورد، اصطلاحات گوناگون باطل می شوند و معیار تصمیم آستانه ضرب نقطه ای زیر خواهد بود:

 \vec w \cdot \vec x > c 

برای آستانه معین ثابتی به نام c، در حالی که:

\vec w \propto \Sigma^{-1} (\vec \mu_1 - \vec \mu_0)

بدین معنی است که معیار یک ورودی که در یک کلاس y جای دارد، تابعی ناب از ترکیب خطی مشاهدات شناخته شده است. دیدن این نتیجه از نظر هندسی اغلب مفید است: معیار یک ورودی که در یک کلاس y جای دارد تابعی ناب از پروجکشن فضای چند بعدی نقطه بر روی بردار است( بنابراین، تنها جهت آن را در نظر می گیریم). به بیانی دیگر، مشاهده به کلاس y تعلق دارد اگر متناظرش در یک طرف معین از ابر صفحه عمود بر واقع شده باشد. موقعیت صفحه توسط مقدار آستانه c تعریف می شود.

LDA استاندارد برای k کلاس[ویرایش]

CDA تحلیل تفکیکی استاندارد محورهای مختصاتی (K-1 مختصات استاندارد، K تعداد کلاس ها را نشان می دهد) را که به بهترین شکل دسته ها را از هم مجزا می¬کند پیدا می کند. این توابع خطی ناهمبسته هستند و k-1 فضا را از طریق ابر n بعدی از داده ها که به بهترین شکل k گروه را از هم مجزا می کند. برای جزییات بیشتر LDA چند کلاسه را ببینید.

تفکیک خطی فیشر[ویرایش]

هرچند مقاله اصلی فیشر[۱] تفکیک را با کمی اختلاف توصیف می کند و بعضی فرضیات LDA مانند کلاسهای دارای توزیع نرمال یا کواریانس برابر کلاس را ندارد، واژه های تفکیک خطی فیشر و LDA معمولا به جای یکدیگر به کار می روند. دو کلاس از مشاهدات را با میانگین های و کواریانس های در نظر بگیرید. حالا ترکیب خطی دارای میانگین و واریانس برای هستند. فیشر جداسازی(تمایز) بین این دو توزیع را به صورت نسبت واریانس بین دو کلاس به واریانس درون دو کلاس تعریف کرد:

S=\frac{\sigma_{\text{between}}^2}{\sigma_{\text{within}}^2}= \frac{(\vec w \cdot \vec \mu_{y=1} - \vec w \cdot \vec \mu_{y=0})^2}{\vec w^T \Sigma_{y=1} \vec w + \vec w^T \Sigma_{y=0} \vec w} = \frac{(\vec w \cdot (\vec \mu_{y=1} - \vec \mu_{y=0}))^2}{\vec w^T (\Sigma_{y=0}+\Sigma_{y=1}) \vec w}

به عبارت دیگر این مقدار، مقیاسی از نسبت سیگنال به نویز برای برچسب گذاری کلاس است. می¬توان نشان داد که حداکثر جداسازی زمانی اتفاق می¬افتد که:

 \vec w \propto (\Sigma_{y=0}+\Sigma_{y=1})^{-1}(\vec \mu_{y=1} - \vec \mu_{y=0})

وقتی که فرضیات LDA ارضا شد، معادله بالا معادل با LDA خواهد بود. حتما به یاد داشته باشید که بردار بردار نرمال ابرصفحه تفکیک کننده است. به عنوان یک مثال، در یک مساله دوبعدی، خطی که دو گروه را به بهترین شکل تقسیم می¬کند عمودمنصف است. به طور کلی، نقاط داده¬ای که باید تفکیک شوند باید بر روی بردار پروجکشن شوند. پس آستانه¬ای که به بهترین وجه داده را جداسازی می¬کند از تحلیل توزیع یک¬بعدی انتخاب می¬شود. قاعده¬ای کلی برای آستانه وجود ندارد. به هر حال، اگر تصاویر نقاط از هر دو کلاس تقریبا یک توزیع را نشان دهد، ابرصفحه بین تصاویر دو میانگین، و ، یک انتخاب مناسب خواهد بود. در این مورد پارامتر c در شرط آستانه صریحا به صورت زیر خواهد بود:

 c = \vec w \cdot \frac12 (\vec \mu_{y=0} + \vec \mu_{y=1}) = \frac{1}{2} \vec\mu_{y=1}^t \Sigma^{-1} \vec\mu_{y=1} - \frac{1}{2} \vec\mu_{y=0}^t \Sigma^{-1} \vec\mu_{y=0}

LDA چند کلاسه[ویرایش]

وقتی که بیش از یک کلاس وجود داشته باشد، تحلیلی که در اشتقاق تفکیک کننده فیشر استفاده شد به یافتن یک زیرفضا که به نظر می¬رسد همه تغییرپذیری(variability) کلاس را داشته باشد قابل تعمیم است. چنین تعمیمی به علت مقاله C.R. Rao [۸]است. فرض کنید هر کلاس از C کلاس یک میانگین \mu_i و یک کواریانس  \sigma دارد. پس تغییرپذیری بین کلاس ها ممکن است با استفاده از نمونه کواریانس میانگین های کلاس تعریف شود:

 \Sigma_b = \frac{1}{C} \sum_{i=1}^C (\mu_i-\mu) (\mu_i-\mu)^T

در حالی که میانگین، میانگین, کلاس¬ها است. جداسازی کلاس در یک جهت در این مورد با عبارت زیر داده خواهد شد:

 S = \frac{\vec w^T \Sigma_b \vec w}{\vec w^T \Sigma \vec w}

معنی اش این است که وقتی یک بردار ویژه از باشد جداسازی، معادل با مقدار ویژه متناظرش خواهد بود.

اگر  \Sigma^{-1} \Sigma_b قطری باشد، تغییرپذیری بین ابعاد(features) در زیرفضای گسترش یافته با بردارهای ویژه متناظر با c-1 امین مقدار ویژه بزرگتر(به این علت که سلسله از c-1 در اکثر است). چنین بردارهای ویژه ای مانند PCA در ابتدا در کاهش ابعاد استفاده می¬شدند. بردارهای ویژه متناطر با مقادیر ویژه کوچکتر برای انتخاب داده های آموزش حساس تر است، و اغلب لازم است تا مرتب سازی توصیف شده در بخش بعد را به کار برد. اگر به جای کاهش ابعاد دسته بندی موردنیاز باشد، تعدادی تکنیک جایگزین وجود دارد. برای مثال، کلاس ها را می¬توان پارتیشن بندی کرد و تحلیل تفکیک¬کننده فیشر استاندارد یا LDA را برای دسته بندی هر پارتیشتن به کار برد. یک مثال رایج از این رویکرد "یکی در برابر بقیه" است، وقتی که نقاط از یک کلاس در یک گروه قرار می¬گیرند، و هر چیز دیگر در دیگری، سپس LDA اعمال می شود. که این کار به C classifier منتج می¬شود، که نتایج آن ترکیب می شود. روش رایج دیگری دسته بندی جفتی است، جایی که یک دسته بند جدید برای هر جفت از کلاس ها ایجاد می شود( در مجموع C(C-1) دسته بندی کننده داده می شود)، با ترکیب دسته بندی کننده های منفرد برای تولید یک دسته بندی کننده نهایی.

کاربرد عملی[ویرایش]

در عمل، میانگین کلاس ها و کواریانس ها معلوم نیست. هرچند می توان آن ها را از مجموعه آموزش تخمین زد. برآورد شباهت حداکثر(maximum likelihood estimate) یا برآورد پسین حداکثر( maximum a posteriori) را می توان به جای مقدار دقیق در معادلات بالا به کار برد. اگرچه برآورد کواریانس بعضی مواقع بهینه در نظر گرفته شده است، به این معنی نیست که تفکیک بدست آمده با جایگزینی این مقادیر همیشه بهینه باشد، حتی اگر فرض توزیع نرمال کلاس ها درست باشد. پیچیدگی دیگر در اعمال LDA و تفکیک کننده فیشر به داده های واقعی وقتی که تعداد مشاهدات هر نمونه از تعداد نمونه ها کمتر باشد روی می¬دهد.[۴] در این مورد، برآورد کواریانس full rank نیست، پس نمی تواند معکوس شود. روش های گوناگونی برای حل این مشکل وجود دارد. یک روش استفاده از شبه معکوس به جای ماتریس معکوس معمولی در فرمول بالاست. به هر حال، پایداری بهتر عددی با پرتو اندازی(پروجکشن) مساله بر زیرفضای گسترش یافته با ممکن است بدست آید.[۹] راهبرد دیگر برای حل مشکل اندازه نمونه استفاده از یک برآوردگر انقباضی (Shrinkage estimator) از ماتریس کواریانس است، به بیان ریاضی:

 C_\text{new} = (1-\lambda) C+\lambda I\,

 I ماتریس همانی است،و  \lambda پارامتر منظم کننده(regularization parameter) یا شدت انقباض است. این به تحلیل چارچوب منظم شده یا تحلیل تفکیک کننده انقباضی منجر می شود. همچنین در بسیاری از موارد عملی تفکیک خطی مفید نیست. LDA و تفکیک کننده فیشر با استفاده از Kernel trick قابل تعمیم به دسته¬بندی غیرخطی هستند. در اینجا مشاهدات اصلی به صورت موثر به یک فضای غیرخطی بالاتر نگاشت می¬شوند. دسته¬بندی خطی در این فضای غیرخطی معادل دسته¬بندی غیرخطی در فضای اصلی است. مثال بسیار رایج تفکیک هسته فیشر است. LDA قابل تعمیم به تحلیل تفکیکی چندگانه است، وقتی که c یک متغیر رتبه¬ای با N حالت ممکن به جای دو حالت باشد. به طور مشابه، اگر چگالی¬های شرطی کلاس با یک کواریانس مشترک نرمال باشد، آماره بسنده برای مقادیری از N تصویر(پروجکشن) است، که زیرفضایی است که با N میانگین گسترش یافته است، با affine projected که به وسیله ماتریس کواریانس معکوس . این پروجکشن ها در حل یک مساله مقدار ویژه تعمیم یافته یافت می¬شوند، جایی که صورت ماتریس کواریانسی است که با درنظرگرفتن میانگین ها به عنوان نمونه ها تشکیل شده است، و مخرج ماتریس کواریانس مشترک است.

جستارهای وابسته[ویرایش]

منابع[ویرایش]

  1. ۱٫۰ ۱٫۱ Fisher, R. A. (1936). "The Use of Multiple Measurements in Taxonomic Problems". Annals of Eugenics 7 (2): 179–188. DOI:10.1111/j.1469-1809.1936.tb02137.x. hdl:2440/15227. 
  2. McLachlan, G. J. (2004). Discriminant Analysis and Statistical Pattern Recognition. Wiley Interscience. ISBN 0-471-69115-1. MR 1190469. 
  3. Analyzing Quantitative Data: An Introduction for Social Researchers, Debra Wetcher-Hendricks, p.288
  4. ۴٫۰ ۴٫۱ Martinez, A. M.; Kak, A. C. (2001). "PCA versus LDA". IEEE Transactions on Pattern Analysis and Machine Intelligence 23 (=2): 228–233. DOI:10.1109/34.908974. 
  5. Abdi, H. (2007) "Discriminant correspondence analysis." In: N.J. Salkind (Ed.): Encyclopedia of Measurement and Statistic. Thousand Oaks (CA): Sage. pp. 270–275.
  6. Perriere, G.; & Thioulouse, J. (2003). "Use of Correspondence Discriminant Analysis to predict the subcellular location of bacterial proteins", Computer Methods and Programs in Biomedicine, 70, 99–105.
  7. Venables, W. N.; Ripley, B. D. (2002). Modern Applied Statistics with S (4th ed.). Springer Verlag. ISBN 0-387-95457-0. 
  8. Rao, R. C. (1948). "The utilization of multiple measurements in problems of biological classification". Journal of the Royal Statistical Society, Series B 10 (2): 159–203. 
  9. Yu, H.; Yang, J. (2001). "A direct LDA algorithm for high-dimensional data — with application to face recognition", Pattern Recognition, 34 (10), 2067–2069