کمترین مربعات جزئی

از ویکی‌پدیا، دانشنامهٔ آزاد
(تغییرمسیر از حداقل مربعات جزئی)
پرش به ناوبری پرش به جستجو

کمترین مربعات جزئی [الف] یکی از روش‌های تحلیل رگرسیون است. در این روش، راه حل کمترین مربعات بر روی تعدادی مؤلفه متعامد که ترکیبی خطی از متغیرهای مستقل هستند و به صورت متناوب و با هدف بیشینه کردن کوواریانسِ تبدیل خطیِ متغیرهای مستقل و متغیرهای وابسته ایجاد شده‌اند، اعمال می‌شود.[۱][۲]

رابطه ریاضی[ویرایش]

فرض می‌کنیم داده داریم که هر کدام از یک متغیر وابسته و متغیر مستقل تشکیل شده‌است؛ به کمک متغیرهای مستقل متغیر وابسته را پیش‌بینی می‌کنیم. مقادیر متغیرهای مستقل (به همراه یک بردار ثابت ) و مقادیر متغیر وابسته را به ترتیب در ماتریس‌های و به شکل پایین نمایش می‌دهیم؛ در اینجا یک ماتریس از مقادیر امین متغیر مستقل است:

هدف از رگرسیون خطی بدست آوردن پارامتر است به شکلی که در اینجا یک متغیر تصادفی است که خطای مدل را نشان می‌دهد. این خطا از توزیع طبیعی با میانگین صفر و واریانس ثابت برای تمامی ابعاد پیروی می‌کند به این معنی که و . از طریق روش کمترین مربعات می‌توان یعنی مربع میزان خطاها را کمینه کرد و به پارامتر بهینه رسید. این پارامتر با برابراست. یکی از مشکلات اصلی این روش عدم وارونپذیری است. برای حل این مشکل، کمترین مربعات جزئی، متناوباً مولفه‌هایی متعامد ( در پایین) که ترکیبی خطی از متغیرهای مستقل هستند تولید می‌کند و در نهایت راه حل کمترین مربعات را بر روی این مولفه‌ها اعمال می‌کند. ضرایب متغیرهای مستقل در مولفه‌ها با ضرب نقطه‌ایِ متغیرهای وابسته و مستقل برابر است. متغیرهای مستقل در ابتدای کار استاندارد شده‌اند یعنی میانگین صفر و واریانس یک دارند. در پایان هر مرحله متغیرهای مستقل نسبت به مولفه آن مرحله متعامد می‌شوند. این کار باعث می‌شود که در پایان تمام مولفه‌ها نسبت به هم متعامد باشند. الگوریتم تولید مولفه‌ها برای به شکل پایین است ( از روش اعتبارسنجی متقابل محاسبه می‌شود):

از آنجا که یا همان مقدار پیش‌بینی شده، ترکیبی خطی از ها است و خود ها هم ترکیبی خطی از متغیرهای مستقل هستند، در نهایت مدل رگرسیون ترکیبی خطی از متغیرهای مستقل خواهد بود.[۱]

جستارهای وابسته[ویرایش]

تحلیل مولفه‌های اصلی

تحلیل واریانس

رگرسیون خطی

یادداشت‌ها[ویرایش]

  1. partial least squares

منابع[ویرایش]

  1. ۱٫۰ ۱٫۱ Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2009). "The Elements of Statistical Learning". Springer Series in Statistics: 80–82. doi:10.1007/978-0-387-84858-7. ISSN 0172-7397.
  2. de Jong, S.; ter Braak, C.J.F. (1994). "Comments on the PLS kernel algorithm". J. Chemometrics. 8 (2): 169–174. doi:10.1002/cem.1180080208.