کمترین مربعات

از ویکی‌پدیا، دانشنامهٔ آزاد
پرش به ناوبری پرش به جستجو
نتیجهٔ برازش مجموعه‌ای از داده‌ها با یک تابع سهمی

روش کمترین مربعات روشی در آمار است که برای حل دستگاه معادلاتی به کار می‌رود که تعداد معادله‌هایش بیش از تعداد مجهول‌هایش است. این روش بیشتر در تحلیل رگرسیون به کار می‌رود.

کمترین مربعات در واقع روشی برای برازش (fit) داده‌ها است. در روش کمترین مربعات، بهترین مدل برازش‌شده بر مجموعه‌ای از داده‌ها مدلی است که در آن مجموع مربع باقی مانده‌ها[۱] کمینه باشد. منظور از باقی‌مانده ها، اختلاف بین دادهٔ مشاهده‌شده و مقداری است که از مدل به دست می‌آید.

این روش را نخستین بار کارل فردریش گاوس در سال ۱۷۹۴ میلادی بیان کرد.[۲] روش کمترین مربعات در بیشتر نرم‌افزارهای آماری و ریاضی وجود دارد. تحلیل رگرسیون یک موضوع آماری است که کاربرد گسترده‌ای دارد .

ساختار ریاضی مسئله[ویرایش]

در این مسئله هدف پیداکردن تابعی بهینه است برای برآورد کردن خروجی از داده‌های مشاهده شده. اگر خروجی را با و داده‌های مشاهده شده را با بردار و تابع تخمین را با و باقی مانده را با نمایش بدهیم به این معنی که ، هدفِ بهینه سازی پیدا کردن پارامتری است که مجموع مربعات باقیمانده‌ها را کمینه کند:

در اینجا فرض را بر این گذاشته‌ایم که ورودی ما چندمتغیره است، ازین رو آنرا با بردار نمایش داده‌ایم. اگر ورودی ما تک‌متغیره هم باشد نتایج پایین کماکان برقرار خواهد بود.

برای بدست پارامتر بهینه باید از تابع مربعات گرادیان گرفته و جواب را در نقطه صفر پیدا کنیم[۳]:

از آنجا که ، با قرار دادن گرادیان برابر صفر به معادله پایین خواهیم رسید. در اینجا فرض کرده‌ایم که بُعد پارامتر است.

کمترین مربعات خطی[ویرایش]

اگر فرض کنیم بُعد ورودی است، یعنی و تابع یک تابع خطی است، مسئله رگرسیون به یک مسئله بهینه‌سازی برای پیداکردن پارامتر تبدیل می‌شود. به این معنی که ما یک پارامتر چند متغیره به اسم داریم و سعی می‌کنیم را با ترکیبی خطی از تخمین بزنیم یعنی . حال اگر یک بعد دیگر به متغیر اضافه کنیم و مقدارش را همیشه عدد ثابت در نظر بگیریم () و را به صورتِ تغییر دهیم، تخمینی که از داریم در واقع ضرب نقطه ای بردار ورودی و بردار پارامترهای ماست یعنی . حال فرض کنیم که تعداد مثالهایی که قرار است برای تخمین پارامترها استفاده کنیم

است و این مثالها را به این شکل نمایش دهیم . همانطور که در مقدمه گفتیم پارامتر بهینه پارامتری است که تابع را به حداقل برساند یعنی تابع پایین را:

از آنجا که تابع نسبت به تابعی کاملاً محدب است، در نقطه مینیمم گرادیان ما صفر خواهد بود و این روش پارامتر بهینه را بدست می‌دهد.[۴] برای تسهیل کار شکل تابع را با بکارگیری چند ماتریس ساده می‌کنیم. دو ماتریس برای این کار نیاز داردیم ماتریس و ماتریس . ماتریس ماتریس ورودهای چندمتغیره ماست. هر سطر معادل یک نمونه از داده ماست، سطر ام برابر است با امین نمونه ورودی ما یعنی بردار ، از اینرو یک ماتریس خواهد بود. ماتریس از طرف دیگر برابر است با مجموعه متغیرهای وابسته داده ما. سطر ام این ماتریس برابر است با متغیر وابسته برای امین نمونه داده ما یا همان . ماتریس یک ماتریس است. با کمک این دو ماتریس می‌توان تابع ضرر را به شکل ذیل تعریف کرد:

حال گرادیان این تابع را نسبت به پیدا می‌کنیم که می‌شود:

با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید:

پس پارامتر بهینه ما برابر است با:

لاسو (LASSO)[ویرایش]

لاسو یک مدل تنظیم شده (به انگلیسی: Regularized) از مدل کمترین مربعات است. تنظیم به این صورت است که یا نرم L1-norm کمتر از مقدار مشخصی باشد. این معادل این است که در هنگام بهینه‌سازی هزینه ی کمترین مربعات را نیز اضافه کرده باشیم. معادل بیزی این مدل این است که توزیع پیشین توزیع لاپلاس را برای پارامترهای مدل خطی استفاده کرده باشیم.

تفاوت اساسی بین مدل ridge regression و لاسو این است که در اولی علیرغم افزایش جریمه، ضرایب در عین غیرصفر بودن کوچکتر می‌شوند، علیرغم اینکه صفر نمی شوند، در صورتی که در لاسو با افزایش جریمه، تعداد بسیار بیشتری از ضرایب به سمت صفر میل می‌کنند.

می توان بهینه‌سازی مربوط به لاسو را با روش‌های بهینه‌سازی درجه دوم یا در حالت کلی بهینه‌سازی محدب انجام داد.

به دلیل ایجاد ضرایب کم، لاسو در بسیاری از کاربردها مانند سنجش فشرده (به انگلیسی: compressed sensing) مورد استفاده قرار می‌گیرد.

y=a0=a1X=a2X^2

(Sr = Σ(yi-a0-a1Xi-a2X^2

جستارهای وابسته[ویرایش]

پانویس[ویرایش]

  1. Sum of Squared Residuals
  2. Bretscher, Otto. Linear Algebra With Applications, 3rd ed.. Upper Saddle River NJ: Prentice Hall, 1995. 
  3. Yan, Xin. Linear Regression Analysis: Theory and Computing. World Scientific, 2009. ISBN ‎9789812834119. 
  4. Rencher, Alvin C. و William F. Christensen. Methods of Multivariate Analysis. John Wiley & Sons, 2012-08-15. 155. ISBN ‎9781118391679.