کمترین مربعات

نتیجهٔ برازش مجموعه‌ای از داده‌ها با یک تابع سهمی

روش کمترین مربعات روشی در آمار است که برای حل دستگاه معادلاتی به کار می‌رود که تعداد معادله‌هایش بیش از تعداد مجهول‌هایش است. این روش بیشتر در تحلیل رگرسیون به کار می‌رود.

کمترین مربعات در واقع روشی برای برازش (fit) داده‌ها است. در روش کمترین مربعات، بهترین مدل برازش‌شده بر مجموعه‌ای از داده‌ها مدلی است که در آن مجموع مربع باقی مانده‌ها کمینه باشد. منظور از باقی مانده ها، اختلاف بین دادهٔ مشاهده‌شده و مقداری است که از مدل به دست می‌آید.

این روش را نخستین بار کارل فردریش گاوس در سال ۱۷۹۴ میلادی بیان کرد. روش کمترین مربعات در بیشتر نرم‌افزارهای آماری و ریاضی وجود دارد. تحلیل رگرسیون یک موضوع آماری است که کاربرد گسترده ای دارد .

لاسو (LASSO)

لاسو یک مدل تنظیم شده (به انگلیسی: Regularized)‏ از مدل کمترین مربعات است. تنظیم به این صورت است که $\|\beta\|^1$ یا نرم L¹-norm کمتر از مقدار مشخصی باشد. این معادل این است که در هنگام بهینه سازی هزینه ی کمترین مربعات $\alpha\|\beta\|^1$ را نیز اضافه کرده باشیم. معادل بیزی این مدل این است که توزیع پیشین توزیع لاپلاس را برای پارامترهای مدل خطی استفاده کرده باشیم.

تفاوت اساسی بین مدل ridge regression و لاسو این است که در اولی علیرغم افزایش جریمه، ضرایب در عین غیرصفر بودن کوچکتر می شوند، علیرغم اینکه صفر نمی شوند، در صورتی که در لاسو با افزایش جریمه، تعداد بسیار بیشتری از ضرایب به سمت صفر میل می کنند.

می توان یهینه سازی مربوط به لاسو را با روش های بهینه سازی درجه دوم یا در حالت کلی بهینه سازی محدب انجام داد.

به دلیل ایجاد ضرایب کم، لاسو در بسیاری از کاربردها مانند سنجش فشرده (به انگلیسی: compressed sensing)‏ مورد استفاده قرار می گیرد.

جستارهای وابسته

• کمینه مربعات خطی