لسو

لَسو یکی از روشهای تنظیم مدل برای جلوگیری از بیش‌بردازش در رگرسیون است که باعث می‌شود بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت شود. در روش لَسو نُرمِ $L_{1}$ به تابع هزینه اضافه می‌شود.

تعریف ریاضی

اگر در مسئله رگرسیون داده را با $D=({x_{1}},y_{1}),\cdots ({x_{n}},y_{n})$ نمایش دهیم، هدف بدست آوردن $y$ از ترکیبی خطی از $x$ است یعنی $x^{T}\beta +\beta _{0}$ . در اینجا $\beta$ و $x$ هر دو بردار و دارای بعد یکسان هستند. رگرسیون خطی معمولی به صورت پایین در صدد پیدا کردن $\beta$ و $\beta _{0}$ بهینه است:

$\min _{\beta _{0},\beta }\left\{{\frac {1}{N}}\sum _{i=1}^{N}(y_{i}-\beta _{0}-x_{i}^{T}\beta )^{2}\right\}$

حال اگر داده‌ها را در ماتریس $X$ و بردار $Y$ بگنجانیم مسئله به شکل پایین تغییر شکل می‌دهد‌:

$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}\right\}$

پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر بیش‌برازش برای مدل بیشتر است. پدیدهٔ بیش‌برازش زمانی رخ می‌دهد که مدل به‌جای یادگیری الگوهای موجود در داده، خود داده را به خاطر می‌سپارد. در این حالت، مدل برای آن مجموعه دادهٔ به‌خصوص خوب عمل می‌کند اما برای داده‌های مشابه دیگر عملکرد خوبی ندارد، که یعنی عمل یادگیری به خوبی انجام نشده‌است. برای جلوگیری از بیش‌برازش در مدل‌های خطی مانند رگرسیون خطی یا رگرسیون لجستیک، یک «جریمه» به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. به این کار تنظیم مدل گفته می‌شود. در روش لَسو ضریبی از نُرمِ $L_{1}$ به تابع هزینه اضافه می‌شود:

$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{1}\right\}$

این کار باعث میشود بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت شود. این کار معادل ایجاد محدودیتی بر روی نُرمِ $L_{1}$ پارامتر مدل است به این معنی که مسئله بهینه سازی به شکل پایین تغییر شکل می‌دهد:

$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}\right\}{\text{ subject to }}\|\beta \|_{1}\leq t$