رگرسیون لارس

نحوه تخمین افزایشی ضرایب در رگرسیون کمترین زاویه (لارس)، در این شکل لارس ۱۱ ضریب برای مدل رگرسیون تولید می‌کند که با ۱۱ رنگ در شکل نشان داده شده‌اند. محور افقی مجموع نرمالیزه شده ضرایب را در ۱۱ مرحله نشان می‌دهد به این معنی که در هر مرحله مجموع ضرایب آن مرحله تقسیم بر مجموع ضرایب مرحله آخر می‌شود. محور عمودی اندازه ضرایب را در هر مرحله نشان می‌دهد. هر خطی سیاه عمودی نشان‌دهنده اضافه شدن یک ضریب جدید به مدل است. همان‌طور شکل نشان می‌دهد هر ضریب بعد از انتخاب شدن مرتباً تغییر خواهد کرد و این تغییر در راستای جهتی است که کمترین مربعات با متغیرهای مستقل اضافه شده ساخته‌است.

رگرسیون لارس یا رگرسیون کمترین زاویه^[الف] یکی از روش‌های تحلیل رگرسیون است که در آن ضرایب رگرسیون در یک فرایند افزایشی تخمین زده می‌شوند.^[۱]

الگوریتم[ویرایش]

در رگرسیون کمترین زاویه که به آن رگرسیون لارس هم گفته می‌شود، ضرایب رگرسیون در یک فرایند افزایشی به شکل زیر تخمین زده می‌شوند:^[۱]

در ابتدا تمام ضرایب $\beta _{i}$ با عدد صفر مقداردهی می‌شوند.
متغیر مستقل $x_{j}$ که بیشترین ضریب همبستگی را با متغیر وابسته $y$ دارد انتخاب می‌شود.
$\beta _{j}$ در جهت علامت ضریب همبستگی افزایش می‌یابد تا جایی که همبستگی متغیر دیگری مانند $x_{k}$ با مانده $r=y-{\hat {y}}$ از همبستگی $x_{j}$ با مانده فزونی بیابد.
حال ( $\beta _{j}$ , $\beta _{k}$ ) در جهت بردار بهینه‌ای که از کمترین مربعاتِ ( $x_{j}$ , $x_{k}$ ) به‌دست آمده افزایش داده می‌شود و همزمان مانده‌ها نیز محاسبه می‌شوند. متغیر دیگری پیدا می‌شود که همبستگی بیشتری با مانده متغیرهایی که تا به حال انتخاب شده‌اند داشته باشد، و به جمع متغیرهایی انتخاب شده اضافه می‌شود و این روند تا انتخاب تمام متغیرها ادامه خواهد یافت.

رگرسیون لارس مانند رگرسیون لَسو باعث می‌شوند مدل نهائی خلوت شود و بسیاری از ضرایبِ مدل صفر شود. این مدل برای داده‌هایی بُعد بالا مورد استفاده قرار می‌گیرد.^[۲]

جستارهای وابسته[ویرایش]

یادداشت‌ها[ویرایش]

↑ least-angle regression (LARS)

منابع[ویرایش]

↑ ^۱٫۰ ^۱٫۱ Efron, Bradley; Hastie, Trevor; Johnstone, Iain; Tibshirani, Robert (2004). "Least Angle Regression" (PDF). Annals of Statistics. 32 (2): pp. 407–499. arXiv:math/0406456. doi:10.1214/009053604000000067. MR 2060166. Archived from the original (PDF) on 19 June 2018. Retrieved 4 August 2019.
↑ Fraley, Chris; Meier, Lukas; Choi, Nam Hee; Hesterberg, Tim (2008). "Least angle and ℓ1 penalized regression: A review". Statistics Surveys (به انگلیسی). 2: 61–93. doi:10.1214/08-SS035. ISSN 1935-7516. Archived from the original on 29 March 2019. Retrieved 17 August 2019.

[1] st-angle regression (LARS)

[:0-2] ۱٫۰ ^۱٫۱ Efron, Bradley; Hastie, Trevor; Johnstone, Iain; Tibshirani, Robert (2004). "Least Angle Regression" (PDF). Annals of Statistics. 32 (2): pp. 407–499. arXiv:math/0406456. doi:10.1214/009053604000000067. MR 2060166. Archived from the original (PDF) on 19 June 2018. Retrieved 4 August 2019.

[3] Fraley, Chris; Meier, Lukas; Choi, Nam Hee; Hesterberg, Tim (2008). "Least angle and ℓ1 penalized regression: A review". Statistics Surveys (به انگلیسی). 2: 61–93. doi:10.1214/08-SS035. ISSN 1935-7516. Archived from the original on 29 March 2019. Retrieved 17 August 2019.

[الف]

[۱]

[۲]