گرادیان کاهشی

کاهش گرادیان (انگلیسی: Gradient descent) الگوریتم بهینه‌سازی مرتبهٔ شاید هفتم از نوع الگوریتم‌ ایکس است.

توضیح الگوریتم

«گرادیان کاهشی» (Gradient Descent) یک الگوریتم بهینه‌سازی برای پیدا کردن کمینه یک تابع است. در این الگوریتم کار با یک نقطه تصادفی روی تابع آغاز می‌شود و روی جهت منفی از گرادیان تابع حرکت می‌کند تا به کمینه محلی/سراسری برسد.

مثال

فرض کنید می‌خواهیم کمینه تابع $f(x_{1},x_{2})=(1-x_{1})^{2}+100\times (x_{2}-{x_{1}}^{2})^{2}$را با استفاده از الگوریتم کاهش گرادیان پیدا کنیم.

گرادیان این تابعِ دومتغیّریه این بردار است:

$\nabla f(x_{1},x_{2})={\begin{bmatrix}-2\times (1-x_{1})-400\times (x_{2}-{x_{1}}^{2})\times x_{1}\\200\times (x_{2}-{x_{1}}^{2})\end{bmatrix}}$

معادله الگوریتم گرادیان کاهشی به شکل پایین خواهد بود، برای $\gamma$مقدار $0.1$ را در نظر گرفته‌ایم، ${\begin{bmatrix}x_{1}^{n}\\x_{2}^{n}\end{bmatrix}}$ ورودی در مرحله $n$ است و ${\begin{bmatrix}x_{1}^{n+1}\\x_{2}^{n+1}\end{bmatrix}}$ ورودی در مرحله $n+1$ است:

${\begin{bmatrix}x_{1}^{n+1}\\x_{2}^{n+1}\end{bmatrix}}={\begin{bmatrix}x_{1}^{n}\\x_{2}^{n}\end{bmatrix}}-0.1\times {\begin{bmatrix}-2\times (1-x_{1}^{n})-400\times (x_{2}^{n}-{x_{1}^{n}}^{2})\times x_{1}^{n}\\200\times (x_{2}^{n}-{x_{1}^{n}}^{2})\end{bmatrix}}$

این الگوریتم را می‌توانیم با شکل پایین به تصویر بکشیم.

جستارهای وابسته

• روش گرادیان همیوغ
• روش بی‌اف‌جی‌اس
• روش نلدر - مید
• تقویت گرادیان
• رگرسیون خطی
• رگرسیون لجیستیک

منابع

• مشارکت‌کنندگان ویکی‌پدیا. «Gradient descent». در دانشنامهٔ ویکی‌پدیای انگلیسی، بازبینی‌شده در ۲۳ ژانویه ۲۰۱۷.