کوییک پراپ

کوییک‌پراپ یک روش تکراری برای تعیین کمینه تابع هزینه یک شبکه عصبی مصنوعی است که از روش نیوتن الهام گرفته شده‌است. بعضی اوقات، این الگوریتم در گروه روش‌های یادگیری مرتبkszه دوم طبقه‌بندی می‌شود. این روش تقریب درجه دوم از گرادیان تکرار قبلی و گرادیان فعلی، که انتظار می‌رود نزدیک به کمینه تابع هزینه باشد، استفاده می‌کند با این فرض که تابع هزینه به صورت محلی تقریباً درجه دو باشد. این فرض تلاش می‌کند که تابع هزینه را به صورت یک سهمی رو به بالا توصیف کند که کمینه آن در راس سهمی جستجو می‌شود. این روش فقط به اطلاعات محلی نورون مصنوعی که به آن اعمال می‌شود نیاز دارد. مرحله $k$-ام تقریب برابر است با:

$\Delta ^{(k)}\,w_{ij}=\Delta ^{(k-1)}\,w_{ij}\left({\frac {\nabla _{ij}\,E^{(k)}}{\nabla _{ij}\,E^{(k-1)}-\nabla _{ij}\,E^{(k)}}}\right)$

که در آن، $w_{ij}$وزن ورودی $i$-ام نورون $j$-ام و $E$ تابع هزینه است.

الگوریتم کوییک‌پراپ یک پیاده‌سازی از الگوریتم پس انتشار خطا است اما در طول فاز یادگیری شبکه ممکن است که، با توجه به گام‌های بزرگی که برمی‌دارد، با هرج و مرج رفتار کند.

کتابشناسی

• Scott E. Fahlman: یک مطالعه تجربی از سرعت یادگیری در شبکه‌های بازگشت به انتشار، سپتامبر ۱۹۸۸