حافظه طولانی کوتاه مدت

حافظه طولانی کوتاه-مدت (به انگلیسی: Long short-term memory) یا به اختصار ال‌اس‌تی‌ام (تلفظ تحت‌اللفظی LSTM)، یک معماری شبکه عصبی بازگشتی (یک شبکه عصبی مصنوعی) است که در سال ۱۹۹۷ میلادی توسط سپ هوخرایتر و یورگن اشمیدهوبر ارائه شد،^[۲] و بعداً در سال ۲۰۰۰ میلادی توسط فیلیکس ژرس و دیگران بهبود داده شد.^[۳]

معماری

مقادیر اولیه: $c_{0}=0$ و $h_{0}=0$ . عملگر $\circ$ نشان دهنده ضرب هادامارد (ضرب عنصری).

{\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}

متغیرها

$x_{t}$ : بردار ورودی
$h_{t}$ : بردار خروجی
$c_{t}$ : بردار وضعیت سلول
$W$ $U$ و $b$ : ماتریس‌ها و بردار پارامتر
$f_{t}$ $f_{t}$ $i_{t}$ $i_{t}$ و $o_{t}$ $o_{t}$ : بردارهای دروازه
- $f_{t}$ : بردار دروازه فراموشی. وزن به یادداری اطلاعات قدیمی.
- $i_{t}$ : بردار دروازه ورودی. وزن اندوختن اطلاعات جدید.
- $o_{t}$ : بردار دروازه خروجی. کاندید خروجی.

توابع فعال‌سازی

$\sigma _{g}$ : تابع اصلی یک تابع سیگموئید است.
$\sigma _{c}$ : تابع اصلی یک تانژانت هذلولی است.
$\sigma _{h}$ : تابع اصلی یک تانژانت هذلولی است اما ال‌اس‌تی‌ام روزنه‌ای $\sigma _{h}(x)=x$ .

ال‌اس‌تی‌ام روزنه‌ای با دروازه‌های فراموشی. $h_{t-1}$ استفاده نمی‌شود، در عوض از $c_{t-1}$ در بیش تر جاها استفاده می‌شود.

{\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}

ال‌اس‌تی‌ام کانولوشنی.^[۴] $*$ نشان دهنده عملگر کانولوشن است.

{\begin{aligned}f_{t}&=\sigma _{g}(W_{f}*x_{t}+U_{f}*h_{t-1}+V_{f}\circ c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}*x_{t}+U_{i}*h_{t-1}+V_{i}\circ c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}*x_{t}+U_{o}*h_{t-1}+V_{o}\circ c_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}*x_{t}+U_{c}*h_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}

↑ Klaus Greff; Rupesh Kumar Srivastava; Jan Koutník; Bas R. Steunebrink; Jürgen Schmidhuber (2015). "LSTM: A Search Space Odyssey". arXiv:1503.04069. {{cite arxiv}}: More than one of |author1= و |author= specified (help); More than one of |eprint= و |arxiv= specified (help)
↑ Sepp Hochreiter; Jürgen Schmidhuber (1997). "Long short-term memory". Neural Computation. 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. PMID 9377276.
↑ Felix A. Gers; Jürgen Schmidhuber; Fred Cummins (2000). "Learning to Forget: Continual Prediction with LSTM". Neural Computation. 12 (10): 2451–2471. doi:10.1162/089976600300015015.
↑ Xingjian Shi; Zhourong Chen; Hao Wang; Dit-Yan Yeung; Wai-kin Wong; Wang-chun Woo (2015). "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting". Proceedings of the 28th International Conference on Neural Information Processing Systems: 802–810.

Recurrent Neural Network با بیش از ۳۰ مقاله ال‌اس‌تی‌ام توسط گروه یورگن اشمیدهوبر در IDSIA
تز دکترای ژرس در مورد شبکه‌های ال‌اس‌تی‌ام.
مقاله تشخیص تقلب با دو فصل اختصاص داده شده به توضیح شبکه‌های عصبی بازگشتی، به خصوص ال‌اس‌تی‌ام.
مقاله ای در مورد توسعه با کارایی بالای ال‌اس‌تی‌ام‌ها که به یک تک گره ساده‌سازی شده و می‌تواند معماری من درآوردی ای را آموزش دهد.
خودآموز: چگونه در پایتون با ثینو (theano) ال‌اس‌تی‌ام را پیاده‌سازی کنیم