واحد بازگشتی دروازه‌ای

واحدهای بازگشتی دروازه‌ای (GRUs) یک مکانیسم دروازه‌ای در شبکه‌های عصبی بازگشتی هستند که در سال ۲۰۱۴ توسط کیونگهیون چو و همکارانش ایجاد شدند. واحد بازگشتی دروازه‌ای مانند یک حافظه طولانی کوتاه مدت (LSTM) با یک دروازه فراموشی کار می‌کند، اما پارامترهای کمتری نسبت به LSTM دارد، زیرا فاقد دروازه خروجی است. عملکرد GRU در برخی از وظایف مانند مدل‌سازی موسیقی چندصدایی، مدل‌سازی سیگنال گفتار و پردازش زبان طبیعی مشابه عملکرد LSTM است. GRUها عملکرد بهتری در مجموعه داده‌های کوچکتر و داده‌های کم‌بسامد دارند.

معماری

تغییرات مختلفی در واحد دروازه کامل وجود دارد، با استفاده از حالت مخفی قبلی و بایاس در ترکیب‌های مختلف، و یک شکل ساده به نام واحد حداقل دروازه‌ای.

اپراتور $\odot$ محصول هادامارد را در زیر نشان می دهد.

واحد تمام دروازه‌ای

واحد بازگشتی دردار، نسخه کاملاً دردار

در ابتدا، برای $t=0$ ، بردار خروجی عبارت است از $h_{0}=0$ .

${\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\{\hat {h}}_{t}&=\phi _{h}(W_{h}x_{t}+U_{h}(r_{t}\odot h_{t-1})+b_{h})\\h_{t}&=(1-z_{t})\odot h_{t-1}+z_{t}\odot {\hat {h}}_{t}\end{aligned}}$

متغیرها

• $x_{t}$ : بردار ورودی
• $h_{t}$ : بردار خروجی
• ${\hat {h}}_{t}$ : بردار فعال‌سازی
• $z_{t}$ : بردار به روز رسانی
• $r_{t}$ : بردار ریست
• $W$ ، $U$ و $b$ : ماتریس پارامتر و بردار

توابع فعال سازی

• $\sigma _{g}$ : تابع سیگموئید.
• $\phi _{h}$ : تابع هذلولی .

از سایر توابع فعال‌سازی نیز می‌توان استفاده کرد مشروط بر اینکه $\sigma _{g}(x)\in [0,1]$ .

نوع 1

نوع 2

نوع 3

با تغییر $z_{t}$ و $r_{t}$ می‌توان شکلهای دیگری از مدل را ایجاد کرد:

• نوع اول، هر دروازه فقط به حالت پنهان قبلی و b بستگی دارد.

  ${\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1}+b_{r})\\\end{aligned}}$

• نوع دوم، هر دروازه فقط به حالت پنهان قبلی بستگی دارد.

  ${\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1})\\\end{aligned}}$

• نوع سوم، هر دروازه فقط با استفاده از b محاسبه می شود.

  ${\begin{aligned}z_{t}&=\sigma _{g}(b_{z})\\r_{t}&=\sigma _{g}(b_{r})\\\end{aligned}}$

واحد حداقل دروازه‌ای

واحد حداقل دروازه‌ای مشابه واحد تمام دروازه‌ای است، به جز اینکه بردار به روز رسانی و ریست در یک دروازه فراموشی ادغام شده است.:

${\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\{\hat {h}}_{t}&=\phi _{h}(W_{h}x_{t}+U_{h}(f_{t}\odot h_{t-1})+b_{h})\\h_{t}&=(1-f_{t})\odot h_{t-1}+f_{t}\odot {\hat {h}}_{t}\end{aligned}}$

متغیرها

• $x_{t}$ : بردار ورودی
• $h_{t}$ : بردار خروجی
• ${\hat {h}}_{t}$ : بردار فعال سازی
• $f_{t}$ : بردار فراموشی
• $W$ ، $U$ و $b$ : ماتریس های پارامتر و بردار

واحد تکراری تطبیقی محتوا

معماری کامل CARU. جهت جریان داده ها با فلش ها، توابع درگیر با مستطیل های زرد و گیت های مختلف (عملیات) با دایره های آبی نشان داده می شوند.

واحد تکراری تطبیقی محتوا یا Content Adaptive Recurrent Unit (CARU) گونه‌ای از GRU است که در سال ۲۰۲۰ توسط کاهو چان و همکاران وی ایجاد شد. CARU شامل گیت به روز رسانی مانند GRU است، اما به جای گیت ریست، یک گیت تطبیقی با محتوا معرفی می‌کند. CARU برای کاهش مشکل وابستگی طولانی مدت مدل‌های RNN طراحی شده است. CARU پارامترهای کمتری نسبت به GRU دارد و در مسائل پردازش زبانهای طبیعی عملکردش تنها قدری بهتر از GRU است.

در معادلات زیر، متغیرهای حروف کوچک نشان دهنده بردارها و $\left[W;B\right]$ پارامترهای مدل را نشان می دهد که لایه‌های خطی هستند که از وزن‌ها و بایاس‌ها تشکیل شده‌اند. در ابتدا، برای $t=0$ ، CARU مستقیماً بردارد $h^{(1)}\gets W_{vn}v^{(0)}+B_{vn}$ را بر می‌گرداند; برای $t>0$ خروجی‌ها عبارتند از:

${\begin{aligned}x^{(t)}&={W_{vn}}v^{(t)}+{B_{vn}}\\n^{(t)}&=\phi (({W_{hn}}h^{(t)}+{B_{hn}})+x^{(t)})\\z^{(t)}&=\sigma ({W_{hz}}h^{(t)}+{B_{hz}}+{W_{vz}}v^{(t)}+{B_{vz}})\\l^{(t)}&=\sigma (x^{(t)})\odot z^{(t)}\\h^{(t+1)}&=(1-l^{(t)})\odot h^{(t)}+l^{(t)}\odot n^{(t)}\end{aligned}}$

در اینجا اپراتور $\odot$ نشان دهنده ضرب هادامارد است، و $\sigma$ و $\phi$ به ترتیب نشان‌دهنده تابع سیگموئید و هذلولی است.