پیش‌نویس:کامپیوتر عصبی دیفرانسیل‌پذیر

در هوش مصنوعی ، یک کامپیوتر عصبی دیفرانسیل‌پذیر ( DNC ) یک معماری شبکه عصبی تقویت‌شده حافظه (MANN) است که معمولاً (اما نه همیشه) به صورت بازگشتی پیاده‌سازی می‌شود. این مدل در سال 2016 توسط Alex Graves و همکاران از شرکت DeepMind منتشر شد. ^[۱]

کاربرد‌ها[ویرایش]

کامپیوتر عصبی دیفرانسیل‌پذیر به طور غیرمستقیم از معماری Von-Neumann ایده گرفته‌است. از این رو، این معماری می‌تواند در کارهایی که اساساً الگوریتمی هستند و در آنها پیدا کردن مرز تصمیم‌گیری نمی‌تواند یادگیری تلقی شود، از معماری های معمولی بهتر عمل می کند.

در حال حاضر، DNC ها تنها وظایف نسبتاً ساده را می‌توانند انجام دهند که انجام این کار‌ها با استفاده از برنامه نویسی معمولی نیز قابل حل هستند. اما مزیت‌ DNC ها این است که آنها برای هر مسئله‌ی جدید نیازی به برنامه‌ریزی جداگانه ندارند، بلکه می‌توانند روی مسئله آموزش ببینند. این ویژگی از کامپیوتر های عصبی دیفرانسیل‌پذیر به کاربر اجازه می‌دهد تا ساختارهای داده‌ای پیچیده‌ای مانند گراف‌ها را به صورت متوالی به این معماری به عنوان ورودی بدهد و آنها را برای استفاده بعدی فراخواند. علاوه بر این، آنها می توانند جنبه های استدلال نمادین را بیاموزند و آن را در حافظه فعال به کار ببرند. محققانی که این روش را منتشر کردند، وعده می دهند که DNC ها می توانند برای انجام وظایف پیچیده و ساختار یافته ^[۱] ^[۲] و رسیدگی به برنامه های کاربردی کلان داده که به نوعی استدلال نیاز دارند، آموزش ببینند، مثلاً، تولید تفسیر و شرح برای ویدئو یا تجزیه و تحلیل معنایی متن. ^[۳] ^[۴]

یک کامپیوتر عصبی دیفرانسیل‌پذیر می‌تواند بر روی داده‌های یک سیستم حمل و نقل آموزش داده شود تا سیستم‌هایی مانند مترو را هدایت کند. پس از یادگیری شبکه‌ بر روی داده‌های یک سیستم حمل و نقل می‌توان آن را یه یک سیستم دیگر انتقال کند. این در حالی است که یک شبکه عصبی بدون حافظه باید یادگیری خود را از ابتدا برای یک سیستم حمل و نقل جدید از صفر شروع کند. در مسائلی مانند پیمایش گراف و پردازش دنباله‌ها به صورت یادگیری نظارت شده ، DNC ها بهتر از جایگزین هایی مانند حافظه کوتاه مدت طولانی یا ماشین تورینگ عصبی عمل می‌کنند. ^[۵] با یک رویکرد یادگیری تقویتی برای مسئله‌ی پازل بلوکی که از SHRDLU الهام گرفته شده است، DNC به روش یادگیری برنامه درسی آموزش داده شد که برنامه ریزی کند. در نتیجه این روش عملکرد بهتری نسبت به یک شبکه عصبی بازگشتی برای حل مسئله‌ی پازل از خود نشان داد. ^[۵]

معماری[ویرایش]

شبکه‌های DNC به‌ عنوان توسعه‌ای از ماشین تورینگ عصبی (NTM) معرفی شدند. در حقیقت کامپیوتر عصبی دیفرانسیل‌پذیر با اضافه کردن مکانیسم‌های توجه حافظه به NTM امکاناتی مانند کنترل مکان ذخیره‌سازی حافظه و توجه زمانی ترتیب رویداد‌ها را فراهم می‌آورد. این ساختار معماری، نه تنها شبکه‌های DNC راتوانمند‌تر و انتزاعی تر از NTM می‌سازد، بلکه به آن‌ها امکان انجام وظایفی که وابستگی‌های طولانی مدتی زمانی دارند را می‌دهد. این امکان از ویژگی‌های شبکه‌های حافظه بلند مدت کوتاه مدت ( LSTM ) است. حافظه‌ی این شبکه‌ها، که به زبان ساده یک ماتریس است، می‌تواند به صورت پویا تخصیص داده شود و به طور نامحدود قابل دسترس باشد. شبکه‌های DNC به صورت سر‌تاسر دیفرانسیل‌پذیر است (هر بخشی از مدل دیفرانسیل‌پذیر است، بنابراین کل مدل نیز دیفرانسیل‌پذیر است). این ویژگی دیفرانسیل‌پذیری در این شبکه‌ها، بهینه‌سازی کارآمد آنها را با استفاده از گرادیان کاهشی امکان‌پذیر می‌کند. ^[۳] ^[۶] ^[۷]

معماری در مدل کامپیوتر عصبی دیفرانسیل‌پذیر شبیه معماری فون نویمان است و همچنین به دلیل قابلیت تغییر اندازه حافظه، تورینگ کامل است. ^[۸]

کامپیوتر‌ عصبی دیفرانسیل‌پذیر سنتی[ویرایش]

کامپیوتر عصبی دیفرانسیل‌پذیر در ابتدا به صورت زیر فرموله و مدل‌سازی شد.


	متغییر‌های مستقل
بردار ورودی	$\mathbf {x} _{t}$
بردار هدف	$\mathbf {z} _{t}$

↑ ^۱٫۰ ^۱٫۱ Graves, Alex; Wayne, Greg; Reynolds, Malcolm; Harley, Tim; Danihelka, Ivo; Grabska-Barwińska, Agnieszka; Colmenarejo, Sergio Gómez; Grefenstette, Edward; Ramalho, Tiago (2016-10-12). "Hybrid computing using a neural network with dynamic external memory". Nature (به انگلیسی). 538 (7626): 471–476. Bibcode:2016Natur.538..471G. doi:10.1038/nature20101. ISSN 1476-4687. PMID 27732574.
↑ "Differentiable neural computers | DeepMind". DeepMind. Retrieved 2016-10-19.
↑ ^۳٫۰ ^۳٫۱ Burgess, Matt. "DeepMind's AI learned to ride the London Underground using human-like reason and memory". WIRED UK (به انگلیسی). Retrieved 2016-10-19.
↑ Jaeger, Herbert (2016-10-12). "Artificial intelligence: Deep neural reasoning". Nature (به انگلیسی). 538 (7626): 467–468. Bibcode:2016Natur.538..467J. doi:10.1038/nature19477. ISSN 1476-4687. PMID 27732576.
↑ ^۵٫۰ ^۵٫۱ James, Mike. "DeepMind's Differentiable Neural Network Thinks Deeply". www.i-programmer.info. Retrieved 2016-10-20.
↑ "DeepMind AI 'Learns' to Navigate London Tube". PCMAG. Retrieved 2016-10-19.
↑ Mannes, John. "DeepMind's differentiable neural computer helps you navigate the subway with its memory". TechCrunch. Retrieved 2016-10-19.
↑ "RNN Symposium 2016: Alex Graves - Differentiable Neural Computer". YouTube.

[DNCnature2016-1] ۱٫۰ ^۱٫۱ Graves, Alex; Wayne, Greg; Reynolds, Malcolm; Harley, Tim; Danihelka, Ivo; Grabska-Barwińska, Agnieszka; Colmenarejo, Sergio Gómez; Grefenstette, Edward; Ramalho, Tiago (2016-10-12). "Hybrid computing using a neural network with dynamic external memory". Nature (به انگلیسی). 538 (7626): 471–476. Bibcode:2016Natur.538..471G. doi:10.1038/nature20101. ISSN 1476-4687. PMID 27732574.

[2] "Differentiable neural computers | DeepMind". DeepMind. Retrieved 2016-10-19.

[:0-3] ۳٫۰ ^۳٫۱ Burgess, Matt. "DeepMind's AI learned to ride the London Underground using human-like reason and memory". WIRED UK (به انگلیسی). Retrieved 2016-10-19.

[4] Jaeger, Herbert (2016-10-12). "Artificial intelligence: Deep neural reasoning". Nature (به انگلیسی). 538 (7626): 467–468. Bibcode:2016Natur.538..467J. doi:10.1038/nature19477. ISSN 1476-4687. PMID 27732576.

[:1-5] ۵٫۰ ^۵٫۱ James, Mike. "DeepMind's Differentiable Neural Network Thinks Deeply". www.i-programmer.info. Retrieved 2016-10-20.

[6] "DeepMind AI 'Learns' to Navigate London Tube". PCMAG. Retrieved 2016-10-19.

[7] Mannes, John. "DeepMind's differentiable neural computer helps you navigate the subway with its memory". TechCrunch. Retrieved 2016-10-19.

[8] "RNN Symposium 2016: Alex Graves - Differentiable Neural Computer". YouTube.

[۱]

[۲]

[۳]

[۴]

[۵]

[۶]

[۷]

[۸]