ماشین تورینگ عصبی

ماشین تورینگ عصبی (به انگلیسی: Neural Turing machine) (NTM) یک مدل شبکهٔ عصبی بازگشتی است. این رویکرد توسط الکس گراوز و همکاران در سال ۲۰۱۴ منتشر شد.^[۱] قابلیت تطبیق الگوی فازی شبکه‌های عصبی را با قدرت الگوریتمی رایانه‌های قابل برنامه‌ریزی ترکیب می‌کنند. ماشین تورینگ عصبی دارای یک کنترلر شبکه عصبی همراه با منابع حافظه خارجی است که از طریق مکانیسم‌های توجه با آنها در تعامل است. فعل و انفعالات حافظه متفاوت از end-to-end است، و این امکان را برای بهینه‌سازی آنها با استفاده از گرادیان کاهشی فراهم می‌کند.^[۲] ماشین تورینگ عصبی با یک کنترلر شبکه حافظه طولانی کوتاه-مدت (LSTM) می‌تواند الگوریتم‌های ساده ای مانند کپی، مرتب‌سازی و فراخوان انجمنی را فقط از نمونه‌ها استنباط کند.^[۱]

نویسندگان مقالهٔ ماشین تورینگ عصبی اصلی کد منبع خود را منتشر نکردند.^[۱] اولین اجرای پایدار منبع باز در سال ۲۰۱۸ در بیست و هفتمین کنفرانس بین‌المللی شبکه‌های عصبی مصنوعی با دریافت جوایز بهترین مقاله منتشر شد.^[۳]^[۴]^[۵] سایر برنامه‌های منبع باز ماشین‌های تورینگ عصبی وجود دارند اما به اندازه کافی برای استفاده در محصول پایدار نیستند.^[۶]^[۷]^[۸]^[۹]^[۱۰]^[۱۱]^[۱۲] توسعه دهندگان یا گزارش می‌دهند که گرادیان‌ها اجرای آنها گاهی به دلایل نامعلوم در طول آموزش تبدیل به NaN می‌شود و باعث می‌شود که آموزش از بین نرود. همگرایی کند گزارش می‌دهد. یا سرعت یادگیری اجرای آنها را گزارش نکنید.

رایانه‌های عصبی دیفرانسیلی متمایز از پیشرفت دستگاه‌های عصبی تورینگ با مکانیسم‌های توجه است که عملکرد حافظه را کنترل می‌کنند و عملکرد را بهبود می‌بخشند.^[۱۳]

جستارهای وابسته[ویرایش]

منابع[ویرایش]

↑ ^۱٫۰ ^۱٫۱ ^۱٫۲ Graves, Alex; Wayne, Greg; Danihelka, Ivo (2014). "Neural Turing Machines". arXiv:1410.5401 [cs.NE]. {{cite arxiv}}: Cite has empty unknown parameter: |newspaper= (help)
↑ "Deep Minds: An Interview with Google's Alex Graves & Koray Kavukcuoglu". Retrieved May 17, 2016.
↑ Collier, Mark; Beel, Joeran (2018), "Implementing Neural Turing Machines", Artificial Neural Networks and Machine Learning – ICANN 2018 (به انگلیسی), Springer International Publishing: 94–104, arXiv:1807.08518, Bibcode:2018arXiv180708518C, doi:10.1007/978-3-030-01424-7_10, ISBN 978-3-030-01423-0
↑ "MarkPKCollier/NeuralTuringMachine". GitHub (به انگلیسی). Retrieved 2018-10-20.
↑ Beel, Joeran (2018-10-20). "Best-Paper Award for our Publication "Implementing Neural Turing Machines" at the 27th International Conference on Artificial Neural Networks | Prof. Joeran Beel (TCD Dublin)". Trinity College Dublin, School of Computer Science and Statistics Blog (به انگلیسی). Archived from the original on 17 July 2020. Retrieved 2018-10-20.
↑ "snowkylin/ntm". GitHub (به انگلیسی). Retrieved 2018-10-20.
↑ "chiggum/Neural-Turing-Machines". GitHub (به انگلیسی). Retrieved 2018-10-20.
↑ "yeoedward/Neural-Turing-Machine". GitHub (به انگلیسی). 2017-09-13. Retrieved 2018-10-20.
↑ "camigord/Neural-Turing-Machine". GitHub (به انگلیسی). Retrieved 2018-10-20.
↑ "carpedm20/NTM-tensorflow". GitHub (به انگلیسی). Retrieved 2018-10-20.
↑ "snipsco/ntm-lasagne". GitHub (به انگلیسی). Retrieved 2018-10-20.
↑ "loudinthecloud/pytorch-ntm". GitHub (به انگلیسی). Retrieved 2018-10-20.
↑ Administrator. "DeepMind's Differentiable Neural Network Thinks Deeply". www.i-programmer.info. Retrieved 2016-10-20.

[arxiv-1] ۱٫۰ ^۱٫۱ ^۱٫۲ Graves, Alex; Wayne, Greg; Danihelka, Ivo (2014). "Neural Turing Machines". arXiv:1410.5401 [cs.NE]. {{cite arxiv}}: Cite has empty unknown parameter: |newspaper= (help)

[MyUser_Https:_May_17_2016c-2] "Deep Minds: An Interview with Google's Alex Graves & Koray Kavukcuoglu". Retrieved May 17, 2016.

[3] Collier, Mark; Beel, Joeran (2018), "Implementing Neural Turing Machines", Artificial Neural Networks and Machine Learning – ICANN 2018 (به انگلیسی), Springer International Publishing: 94–104, arXiv:1807.08518, Bibcode:2018arXiv180708518C, doi:10.1007/978-3-030-01424-7_10, ISBN 978-3-030-01423-0

[4] "MarkPKCollier/NeuralTuringMachine". GitHub (به انگلیسی). Retrieved 2018-10-20.

[5] Beel, Joeran (2018-10-20). "Best-Paper Award for our Publication "Implementing Neural Turing Machines" at the 27th International Conference on Artificial Neural Networks | Prof. Joeran Beel (TCD Dublin)". Trinity College Dublin, School of Computer Science and Statistics Blog (به انگلیسی). Archived from the original on 17 July 2020. Retrieved 2018-10-20.

[:0-6] "snowkylin/ntm". GitHub (به انگلیسی). Retrieved 2018-10-20.

[:1-7] "chiggum/Neural-Turing-Machines". GitHub (به انگلیسی). Retrieved 2018-10-20.

[:2-8] "yeoedward/Neural-Turing-Machine". GitHub (به انگلیسی). 2017-09-13. Retrieved 2018-10-20.

[:3-9] "camigord/Neural-Turing-Machine". GitHub (به انگلیسی). Retrieved 2018-10-20.

[:4-10] "carpedm20/NTM-tensorflow". GitHub (به انگلیسی). Retrieved 2018-10-20.

[:5-11] "snipsco/ntm-lasagne". GitHub (به انگلیسی). Retrieved 2018-10-20.

[:6-12] "loudinthecloud/pytorch-ntm". GitHub (به انگلیسی). Retrieved 2018-10-20.

[13] Administrator. "DeepMind's Differentiable Neural Network Thinks Deeply". www.i-programmer.info. Retrieved 2016-10-20.

[۱]

[۲]

[۳]

[۴]

[۵]

[۶]

[۷]

[۸]

[۹]

[۱۰]

[۱۱]

[۱۲]

[۱۳]