یادگیری عمیق: تفاوت میان نسخه‌ها

از ویکی‌پدیا، دانشنامهٔ آزاد
نمایش تاریخچه به صورت تعاملی
→ تفاوت قدیمی‌ترتفاوت جدیدتر ←
محتوای حذف‌شده محتوای افزوده‌شده
دیداریویکی‌متن
Pouyan.J (بحث | مشارکت‌ها)
۳۳ ویرایش‌ها
جز تغییر عنوان زیربخش ۲ به ۱
Pouyan.J (بحث | مشارکت‌ها)
۳۳ ویرایش‌ها
افزودن بخش «تاریخچه»
خط ۳۰: خط ۳۰:
== مفهوم ==
== مفهوم ==
یادگیری عمیق زیرشاخه‌ای از [[یادگیری ماشین]] است که از لایه‌های متعدد تبدیلات خطی به منظور پردازش سیگنال‌های حسی مانند صدا و تصویر استفاده می‌کند. ماشین در این روش هر مفهوم پیچیده را به مفاهیم ساده‌تری تقسیم می‌کند، و با ادامهٔ این روند به مفاهیم پایه‌ای می‌رسد که قادر به تصمیم‌گیری برای آن‌ها است و بدین ترتیب نیازی به نظارت کامل انسان برای مشخص کردن اطلاعات لازم ماشین در هر لحظه نیست. موضوعی که در یادگیری عمیق اهمیت زیادی دارد، نحوهٔ ارائهٔ اطلاعات است. ارائه دادن اطلاعات به ماشین باید به نحوی باشد که ماشین در کمترین زمان اطلاعات کلیدی را که می‌تواند با استناد به آن‌ها تصمیم بگیرد را دریافت کند. هنگام طراحی الگوریتم‌های یادگیری عمیق می‌بایست به عوامل دگرگونی (به انگلیسی: factors of variation) که اطلاعات مشاهده شده را توضیح می‌دهند توجه کنیم، این عوامل معمولاً عوامل قابل‌مشاهده‌ای نیستند بلکه عواملی هستند که بر روی دستهٔ قابل مشاهده تأثیرگذار بوده یا زادهٔ ساختارهای ذهنی انسان برای ساده‌تر کردن مسائل هستند. برای مثال در هنگام [[پردازش گفتار]] عوامل دگرگونی می‌توانند لهجهٔ گوینده، سن یا جنسیت او باشند. در هنگام پردازش تصویر یک ماشین، میزان درخشش خورشید یک عامل دگرگونی است. یکی از مشکلات [[هوش مصنوعی]] تأثیر زیاد عوامل دگرگونی بر روی اطلاعات دریافتی است. برای مثال بسیاری از پیکسل‌های دریافتی از یک ماشین قرمز در شب ممکن است سیاه دیده بشوند. برای حل این مشکلات بعضاً به درک بالای اطلاعات (در حدود انسان) نیازمندیم و در واقع گاهی یافتن نحوهٔ مناسب نمایش اطلاعات به اندازهٔ خود مسئله سخت و زمان‌بر است.
یادگیری عمیق زیرشاخه‌ای از [[یادگیری ماشین]] است که از لایه‌های متعدد تبدیلات خطی به منظور پردازش سیگنال‌های حسی مانند صدا و تصویر استفاده می‌کند. ماشین در این روش هر مفهوم پیچیده را به مفاهیم ساده‌تری تقسیم می‌کند، و با ادامهٔ این روند به مفاهیم پایه‌ای می‌رسد که قادر به تصمیم‌گیری برای آن‌ها است و بدین ترتیب نیازی به نظارت کامل انسان برای مشخص کردن اطلاعات لازم ماشین در هر لحظه نیست. موضوعی که در یادگیری عمیق اهمیت زیادی دارد، نحوهٔ ارائهٔ اطلاعات است. ارائه دادن اطلاعات به ماشین باید به نحوی باشد که ماشین در کمترین زمان اطلاعات کلیدی را که می‌تواند با استناد به آن‌ها تصمیم بگیرد را دریافت کند. هنگام طراحی الگوریتم‌های یادگیری عمیق می‌بایست به عوامل دگرگونی (به انگلیسی: factors of variation) که اطلاعات مشاهده شده را توضیح می‌دهند توجه کنیم، این عوامل معمولاً عوامل قابل‌مشاهده‌ای نیستند بلکه عواملی هستند که بر روی دستهٔ قابل مشاهده تأثیرگذار بوده یا زادهٔ ساختارهای ذهنی انسان برای ساده‌تر کردن مسائل هستند. برای مثال در هنگام [[پردازش گفتار]] عوامل دگرگونی می‌توانند لهجهٔ گوینده، سن یا جنسیت او باشند. در هنگام پردازش تصویر یک ماشین، میزان درخشش خورشید یک عامل دگرگونی است. یکی از مشکلات [[هوش مصنوعی]] تأثیر زیاد عوامل دگرگونی بر روی اطلاعات دریافتی است. برای مثال بسیاری از پیکسل‌های دریافتی از یک ماشین قرمز در شب ممکن است سیاه دیده بشوند. برای حل این مشکلات بعضاً به درک بالای اطلاعات (در حدود انسان) نیازمندیم و در واقع گاهی یافتن نحوهٔ مناسب نمایش اطلاعات به اندازهٔ خود مسئله سخت و زمان‌بر است.

== تاریخچه ==
نخستین [[الگوریتم]] عملی یادگیرنده برای [[پرسپترون]]<nowiki/>‌های چندلایه‌ی نظارت‌شده، ژرف و [[شبکه عصبی پیشخور|پیش‌خور]]، در دهه‌ی ۱۹۶۰ توسط [[الکسی ایواخننکو]] - معروف به «پدر یادگیری عمیق»<ref>{{یادکرد وب|عنوان=Paper by "Deep Learning Conspiracy" in Nature|نشانی=http://people.idsia.ch/~juergen/deep-learning-conspiracy.html|وبگاه=people.idsia.ch|بازبینی=2020-11-04}}</ref> - و والنتن لاپا منتشر شد.{{نیازمند منبع|date=نوامبر ۲۰۲۰}} در سال ۱۹۷۱، مقاله‌ای یک شبکه‌ی ژرف با هشت لایه را توصیف کرد که عملیات یادگیری را با [[متد گروهی مدیریت داده]] (GMDH) انجام داده بود.<ref>{{Cite journal|last=Ivakhnenko|first=A. G.|date=1971-10|title=Polynomial Theory of Complex Systems|url=http://ieeexplore.ieee.org/document/4308320/|journal=IEEE Transactions on Systems, Man, and Cybernetics|volume=SMC-1|issue=4|pages=364–378|doi=10.1109/TSMC.1971.4308320|issn=0018-9472}}</ref> سایر معماری‌های یادگیری عمیق و به ویژه آن‌هایی که برای [[بینایی رایانه‌ای|بینایی رایانه]] ساخته شده بودند، در ۱۹۸۰ و با Neocognitron معرفی‌شده توسط [[کونیهیکو فوکوشیما]] آغاز گشتند.<ref>{{Cite journal|last=Fukushima|first=Kunihiko|date=1980-04|title=Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position|url=http://dx.doi.org/10.1007/bf00344251|journal=Biological Cybernetics|volume=36|issue=4|pages=193–202|doi=10.1007/bf00344251|issn=0340-1200}}</ref>

لفظ ''یادگیری عمیق''، نخستین‌بار در ۱۹۸۶ و توسط [[رینا دِختِر]] به انجمن یادگیری ماشین<ref>{{یادکرد وب|عنوان=(PDF) Learning While Searching in Constraint-Satisfaction-Problems.|نشانی=https://www.researchgate.net/publication/221605378_Learning_While_Searching_in_Constraint-Satisfaction-Problems|وبگاه=ResearchGate|بازبینی=2020-11-04|کد زبان=en}}</ref><ref>{{Cite journal|last=Schmidhuber|first=Juergen|date=2015-11-28|title=Deep Learning|url=http://www.scholarpedia.org/article/Deep_Learning|journal=Scholarpedia|language=en|volume=10|issue=11|pages=32832|doi=10.4249/scholarpedia.32832|issn=1941-6016}}</ref>، و در ۲۰۰۰ توسط ایگور آیزنبرگ و همکارانش به [[شبکه عصبی مصنوعی|شبکه‌های عصبی مصنوعی]] و در زمینه‌ی نورون‌های حدآستانه‌ی [[شبکه بولی|بولی]] معرفی شد.<ref>{{Cite journal|last=Aizenberg|first=Igor N.|last2=Aizenberg|first2=Naum N.|last3=Vandewalle|first3=Joos|date=2000|title=Multi-Valued and Universal Binary Neurons|url=http://dx.doi.org/10.1007/978-1-4757-3115-6|doi=10.1007/978-1-4757-3115-6}}</ref><ref>{{Cite journal|last=Gomez|first=Faustino J.|last2=Schmidhuber|first2=Jürgen|date=2005|title=Co-evolving recurrent neurons learn deep memory POMDPs|url=http://dx.doi.org/10.1145/1068009.1068092|journal=Proceedings of the 2005 conference on Genetic and evolutionary computation - GECCO '05|location=New York, New York, USA|publisher=ACM Press|doi=10.1145/1068009.1068092|isbn=1-59593-010-8}}</ref>

در ۱۹۸۹، [[یان لی کان|یان لی‌کان]] و همکاران الگوریتم استاندارد [[پس‌انتشار]] را برای یک شبکه‌ی عصبی عمیق با هدف [[تشخیص دست خط|تشخیص متن‌های دست‌نویس]] (به طور خاص با هدف بازشناسی کدهای پستی دست‌نویس روی نامه‌های پستی) به کار بست. درحالی که الگوریتم کار کرد، عملیات یادگیری آن به سه روز زمان نیاز داشت.<ref>{{Cite journal|last=LeCun|first=Y.|last2=Boser|first2=B.|last3=Denker|first3=J. S.|last4=Henderson|first4=D.|last5=Howard|first5=R. E.|last6=Hubbard|first6=W.|last7=Jackel|first7=L. D.|date=1989-12|title=Backpropagation Applied to Handwritten Zip Code Recognition|url=http://dx.doi.org/10.1162/neco.1989.1.4.541|journal=Neural Computation|volume=1|issue=4|pages=541–551|doi=10.1162/neco.1989.1.4.541|issn=0899-7667}}</ref> الگوریتم پس‌انتشار از ۱۹۷۰ به عنوان حالت معکوس مشتق خودکار وجود داشت.<ref>{{Cite journal|last=Linnainmaa|first=Seppo|date=1976-06|title=Taylor expansion of the accumulated rounding error|url=http://dx.doi.org/10.1007/bf01931367|journal=BIT|volume=16|issue=2|pages=146–160|doi=10.1007/bf01931367|issn=0006-3835}}</ref><ref>Griewank, Andreas. "Who invented the reverse mode of differentiation." ''Documenta Mathematica, Extra Volume ISMP'' (2012): 389-400. (PDF) https://www.math.uni-bielefeld.de/documenta/vol-ismp/52_griewank-andreas-b.pdf</ref>


== کاربردها ==
== کاربردها ==
خط ۴۹: خط ۵۶:
یادگیری عمیق اثر بزرگی در پیشرفت شاخه‌ی پردازش زبان‌های طبیعی ایجاد کرده و با ایجاد یک چهارچوب مدل‌سازی قدرتمند، به نتایج چشم‌گیری دست یافته است.<ref>{{Cite journal|date=2018|editor-last=Deng|editor-first=Li|editor2-last=Liu|editor2-first=Yang|title=Deep Learning in Natural Language Processing|url=http://dx.doi.org/10.1007/978-981-10-5209-5|doi=10.1007/978-981-10-5209-5}}</ref> به عنوان نمونه، مدل زبانی [[جی‌پی‌تی-۳]] از [[اوپن ای‌آی]] با بهره‌گیری روش‌های یادگیری عمیق قادر به تولید متونی مشابه متون نوشته‌شده توسط انسان است.<ref>{{یادکرد وب|عنوان=OpenAI API|نشانی=https://openai.com/blog/openai-api/|وبگاه=OpenAI|تاریخ=2020-06-11|بازبینی=2020-11-03|کد زبان=en}}</ref>
یادگیری عمیق اثر بزرگی در پیشرفت شاخه‌ی پردازش زبان‌های طبیعی ایجاد کرده و با ایجاد یک چهارچوب مدل‌سازی قدرتمند، به نتایج چشم‌گیری دست یافته است.<ref>{{Cite journal|date=2018|editor-last=Deng|editor-first=Li|editor2-last=Liu|editor2-first=Yang|title=Deep Learning in Natural Language Processing|url=http://dx.doi.org/10.1007/978-981-10-5209-5|doi=10.1007/978-981-10-5209-5}}</ref> به عنوان نمونه، مدل زبانی [[جی‌پی‌تی-۳]] از [[اوپن ای‌آی]] با بهره‌گیری روش‌های یادگیری عمیق قادر به تولید متونی مشابه متون نوشته‌شده توسط انسان است.<ref>{{یادکرد وب|عنوان=OpenAI API|نشانی=https://openai.com/blog/openai-api/|وبگاه=OpenAI|تاریخ=2020-06-11|بازبینی=2020-11-03|کد زبان=en}}</ref>


=== تشخیص '''الکترومیوگرافی''' ===
=== تشخیص الکترومیوگرافی ===
[[سیگنال (مهندسی برق)|سیگنال]]<nowiki/>‌های [[نوار عصب و عضله|الکترومیوگرافی]] می‌توانند به عنوان رابطی میان انسان و ماشین عمل کرده و با تحلیل آن‌ها از مقصود کاربر جهت کنترل تجهیزات گوناگون بهره برد. به عنوان نمونه، افراد دچار نقص عضو می‌توانند اعضایی مصنوعی را جایگزین عضو قطع‌شده‌ی خود کرده و آن‌ها را به شیوه‌ی مؤثری کنترل کنند. و یا با همین روش می‌توان اعضایی کمکی و تقویت‌کننده همچون اسکلت خارجی را کنترل کرد. برای تحلیل این سیگنال‌های خام و ارائه‌ی خروجی مناسب برای کنترل دستگاه، بهره‌گیری از روش یادگیری عمیق می‌تواند بسیار کاربردی باشد.<ref>{{Cite journal|last=Jafarzadeh|first=M.|last2=Hussey|first2=D. C.|last3=Tadesse|first3=Y.|date=2019-09|title=Deep learning approach to control of prosthetic hands with electromyography signals|url=https://ieeexplore.ieee.org/document/8955725/|journal=2019 IEEE International Symposium on Measurement and Control in Robotics (ISMCR)|pages=A1–4–1-A1-4-11|doi=10.1109/ISMCR47492.2019.8955725}}</ref>
[[سیگنال (مهندسی برق)|سیگنال]]<nowiki/>‌های [[نوار عصب و عضله|الکترومیوگرافی]] می‌توانند به عنوان رابطی میان انسان و ماشین عمل کرده و با تحلیل آن‌ها از مقصود کاربر جهت کنترل تجهیزات گوناگون بهره برد. به عنوان نمونه، افراد دچار نقص عضو می‌توانند اعضایی مصنوعی را جایگزین عضو قطع‌شده‌ی خود کرده و آن‌ها را به شیوه‌ی مؤثری کنترل کنند. و یا با همین روش می‌توان اعضایی کمکی و تقویت‌کننده همچون اسکلت خارجی را کنترل کرد. برای تحلیل این سیگنال‌های خام و ارائه‌ی خروجی مناسب برای کنترل دستگاه، بهره‌گیری از روش یادگیری عمیق می‌تواند بسیار کاربردی باشد.<ref>{{Cite journal|last=Jafarzadeh|first=M.|last2=Hussey|first2=D. C.|last3=Tadesse|first3=Y.|date=2019-09|title=Deep learning approach to control of prosthetic hands with electromyography signals|url=https://ieeexplore.ieee.org/document/8955725/|journal=2019 IEEE International Symposium on Measurement and Control in Robotics (ISMCR)|pages=A1–4–1-A1-4-11|doi=10.1109/ISMCR47492.2019.8955725}}</ref>


نسخهٔ ‏۴ نوامبر ۲۰۲۰، ساعت ۱۸:۴۶

بخشی از مقاله‌ها درباره
هوش مصنوعی
اهداف عمده
رویکردها
فلسفه
تاریخ
فناوری
واژه‌نامه
برای یادگیری سطحی دربرابر عمیق در روان‌شناسی آموزشی، رویکردهای دانش‌آموز به یادگیری را ببینید. برای اطلاعات بیش‌تر، شبکه عصبی مصنوعی را ببینید.

یادگیری ژرف (به انگلیسی: Deep learning) (به بیانی دیگر: یادگیری ژرف ماشین، یادگیری ساختار ژرف یا یادگیری سلسله مراتبی) یک زیر شاخه از یادگیری ماشین و بر مبنای مجموعه‌ای از الگوریتم‌ها است که در تلاشند تا مفاهیم انتزاعی سطح بالا در دادگان را مدل نمایند که این فرایند را با استفاده از یک گراف عمیق که دارای چندین لایه پردازشی متشکل از چندین لایه تبدیلات خطی و غیرخطی هستند، مدل می‌کنند. به بیان دیگر پایه‌ی آن بر یادگیری نمایش دانش و ویژگی‌ها در لایه‌های مدل است.[۱]

یک نمونه آموزشی (برای نمونه: تصویر یک گربه) می‌تواند به صورت‌های گوناگون بسان یک بردار ریاضی پر شده از مقدار به ازای هر پیکسل و در دید کلی‌تر به شکل یک مجموعه از زیرشکل‌های کوچک‌تر (نظیر اعضای صورت گربه) مدل‌سازی شود. برخی از این روش‌های مدل‌سازی سبب ساده شدن فرایند یادگیری ماشین (برای نمونه: تشخیص تصویر گربه) می‌شوند. در یادگیری ژرف امید به جایگزینی استخراج این ویژگی‌های تصویر به دست بشر (مانند اعضای گربه) با روش‌های کامل‌خودکار بی‌نظارت و نیمه‌نظارتی وجود دارد.[۲]

انگیزه‌ی نخستین در به وجود آمدن این ساختار یادگیری از راه بررسی ساختار عصبی در مغز انسان الهام گرفته شده‌است که در آن یاخته‌های عصبی با فرستادن پیام به یکدیگر درک را امکان‌پذیر می‌کنند.[۳] بسته به فرض‌های گوناگون در مورد نحوهٔ اتصال این یاخته‌های عصبی، مدل‌ها و ساختارهای مختلفی در این حوزه پیشنهاد و بررسی شده‌اند، هرچند که این مدل‌ها به صورت طبیعی در مغز انسان وجود ندارد و مغز انسان پیچیدگی‌های بیشتری را دارا است. این مدل‌ها نظیر شبکه عصبی عمیق، شبکه عصبی هم‌گشتی، شبکه باور عمیق و... پیشرفت‌های خوبی را در حوزه‌های پردازش زبان‌های طبیعی، پردازش تصویر ایجاد کرده‌اند.

در حقیقت عبارت یادگیری عمیق، بررسی روش‌های تازه برای شبکه عصبی مصنوعی است.[۴][۵]

تعریف

یادگیری عمیق، رده‌ای از الگوریتم‌های یادگیری ماشین است که[۶]: ۱۹۹–۲۰۰  از چندین لایه برای استخراج ویژگی‌های سطح بالا از ورودی خام استفاده می‌کنند. به بیانی دیگر، رده‌ای از تکنیک‌های یادگیری ماشین که از چندین لایه‌ی پردازش اطلاعات و به‌ویژه اطلاعات غیرخطی بهره می‌برد تا عملیات تبدیل یا استخراج ویژگی نظارت‌شده یا نظارت‌نشده را عموماً با هدف تحلیل یا بازشناخت الگو، کلاس‌بندی، خوشه‌بندی انجام دهد.[۷]

برای مثال، در پردازش تصویر، لایه‌های پست‌تر می‌توانند لبه‌ها را تشخیص دهند، در حالی که لایه‌های عالی‌تر ممکن است ویژگی‌های پرمعناتر برای انسان، همچون حروف یا چهره‌ها، را تشخیص دهند.

نموداری چندلایه که در پست‌ترین لایه، عکس چند جانور (فیل، کانگورو و پنگوئن) قرار گرفته و فیل به عنوان ورودی برگزیده شده است. سپس در لایه‌های بالاتر لبه‌هایی از بدن فیل تشخیص داده شده و به تدریج شمای کلی بدن فیل را تشکیل می‌دهند تا نهایتاً در لایه‌ی خروجی (بالاترین لایه)، برچسب فیل (از میان برچسب‌های دیگری چون کانگورو و پنگوئن برگزیده شده است.
نمایی از چگونگی استخراج ویژگی جهت کلاس‌بندی تصاویر با روش یادگیری عمیق[۸]

مفهوم

یادگیری عمیق زیرشاخه‌ای از یادگیری ماشین است که از لایه‌های متعدد تبدیلات خطی به منظور پردازش سیگنال‌های حسی مانند صدا و تصویر استفاده می‌کند. ماشین در این روش هر مفهوم پیچیده را به مفاهیم ساده‌تری تقسیم می‌کند، و با ادامهٔ این روند به مفاهیم پایه‌ای می‌رسد که قادر به تصمیم‌گیری برای آن‌ها است و بدین ترتیب نیازی به نظارت کامل انسان برای مشخص کردن اطلاعات لازم ماشین در هر لحظه نیست. موضوعی که در یادگیری عمیق اهمیت زیادی دارد، نحوهٔ ارائهٔ اطلاعات است. ارائه دادن اطلاعات به ماشین باید به نحوی باشد که ماشین در کمترین زمان اطلاعات کلیدی را که می‌تواند با استناد به آن‌ها تصمیم بگیرد را دریافت کند. هنگام طراحی الگوریتم‌های یادگیری عمیق می‌بایست به عوامل دگرگونی (به انگلیسی: factors of variation) که اطلاعات مشاهده شده را توضیح می‌دهند توجه کنیم، این عوامل معمولاً عوامل قابل‌مشاهده‌ای نیستند بلکه عواملی هستند که بر روی دستهٔ قابل مشاهده تأثیرگذار بوده یا زادهٔ ساختارهای ذهنی انسان برای ساده‌تر کردن مسائل هستند. برای مثال در هنگام پردازش گفتار عوامل دگرگونی می‌توانند لهجهٔ گوینده، سن یا جنسیت او باشند. در هنگام پردازش تصویر یک ماشین، میزان درخشش خورشید یک عامل دگرگونی است. یکی از مشکلات هوش مصنوعی تأثیر زیاد عوامل دگرگونی بر روی اطلاعات دریافتی است. برای مثال بسیاری از پیکسل‌های دریافتی از یک ماشین قرمز در شب ممکن است سیاه دیده بشوند. برای حل این مشکلات بعضاً به درک بالای اطلاعات (در حدود انسان) نیازمندیم و در واقع گاهی یافتن نحوهٔ مناسب نمایش اطلاعات به اندازهٔ خود مسئله سخت و زمان‌بر است.

تاریخچه

نخستین الگوریتم عملی یادگیرنده برای پرسپترون‌های چندلایه‌ی نظارت‌شده، ژرف و پیش‌خور، در دهه‌ی ۱۹۶۰ توسط الکسی ایواخننکو - معروف به «پدر یادگیری عمیق»[۹] - و والنتن لاپا منتشر شد.[نیازمند منبع] در سال ۱۹۷۱، مقاله‌ای یک شبکه‌ی ژرف با هشت لایه را توصیف کرد که عملیات یادگیری را با متد گروهی مدیریت داده (GMDH) انجام داده بود.[۱۰] سایر معماری‌های یادگیری عمیق و به ویژه آن‌هایی که برای بینایی رایانه ساخته شده بودند، در ۱۹۸۰ و با Neocognitron معرفی‌شده توسط کونیهیکو فوکوشیما آغاز گشتند.[۱۱]

لفظ یادگیری عمیق، نخستین‌بار در ۱۹۸۶ و توسط رینا دِختِر به انجمن یادگیری ماشین[۱۲][۱۳]، و در ۲۰۰۰ توسط ایگور آیزنبرگ و همکارانش به شبکه‌های عصبی مصنوعی و در زمینه‌ی نورون‌های حدآستانه‌ی بولی معرفی شد.[۱۴][۱۵]

در ۱۹۸۹، یان لی‌کان و همکاران الگوریتم استاندارد پس‌انتشار را برای یک شبکه‌ی عصبی عمیق با هدف تشخیص متن‌های دست‌نویس (به طور خاص با هدف بازشناسی کدهای پستی دست‌نویس روی نامه‌های پستی) به کار بست. درحالی که الگوریتم کار کرد، عملیات یادگیری آن به سه روز زمان نیاز داشت.[۱۶] الگوریتم پس‌انتشار از ۱۹۷۰ به عنوان حالت معکوس مشتق خودکار وجود داشت.[۱۷][۱۸]

کاربردها

بینایی رایانه

مقالهٔ اصلی: بینایی رایانه‌ای

یکی از نخستین زمینه‌های بسیار موفق برای یادگیری عمیق که پتانسیل بالقوه‌ی این روش در حل مسائل را نشان داد، در حوزه‌ی بازشناسی تصویر رخ داد.

صحنه‌ای از یک خیابان نسبتاً شلوغ با تعدادی اتوموبیل سواری و موتور سیکلت در آن که هر یک توسط یک الگوریتم بینایی ماشین رهگیری شده، مستطیلی به دورش رسم شده و برچسبی به بالای مستطیل زده شده است.
رهگیری خودکار حرکت وسایل نقلیه که از وظایف مهم یک خودروی خودران نیز محسوب می‌شود.

از سال ۲۰۱۰ و در پروژه‌ای موسوم به ایمیج‌نت مسابقه‌ای سالانه برگزار می‌شود که شرکت‌کنندگان با ارائه‌ی الگوریتم‌های کامپیوتری گوناگون، تلاش به بازشناسی تصاویر دیجیتالی در مقیاس کلان کرده و بر سر دست‌یابی به دقّت‌های بالاتر با یک‌دیگر رقابت می‌کنند. حال در سال ۲۰۱۲، یک شبکه‌ی عصبی هم‌گشتی به نام الکس‌نت در این رقابت به کار رفت و با کسب نتایجی بسیار چشم‌گیر، توجه‌های گسترده‌ای را به سوی روش یادگیری عمیق جلب کرد؛ به شکلی که به باور برخی، در این سال «انقلاب یادگیری عمیق» رخ داد. لازم به ذکر است که دقت الکس‌نت در تشخیص تصاویر پایگاه داده‌ی ایمیج‌نت از دقت انسان نیز فراتر بود (هرچند البته حتی پیش از ارائه‌ی الکس‌نت نیز الگوریتم‌های دیگری به عملکرد فراانسانی دست پیدا کرده بودند).[۱۹][۲۰]

امروزه نیز شبکه‌های عصبی در بینایی رایانه دارای نقشی کلیدی بوده و برای اهداف گوناگونی چون بازشناسی تصویر، تشخیص چهره، رهگیری اجسام، حذف نویز، رنگی‌کردن تصاویر سیاه و سفید، ترمیم تصاویر آسیب‌دیده، رده‌بندی تصاویر پزشکی و... به کار می‌رود.[۲۱]

بازشناسی خودکار گفتار

مقالهٔ اصلی: بازشناسی گفتار

از دیگر زمینه‌های موفق برای یادگیری عمیق، تشخیص و بازشناسی خودکار گفتار در مقیاس گسترده است که معمولاً توسط مدل‌های مبتنی بر شبکه عصبی بازگشتی (به ویژه از نوع ال‌اس‌تی‌ام) و شبکه عصبی هم‌گشتی انجام می‌گیرد.[۲۲]

پردازش زبان‌های طبیعی

مقالهٔ اصلی: پردازش زبان‌های طبیعی

یادگیری عمیق اثر بزرگی در پیشرفت شاخه‌ی پردازش زبان‌های طبیعی ایجاد کرده و با ایجاد یک چهارچوب مدل‌سازی قدرتمند، به نتایج چشم‌گیری دست یافته است.[۲۳] به عنوان نمونه، مدل زبانی جی‌پی‌تی-۳ از اوپن ای‌آی با بهره‌گیری روش‌های یادگیری عمیق قادر به تولید متونی مشابه متون نوشته‌شده توسط انسان است.[۲۴]

تشخیص الکترومیوگرافی

سیگنال‌های الکترومیوگرافی می‌توانند به عنوان رابطی میان انسان و ماشین عمل کرده و با تحلیل آن‌ها از مقصود کاربر جهت کنترل تجهیزات گوناگون بهره برد. به عنوان نمونه، افراد دچار نقص عضو می‌توانند اعضایی مصنوعی را جایگزین عضو قطع‌شده‌ی خود کرده و آن‌ها را به شیوه‌ی مؤثری کنترل کنند. و یا با همین روش می‌توان اعضایی کمکی و تقویت‌کننده همچون اسکلت خارجی را کنترل کرد. برای تحلیل این سیگنال‌های خام و ارائه‌ی خروجی مناسب برای کنترل دستگاه، بهره‌گیری از روش یادگیری عمیق می‌تواند بسیار کاربردی باشد.[۲۵]

سامانه‌ی پیشنهادگر

مقالهٔ اصلی: سامانه توصیه‌گر

سامانه‌های پیشنهادگر از یادگیری عمیق جهت استخراج ویژگی‌های معنادار برای یک مدل فاکتورهای پنهان به منظور پیشنهادهای محتوا-محور موسیقی و مجله بهره برده‌اند.[۲۶][۲۷] یادگیری عمیق چنددیدگاهی (به انگلیسی: multi-view deep learning) جهت یادگیری ترجیح‌های کاربر از چندین دامنه به کار می‌رود.[۲۸]

سرمایه‌گذاری

در طرح‌های سرمایه‌گذاری، از یادگیری عمیق برای افزایش میزان بازده استفاده می‌شود.[۲۹]

جستارهای وابسته

منابع

  1. ↑ Bengio, Y. (2009). Learning Deep Architectures for AI (PDF). Now Publishers. Archived from the original (PDF) on 21 March 2014. Retrieved 17 February 2013.
  2. ↑ Song, Hyun Ah, and Soo-Young Lee. "Hierarchical Representation Using NMF." Neural Information Processing. Springer Berlin Heidelberg, 2013.
  3. ↑ Olshausen, Bruno A. "Emergence of simple-cell receptive field properties by learning a sparse code for natural images." Nature 381.6583 (1996): 607-609.
  4. ↑ Ronan Collobert (May 6, 2011). "Deep Learning for Efficient Discriminative Parsing". videolectures.net. Ca. 7:45.
  5. ↑ Gomes, Lee (20 October 2014). "Machine-Learning Maestro Michael Jordan on the Delusions of Big Data and Other Huge Engineering Efforts". IEEE Spectrum.
  6. ↑ Deng, L.; Yu, D. (2014). "Deep Learning: Methods and Applications" (PDF). Foundations and Trends in Signal Processing. 7 (3–4): 1–199. doi:10.1561/2000000039.
  7. ↑ DengLi; YuDong (2014-06-30). "Deep Learning". Foundations and Trends in Signal Processing (به انگلیسی). doi:10.1561/2000000039.
  8. ↑ Schulz, Hannes; Behnke, Sven (2012-11-01). "Deep Learning". KI - Künstliche Intelligenz (به انگلیسی). 26 (4): 357–363. doi:10.1007/s13218-012-0198-z. ISSN 1610-1987.
  9. ↑ «Paper by "Deep Learning Conspiracy" in Nature». people.idsia.ch. دریافت‌شده در ۲۰۲۰-۱۱-۰۴.
  10. ↑ Ivakhnenko, A. G. (1971-10). "Polynomial Theory of Complex Systems". IEEE Transactions on Systems, Man, and Cybernetics. SMC-1 (4): 364–378. doi:10.1109/TSMC.1971.4308320. ISSN 0018-9472. {{cite journal}}: Check date values in: |date= (help)
  11. ↑ Fukushima, Kunihiko (1980-04). "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position". Biological Cybernetics. 36 (4): 193–202. doi:10.1007/bf00344251. ISSN 0340-1200. {{cite journal}}: Check date values in: |date= (help)
  12. ↑ "(PDF) Learning While Searching in Constraint-Satisfaction-Problems". ResearchGate (به انگلیسی). Retrieved 2020-11-04.
  13. ↑ Schmidhuber, Juergen (2015-11-28). "Deep Learning". Scholarpedia (به انگلیسی). 10 (11): 32832. doi:10.4249/scholarpedia.32832. ISSN 1941-6016.
  14. ↑ Aizenberg, Igor N.; Aizenberg, Naum N.; Vandewalle, Joos (2000). "Multi-Valued and Universal Binary Neurons". doi:10.1007/978-1-4757-3115-6. {{cite journal}}: Cite journal requires |journal= (help)
  15. ↑ Gomez, Faustino J.; Schmidhuber, Jürgen (2005). "Co-evolving recurrent neurons learn deep memory POMDPs". Proceedings of the 2005 conference on Genetic and evolutionary computation - GECCO '05. New York, New York, USA: ACM Press. doi:10.1145/1068009.1068092. ISBN 1-59593-010-8.
  16. ↑ LeCun, Y.; Boser, B.; Denker, J. S.; Henderson, D.; Howard, R. E.; Hubbard, W.; Jackel, L. D. (1989-12). "Backpropagation Applied to Handwritten Zip Code Recognition". Neural Computation. 1 (4): 541–551. doi:10.1162/neco.1989.1.4.541. ISSN 0899-7667. {{cite journal}}: Check date values in: |date= (help)
  17. ↑ Linnainmaa, Seppo (1976-06). "Taylor expansion of the accumulated rounding error". BIT. 16 (2): 146–160. doi:10.1007/bf01931367. ISSN 0006-3835. {{cite journal}}: Check date values in: |date= (help)
  18. ↑ Griewank, Andreas. "Who invented the reverse mode of differentiation." Documenta Mathematica, Extra Volume ISMP (2012): 389-400. (PDF) https://www.math.uni-bielefeld.de/documenta/vol-ismp/52_griewank-andreas-b.pdf
  19. ↑ Alom, Md Zahangir; Taha, Tarek M.; Yakopcic, Christopher; Westberg, Stefan; Sidike, Paheding; Nasrin, Mst Shamima; Van Esesn, Brian C.; Awwal, Abdul A. S.; Asari, Vijayan K. (2018-09-12). "The History Began from AlexNet: A Comprehensive Survey on Deep Learning Approaches". arXiv:1803.01164 [cs].
  20. ↑ «ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012)». www.image-net.org. دریافت‌شده در ۲۰۲۰-۱۱-۰۳.
  21. ↑ Voulodimos, Athanasios; Doulamis, Nikolaos; Doulamis, Anastasios; Protopapadakis, Eftychios (2018-02-01). "Deep Learning for Computer Vision: A Brief Review". Computational Intelligence and Neuroscience (به انگلیسی). Retrieved 2020-11-03.
  22. ↑ Kim, John; Saurous, Rif A. (2018-09-02). "Emotion Recognition from Human Speech Using Temporal Information and Deep Learning". Interspeech 2018. ISCA: ISCA. doi:10.21437/interspeech.2018-1132.
  23. ↑ Deng, Li; Liu, Yang, eds. (2018). "Deep Learning in Natural Language Processing". doi:10.1007/978-981-10-5209-5. {{cite journal}}: Cite journal requires |journal= (help)
  24. ↑ "OpenAI API". OpenAI (به انگلیسی). 2020-06-11. Retrieved 2020-11-03.
  25. ↑ Jafarzadeh, M.; Hussey, D. C.; Tadesse, Y. (2019-09). "Deep learning approach to control of prosthetic hands with electromyography signals". 2019 IEEE International Symposium on Measurement and Control in Robotics (ISMCR): A1–4–1-A1-4-11. doi:10.1109/ISMCR47492.2019.8955725. {{cite journal}}: Check date values in: |date= (help)
  26. ↑ van den Oord, Aäron; Dieleman, Sander; Schrauwen, Benjamin (2013-03-14). "Learning a piecewise linear transform coding scheme for images". International Conference on Graphic and Image Processing (ICGIP 2012). SPIE. doi:10.1117/12.2011134.
  27. ↑ Feng, Xiaoyue; Zhang, Hao; Ren, Yijie; Shang, Penghui; Zhu, Yi; Liang, Yanchun; Guan, Renchu; Xu, Dong (2019). "The Deep Learning–Based Recommender System "Pubmender" for Choosing a Biomedical Publication Venue: Development and Validation Study". Journal of Medical Internet Research (به انگلیسی). 21 (5): e12957. doi:10.2196/12957. PMC 6555124. PMID 31127715.{{cite journal}}: نگهداری یادکرد:فرمت پارامتر PMC (link)
  28. ↑ Elkahky, Ali Mamdouh; Song, Yang; He, Xiaodong (2015). "A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems". Proceedings of the 24th International Conference on World Wide Web - WWW '15. New York, New York, USA: ACM Press. doi:10.1145/2736277.2741667. ISBN 978-1-4503-3469-3.
  29. ↑ «Improving Stock Return Forecasting by Deep Learning Algorithm» (PDF). Advances in mathematical finance & applications. ۴ (۳): ۱۳. ۳ فوریه ۲۰۱۹. doi:10.22034/amfa.2019.584494.1173. دریافت‌شده در ۳۰ مه ۲۰۱۹.

پیوند به بیرون

برگرفته از «https://fa.wikipedia.org/w/index.php?title=یادگیری_عمیق&oldid=30295006»