له‌نت

له نت (LeNet) یک ساختار شبکه عصبی کانولوشن است که توسط Yann LeCun و همکاران در سال ۱۹۸۹ پیشنهاد شده‌است. به‌طور کلی، له نت (LeNet) به lenet-5 اشاره دارد و یک شبکه عصبی کانولوشن ساده است. شبکه‌های عصبی کانولوشن نوعی شبکه عصبی پیش خور هستند که در ان نورون‌های مصنوعی می‌توانند به بخشی از سلول‌های اطراف در محدوده پوشش پاسخ دهند و در پردازش تصویر در مقیاس بزرگ عملکرد خوبی داشته باشند.

تاریخچه توسعه

lenet-5 یکی از اولین شبکه‌های عصبی کانولوشن بود و توسعه یادگیری عمیق را ارتقا داد. از سال ۱۹۸۸، پس از سالها تحقیق و تکرارهای موفقیت‌آمیز بسیاری، کار پیشگامان LeNet5 نامگذاری شده‌است. در سال ۱۹۸۹، یان لکون و همکاران در آزمایشگاه‌های بل ابتدا الگوریتم انتشار مجدد را در کاربردهای عملی اعمال کرد و معتقد بود که با یادگیری محدودیت‌های دامنه کار، توانایی یادگیری تعمیم شبکه تا حد زیادی افزایش می‌یابد. او یک شبکه عصبی کانولوشن آموزش دیده را ترکیب کرد که توسط الگوریتم‌های انتشار مجدد برای خواندن شماره‌های دست‌نویس آموزش داده شده و با موفقیت آن را در شناسایی شماره‌های کد پستی دست‌نویس ارائه شده توسط سرویس پستی ایالات متحده اعمال کرد. این نمونه اولیه چیزی بود که بعداً له نت (LeNet) نام گرفت. در همان سال، LeCun در مقاله دیگری یک مسئله کوچک شناسایی رقمی دست‌نویس را توصیف کرد و نشان داد که حتی اگر این مسئله به صورت خطی قابل تفکیک باشد، شبکه‌های تک لایه قابلیت‌های ضعیف تعمیم را به نمایش می‌گذارند. هنگام استفاده از آشکارسازهای ویژگی تغییرناپذیر در یک شبکه چند لایه و محدود، مدل می‌تواند عملکرد بسیار خوبی داشته باشد. وی معتقد بود که این نتایج ثابت می‌کند که به حداقل رساندن تعداد پارامترهای آزاد در شبکه عصبی می‌تواند توانایی تعمیم شبکه عصبی را افزایش دهد. در سال ۱۹۹۰، مقاله آنها کاربرد شبکه‌های انتشار مجدد در شناسایی رقمی دست‌نویس را دوباره توصیف کرد. آنها فقط پیش پردازش حداقل داده‌ها را انجام دادند و مدل با دقت برای این کار طراحی شده و بسیار محدود بود. داده‌های ورودی شامل تصاویر، هر یک حاوی یک عدد بود، و نتایج آزمون داده‌های دیجیتال کد پستی ارائه شده توسط سرویس پستی ایالات متحده نشان که مدل فقط دارای نرخ خطا ۱درصد و میزان رد در حدود ۹درصد بود. تحقیقات آنها برای هشت سال آینده ادامه داشت و در سال ۱۹۹۸، یان لکون، لئون بوتو، یوشوا بنگیو و پاتریک هافنر روش‌های مختلف شناسایی شخصیت دست‌نویس را در کاغذ بررسی کردند و از ارقام دست‌نویس استاندارد برای شناسایی وظایف معیار استفاده کردند. این مدل‌ها مقایسه شده و نتایج آنها نشان داد که این شبکه از همه مدل‌های دیگر بهتر عمل کرده‌است. آنها همچنین نمونه‌هایی از کاربردهای عملی شبکه‌های عصبی، مانند دو سیستم برای شناسایی شخصیت‌های دست‌نویس به‌صورت آنلاین و مدل‌هایی که می‌توانند میلیون‌ها چک در روز را بخوانند، ارائه کردند. این تحقیق موفقیت زیادی کسب کرده و علاقه محققان را به مطالعه شبکه‌های عصبی برانگیخته است. با این وجود که امروزه معماری شبکه‌های عصبی با بهترین عملکرد باز هم همانند شبکه له نت (LeNet) نیست، این شبکه نقطه شروع تعداد زیادی از معماری‌های شبکه عصبی بود و همچنین باعث ایجاد انگیزه در این زمینه شد.

ساختار

له نت (LeNet) به عنوان نماینده شبکه عصبی کانولوشن اولیه، دارای واحدهای اساسی شبکه عصبی کانولوشن است، مانند لایه کانولوشن، لایه استخر و لایه اتصال کامل، و پایه ای برای توسعه آینده شبکه عصبی کانولوشن. lenet-5 از هفت لایه تشکیل شده‌است که علاوه بر ورودی، هر لایه دیگر می‌تواند پارامترها را آموزش دهد.

امکانات

-هر لایه کانولوشن شامل سه قسمت است: توابع کانولوشن، جمع کردن و فعال سازی غیرخطی. -استفاده از کانولوشن برای استخراج ویژگی‌های فضایی (در ابتدا Convolution را زمینه‌های پذیرا می‌نامیدند). -نمونه برداری از لایه استخر متوسط. -استفاده از MLP به عنوان آخرین طبقه‌بندی. -اتصال پراکنده بین لایه‌ها برای کاهش پیچیدگی محاسبات.

کاربرد

تشخیص تصاویر ساده رقمی کلاسیک‌ترین کاربرد له نت (LeNet) است چون به همین دلیل مطرح شد. هنگامی که یان لکون، و همکاران، فرم اولیه له نت (LeNet) را در سال ۱۹۸۹ مطرح کردند. مقاله Backpropagation اعمال شده در شناسایی کد پستی دست‌نویس نشان می‌دهد که چگونه می‌توان چنین محدودیت‌هایی را از طریق معماری شبکه در یک شبکه کپی برداری ادغام کرد؛ و با موفقیت در شناسایی ارقام کد پستی دست‌نویس ارائه شده توسط سرویس پستی ایالات متحده اعمال شد.

تجزیه و تحلیل توسعه

به معنای ظهور CNN (شبکه عصبی کانولوشن) است و اجزای اساسی CNN را تعریف می‌کند. اما در آن زمان به دلیل کمبود تجهیزات سخت‌افزاری محبوب نبود، به ویژه GPU (واحد پردازش گرافیک، یک مدار الکترونیکی تخصصی طراحی شده برای دستکاری سریع و تغییر حافظه برای تسریع در ایجاد تصاویر در یک بافر فریم که برای خروجی به دستگاه نمایشگر در نظر گرفته شده‌است) و الگوریتم‌های دیگر مانند SVM (پشتیبانی-ماشین بردار) می‌توانند به اثرات مشابه دست یابند یا حتی از له نت (LeNet) فراتر روند. از زمان موفقیت AlexNet در سال ۲۰۱۲، CNN به بهترین گزینه برای برنامه‌های دید رایانه تبدیل شده‌است و انواع مختلف CNN مانند سری R-CNN مطرح شده‌است.

این روزها، مدل‌های CNN کاملاً متفاوت از له نت (LeNet) هستند، ولی همه آنها بر اساس له نت (LeNet) ساخته شده‌اند.

منابع

• LeCun, Y. ; Boser, B. ; Denker, J. S. ; Henderson, D. ; Howard, R. E. ; Hubbard, W. ; Jackel, L. D. (دسامبر ۱۹۸۹). "Backpropagation Applied to Handwritten Zip Code Recognition". Neural Computation. 1 (4): 541–551. doi:10.1162/neco.1989.1.4.541. ISSN 0899-7667. S2CID 41312633
• Lecun, Yann (ژوئن ۱۹۸۹). "Generalization and network design strategies" (PDF). Technical Report CRG-TR-89-4. Department of Computer Science, University of Toronto.