پرش به محتوا

یکسوساز (شبکه عصبی)

از ویکی‌پدیا، دانشنامهٔ آزاد

در چاچوب شبکه عصبی مصنوعی، یکسوساز یک تابع فعال‌سازی که به صورت

تعریف شده که در آن x ورودی یک نورون است.[۱] این تابع به تابع شیب نیز شناخته می‌شود و قابل مقایسه با یکسوساز نیم‌موج در مهندسی برق است. در سال 2000 در مقاله‌ای در نیچر این تابع فعال‌سازی با انگیزه‌های زیست‌شناسی و توجیه ریاضی قوی توسط هانلوزر و همکاران ارائه شد. این تابع در شبکه‌های عصبی پیچشی به صورت بهینه‌تری نسبت به تابع لجستیک سیگموئید (که بر اساس نظریه احتمالات الهام گرفته شده‌است. برای اطلاعات بیشتر به رگرسیون لجستیک مراجعه شود) و تابع مشابه ولی کاربردی‌تر تانژانت هذلولوی استفاده شده‌است. یکسوساز در حال حاضر از پرطرفدارترین توابع فعال‌سازی برای شبکه‌های عمیق است.[۲]

به واحدی که از تابع یکسوساز استفاده می‌کند واحد یکسو شده‌ی خطی(ReLU) نیز می‌گویند.

واحدهای یکسو شده‌ی خطی در بینایی کامپیوتر و بازشناسی گفتار توسط شبکه‌های عمیق کاربرد دارند.[۳][۴]

انواع

[ویرایش]

واحد یکسو شده‌ی نویز دار

[ویرایش]

واحدهای یکسو شده‌ی خطی می‌توانند تعمیم داده شوند تا شامل یک نویز گاوسی باشد.

، با داشتن

واحدهای یکسو شده‌ی نویز دار در ماشین‌های محدود شده‌ی بلتزمن با موفقیت نسبی برای وظیفه‌های بینایی کامپیوتر استفاده شده‌اند.

واحد یکسو شده‌ی بانشت

[ویرایش]

این واحدها یک شیب نا صفر را در هنگامی که واحد فعال نیست عبور می‌دهند.

واحد یکسو شده‌ی پارامتردار این ایده را با در نظر گرفتن ضریب نشت به عنوان یک پارامتر قابل یادگیری همراه بقیه‌ی پارامترهای شبکه‌های عصبی کامل‌تر می‌کنند.

توجه شود که برای ، عبارت بالا معادل است با

و از این رو با شبکه‌های مکس‌اوت ربط دارند.[۵]

انواع غیر خطی

[ویرایش]
نمودار GELU و ReLU در نزدیکی x = 0

واحد خطی خطای گاوسی (Gaussian-Error Linear Unit)

[ویرایش]

واحد خطی خطای گاوسی (GELU) یک واحد تقریب هموارکننده است[۶]:

که Φ(x) تابع توزیع تجمیعی برای توزیع نرمال استاندارد است.

واحد خطی سیگموئید (SiLU)

[ویرایش]

این تابع نیز یک واحد تقریب هموار است:

که sigmoid(x) تابع سیگموئید است.

سافت‌‌پلاس

[ویرایش]

یک تقریب هموار برای یکسوساز تابع تحلیلی زیر است

که به آن سافت‌پلاس می‌گویند. مشتق سافت‌پلاس برابر است با

، یا همان تابع لجستیک.

تعمیم چندمتغیره سافت‌پلاس، LogSumExp می‌باشد به شرطی که آرگومان اول آن صفر قرار داده شده باشد.

مشتق تابع LogSumExp، همان بیشینه هموار است؛ بیشینه هموار با آرگومان اول صفر، تعمیم چندمتغیره تابع لجستیک است. هم LogSumExp هم بیشینه هموار در یادگیری ماشین کاربرد دارند.

واحد نمایی خطی (Exponential Linear Unit)

واحدهای نمایی خطی سعی می‌کنند میانگین فعال‌بودن‌ها را به صفر نزدیک کنند که باعث سرعت بخشیدن به فرایند یادگیری می‌شود. نشان داده شده که واحدهای نمایی خطی می‌توانند دقت دسته‌بندی بالاتری را نسبت به واحدهای یکسوسازی خطی به دست آورند.

در این معادله، a یک ابرپارامتر قابل یادگیری به شرط می‌باشد.

این تابع نیز یک تقریب هموار برای یکسوساز است که به صورت زیر تعریف می‌شود:

که از سافت‌پلاس و تانژانت هایپربولیک تشکیل شده است.[۷]

برتری‌ها

[ویرایش]
  • همخوانی با زیست‌شناسی:یک طرفه، درمقایسه‌ی با تابع پادمتقارن تانژانت هذلولولی
  • فعال بودن پراکنده:‌ برای مثال، در یک شبکه‌ی راه‌اندازی شده به صورت تصادفی تنها 50% واحدهای پنهان فعالیت دارند(خروجی غیر صفر دارند).
  • انتشار مشتق بهینه: عدم وجود مشکل گرادیان محو شونده.
  • محاسبه‌ی سریع: تنها مقایسه، جمع و ضرب.
  • مستقل از مقیاس:

برای اولین بار در 2011، نشان داده شد استفاده‌ی یکسوساز به عنوان یک مؤلفه‌ی غیرخطی اجازه می‌دهد که شبکه‌های عمیق با نظارت بدون نیاز به پیش‌تعلیم بی‌نظارت تعلیم داده شوند. واحدهای یکسوسازی شده‌ی خطی درمقایسه با تابع سیگموئید یا توابع فعال‌سازی مشابه، تعلیم سریع‌تر و بهینه‌تر معماری‌های عمیق را بر روی مجموعه‌داده‌های بزرگ و پیچیده اجازه می‌دهند.

مشکلات احتمالی

[ویرایش]
  • مشتق‌ناپذیر در صفر: گرچه در هر نقطه‌ی دیگر مشتق‌پذیر است، شامل نقاط مخالف ولی نزدیک به صفر.
  • مرکز غیر صفر.
  • بدون کران.
  • مشکل مرگ واحدهای یکسوساز خطی: عصب‌های یکسوساز ممکن است به یک وضعیت که در آن به ازای تمام ورودی‌ها غیر فعال باشند سوق داده شوند. در این حالت، هیچ مشتقی به سمت عقب عصب جریان پیدا نمی‌کند و به همین دلیل عصب به صورت دائم در یک وضعیت غیر فعال گیر می‌کند و به اصطلاح می‌میرد. در بعضی از موارد، تعداد زیادی از عصب‌ها در یک شبکه می‌توانند در این وضعیت گیر کنند و به صورتی مؤثری توانایی مدل را کاهش دهند. این مشکل در حالتی که ضریب یادگیری بالا است می‌تواند رخ دهد. این مشکل می‌تواند با استفاده از واحدهای یکسو شده‌ی با نشت به جای واحدهای سده کاهش پیدا کند.[۸]

جستارهای وابسته

[ویرایش]

منابع

[ویرایش]
  1. Brownlee، Jason (۲۰۱۹-۰۱-۰۸). «A Gentle Introduction to the Rectified Linear Unit (ReLU)». MachineLearningMastery.com (به انگلیسی). دریافت‌شده در ۲۰۲۲-۱۲-۲۹.
  2. Ramachandran, Prajit; Zoph, Barret; Le, Quoc V. (2017-10-27). "Searching for Activation Functions". arXiv:1710.05941 [cs].
  3. Zeiler, Matthew D.; Ranzato, M.; Monga, R.; Mao, Mark Z.; Yang, K.; Le, Quoc V.; Nguyen, P.; Senior, A.; Vanhoucke, Vincent (2013). "On rectified linear units for speech processing". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (به انگلیسی).
  4. Agarap, Abien Fred (2019-02-07). "Deep Learning using Rectified Linear Units (ReLU)". arXiv:1803.08375 [cs, stat].
  5. He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2015-02-06). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification". arXiv:1502.01852 [cs].
  6. Hendrycks, Dan; Gimpel, Kevin (2020-07-08). "Gaussian Error Linear Units (GELUs)". arXiv:1606.08415 [cs].
  7. Shaw, Sweta (2020-05-10). "Activation Functions Compared With Experiments". W&B (به انگلیسی). Retrieved 2022-12-29.
  8. Lu, Lu; Shin, Yeonjong; Su, Yanhui; Karniadakis, George Em (2020-10-21). "Dying ReLU and Initialization: Theory and Numerical Examples". arXiv:1903.06733 [cs, math, stat]. doi:10.4208/cicp.OA-2020-0165.