آدالاین

آدالاین‌( نورون خطی تطبیقی ​​یا عنصر خطی تطبیقی ) یک شبکه عصبی مصنوعی تک لایه و نام دستگاهی است که این شبکه را پیاده سازی کرده است. شبکه از ممیستورها استفاده می کند. این توسط پروفسور برنارد ویدرو و دانشجوی دکترای او تد هاف در دانشگاه استنفورد در سال 1960 توسعه یافت. بر اساس پرسپترون است. این از یک وزن، جانبداری و یک تابع جمع تشکیل شده است.

تفاوت بین آدالاین و پرسپترون استاندارد (مک کالوخ-پیتس) در نحوه یادگیری آنهاست. وزن واحد آدالاین برای مطابقت با سیگنال آموزنده، قبل از اعمال تابع Heaviside تنظیم می شود (شکل را ببینید)، اما وزن واحد پرسپترون استاندارد برای مطابقت با خروجی صحیح، پس از اعمال تابع Heaviside تنظیم می شود.

یک شبکه چند لایه از واحدهای آدالاین (ADALINE) یک مادالین (MADALINE) است.

تعریف ها

آدالاین یک شبکه عصبی تک لایه با چندین گره است که هر گره چندین ورودی را می پذیرد و یک خروجی تولید می کند. با توجه به متغیرهای زیر:

• $\displaystyle x$ بردار ورودی
• ${\displaystyle w}$ بردار وزن
• $\displaystyle n$ تعداد ورودی
• $\displaystyle \theta$ عدد ثابت
• $\displaystyle y$ خروجی مدل

${\displaystyle {\displaystyle y=\sum _{j=1}^{n}x_{j}w_{j}+\theta }}$ اگر در ادامه درنظر بگیریم که

• ${\displaystyle {\displaystyle x_{0}=1}}$
• ${\displaystyle {\displaystyle w_{0}=\theta }}$

سپس خروجی به نتیجه زیر کاهش می یابد: ${\displaystyle {\displaystyle y=\sum _{j=0}^{n}x_{j}w_{j}}}$

قانون یادگیری

قانون یادگیری مورد استفاده توسط آدالاین الگوریتم LMS ( حداقل میانگین مربعات )، یک مورد خاص از گرادیان نزولی است.

نمادهای زیر را تعریف کنید:

• ${\displaystyle {\displaystyle \eta }}$ نرخ یادگیری است (مقدار ثابت مثبت)
• $\displaystyle y$ خروجی مدل
• $\displaystyle o$ خروجی هدف
• ${\displaystyle {\displaystyle E=(o-y)^{2}}}$ مربع خطا

الگوریتم LMS ( حداقل میانگین مربعات ) وزن ها را بر اساس زیر بروز رسانی می کند:

${\displaystyle {\displaystyle w\leftarrow w+\eta (o-y)x.}}$

این قانون  را به حداقل می رساند، مربع خطا و در واقع گرادیان تصادفی نزولی برای رگرسیون خطی است.

مادالاین

مادالاین (آدالاین چندتایی) یک معماری شبکه عصبی مصنوعی سه لایه (ورودی، مخفی، خروجی)، کاملاً متصل و پیشخور برای دسته بندی آماری است که از واحدهای آدالاین در لایه های مخفی و خروجی خود استفاده می کند، یعنی تابع فعال سازی آن تابع علامت است. شبکه سه لایه از ممیستورها استفاده می کند. سه الگوریتم آموزشی متفاوت برای شبکه‌های مادالاین، که نمی‌توان با استفاده از پس انتشار به دلیل متمایز نبودن تابع علامت، یاد گرفت. پیشنهاد شده است که Rule II ، Rule I و Rule III نامیده می‌شوند.

علاوه بر تلاش های فراوان، آنها هرگز موفق به تمرین بیش از یک لایه وزنه در یک مادالاین نشدند. این تا زمانی بود که ویدرو الگوریتم پس انتشار را در کنفرانسی سال 1982 دید.

قانون 1 مادالاین (MRI) - اولین این قوانین به سال 1962 باز می گردد. از دو لایه تشکیل شده است. لایه اول از واحدهای آدالاین ساخته شده است. اجازه دهید خروجی $\displaystyle i$-امین واحد آدالاین $\displaystyle o_{i}$ باشد. لایه دوم دارای دو واحد است. یکی واحد رای اکثریت است: همه را می گیرد o، و اگر موارد مثبت بیشتر از منفی باشد، واحد خروجی 1+ می دهد و بالعکس. دیگری "تعیین کننده کار" است. فرض کنید خروجی مورد نظر و خروجی با رای اکثریت متفاوت است، فرض کنید خروجی مورد نظر 1- است، سپس تعیین کننده کار حداقل تعداد واحدهای آدالاین را محاسبه می کند که باید خروجی های خود را از مثبت به منفی تغییر دهند, سپس آن دسته از واحدهای آدالین را که نزدیک به منفی هستند انتخاب می کند و آنها را وادار می کند وزن خود را مطابق قانون یادگیری آدالاین به روز کنند. این به عنوان شکلی از "قاعده حداقلی اغتشاش" در نظر گرفته شد.

بزرگترین دستگاه مادالاین ساخته شده, دارای 1000 وزن بوده که هر کدام توسط یک ممیستور اجرا می شد.

قانون مادالاین 2 (MRII) - دومین الگوریتم آموزشی که بهبود یافته قانون I است و در سال 1988 شرح داده شد. الگوریتم آموزشی Rule II بر اساس اصلی به نام «اغتشاش حداقلی» است. با چرخش بر نمونه های آموزشی و سپس برای هر مثال، آن را:

• واحد لایه پنهان (طبقه‌بندی آدالاین) را با کمترین اطمینان در پیش‌بینی آن پیدا می‌کند. به طور آزمایشی علامت واحد را برمیگرداند.
• بر اساس کاهش خطای شبکه، تغییر را می پذیرد یا رد می کند.
• زمانی که خطا صفر شود متوقف می شود.

قانون 3 مادالاین - سومین "قانون" برای یک شبکه اصلاح شده با فعال سازی های سیگموئید به جای signum اعمال می شود. بعدها مشخص شد که معادل پس انتشار است.

علاوه بر آن، زمانی که چرخاندن علائم واحدهای واحد خطا را برای یک مثال خاص به صفر نمی رساند، الگوریتم آموزشی شروع به چرخاندن جفت علائم واحد، سپس سه برابر واحد و غیره می کند.

جستارهای وابسته

• پرسپترون چندلایه

لینک ها

• "قانون یادگیری دلتا: آدالاین". شبکه های عصبی مصنوعی Universidad Politécnica de Madrid. بایگانی شده از نسخه اصلی
• "شبکه های عصبی چندلایه مبتنی بر ممریستور با آموزش آنلاین شیب نزولی". پیاده سازی الگوریتم آدالاین با ممریستور در محاسبات آنالوگ.