پیش‌بینی ساختاریافته

پیش‌بینی ساختاریافته یا یادگیری ساختار یافته (خروجی) یک اصطلاح کلی برای تکنیک‌های یادگیری ماشین تحت نظارت است که شامل پیش‌بینی اشیا ساخت‌یافته است، به جای مقادیر عددی گسسته یا حقیقی.

مشابه تکنیک‌های یادگیری نظارت شده که معمولاً مورد استفاده قرار می‌گیرند، مدل‌های پیش‌بینی ساخت‌یافته به‌طور معمول با استفاده از داده‌های مشاهده شده که در آن از مقدار پیش‌بینی درست برای تنظیم پارامترهای مدل استفاده می‌شود، آموزش می‌بینند. با توجه به پیچیدگی مدل و روابط متقابل متغیرهای پیش‌بینی شده، فرایند پیش‌بینی با استفاده از یک مدل آموزش دیده و خود آموزش دهنده اغلب از نظر محاسباتی غیرممکن است و از استنباط تقریبی و از روش‌های یادگیری استفاده می‌شود.

برنامه‌های کاربردی

به عنوان مثال، مسئله ترجمه جمله‌ای از زبان طبیعی به نمایش نحوی مانند درخت تجزیه را می‌توان به عنوان یک مسئله پیش‌بینی ساخت یافته در نظر گرفت که در آن دامنه خروجی ساختاریافته مجموعه تمام درختان تجزیه احتمالی است. پیش‌بینی ساختاری همچنین در طیف گسترده‌ای از حوزه‌های کاربردی از جمله بیوانفورماتیک، پردازش زبان طبیعی، تشخیص گفتار و بینایی رایانه استفاده می‌شود.

مثال: برچسب‌گذاری دنباله

برچسب‌گذاری دنباله دسته‌ای از مسائل رایج در پردازش زبان طبیعی است، جایی که داده‌های ورودی اغلب دنباله هستند (به عنوان مثال جملات متن). مسئله برچسب‌گذاری دنباله در چندین شکل ظاهر می‌شود، مانند برچسب زدن بخشی از گفتار و شناسایی موجودیت نامگذاری شده. به عنوان مثال در برچسب‌گذاری بخشی از گفتار (P.O.S)، هر کلمه در یک دنباله باید یک «برچسب» (برچسب کلاس) دریافت کند که «نوع» کلمه آن را بیان کند:

این	تخصیص گر
یک	تخصیص گر
جمله	اسم
برچسب دار	صفت
است	فعل
.	.

چالش اصلی این مسئله حل ابهام است: کلمه «جمله» همچنین می‌تواند در انگلیسی یک فعل باشد و همین‌طور «برچسب‌گذاری» می‌شود.

در حالی که این مسئله می‌تواند با انجام ساده طبقه‌بندی توکن‌ها حل شود، اما این واقعیت تجربی را در نظر نمی‌گیرد که برچسب‌ها مستقل یافت نمی‌شوند. در عوض، هر برچسب وابستگی شدید شرطی به برچسب کلمه قبلی را نشان می‌دهد. این واقعیت را می‌توان در یک مدل دنباله مثل یک مدل مخفی مارکوف یا یک زمینه تصادفی شرطی که کل دنباله برچسب را برای یک جمله، و نه فقط برچسب‌های جداگانه، با استفاده از الگوریتم ویتربی، پیش‌بینی کرد.

تکنیک‌ها

مدل‌های گرافیکی احتمالی دسته بزرگی از مدل‌های پیش‌بینی ساختاریافته را تشکیل می‌دهند. به‌طور خاص، شبکه‌های بیزی و زمینه‌های تصادفی محبوب هستند. الگوریتم‌ها و مدل‌های دیگر برای پیش‌بینی ساختاریافته شامل برنامه‌ریزی منطق استقرایی، استدلال مبتنی بر مورد، ماشین‌های بردار پشتیبان ساختاریافته، شبکه‌های منطقی مارکوف و مدل‌های شرطی محدود شده است. تکنیک‌های اصلی:

• فیلد تصادفی شرطی
• ماشین بردار پشتیبان ساختاریافته
• k- نزدیکترین همسایگان ساختاریافته
• شبکه عصبی بازگشتی، به ویژه شبکه المان

پرسپترون ساختاریافته

یکی از ساده‌ترین راه‌ها برای درک الگوریتم‌های پیش‌بینی ساختاریافته عمومی، پرسپترون ساختاریافته کالینز است. این الگوریتم ترکیبی از الگوریتم پرسپترون برای یادگیری طبقه‌بندی کننده‌های خطی با یک الگوریتم استنتاج (به‌طور کلاسیک الگوریتم ویتربی هنگامی که در داده‌های توالی استفاده می‌شود) است و می‌تواند به صورت خلاصه به شرح زیر توصیف شود. ابتدا یک «تابع ویژگی مشترک» (Φ(x , y تعریف کنید که یک نمونه آموزشی x و یک پیش‌بینی نامزدی y را به یک بردار با طول n نگاشت می‌کند (x و y ممکن است هر ساختاری داشته باشد؛ n وابسته به مسئله است، اما برای هر مدل باید ثابت شود). با فرض این‌که GEN تابعی باشد که پیش‌بینی نامزدها را ایجاد می‌کند. سپس:

با فرض این‌که $w$ یک بردار وزن با طول n باشد

برای تعداد تکرارهای از پیش تعیین شده:

برای هر نمونه $x$ در مجموعه آموزشی با خروجی درست $t$:

یک پیش‌بینی می‌کند ${\hat {y}}={\operatorname {arg\,max} }\,\{{y}\in {GEN}({x})\}\,({w}^{T}\,\phi ({x},{y}))$

به روز رسانی $w$ ، از ${\hat {y}}$ به $t$: ${w}={w}+{c}(-\phi ({x},{\hat {y}})+\phi ({x},{t}))$ ، $c$ نرخ یادگیری است

در عمل، پیدا کردن argmax نسبت به ${GEN}({x})$ با استفاده از یک الگوریتم مانند ویتربی یا یک الگوریتم مانند حداکثر جمع، به جای جستجوی جامع از طریق یک مجموعه گسترده از نامزدها انجام خواهد شد.

ایده یادگیری مشابه پرسپترون چند کلاسه است.

منابع

• Noah Smith, Linguistic Structure Prediction, 2011.
• Michael Collins, Discriminative Training Methods for Hidden Markov Models بایگانی‌شده در ۳۰ اکتبر ۲۰۲۰ توسط Wayback Machine, ۲۰۰۲.

پیوند به بیرون

• اجرای پرسپترون ساختاریافته کالینز