مدل سازنده

در دسته‌بندی آماری، دو روش اصلی به صورت روش سازنده و روش جداکننده نامیده می‌شوند. این دسته‌بندی‌کننده‌ها را با روش‌های گوناگونی که در درجه مدل‌سازی آماری متفاوت هستند، محاسبه می‌کنند. اصطلاحات در تناقض هستند، ^[الف] اما سه نوع اصلی را می‌توان متمایز کرد، به شکل زیر (Jebara 2004):

الگوی سازنده یک مدل آماری از توزیع احتمال مشترک است $P(X,Y)$ بر روی متغیر قابل مشاهده داده شده X و متغیر هدف Y ;^[۱]
الگوی تمایزی مدلی از احتمال شرطی است $P(Y\mid X=x)$ از هدف Y, با توجه به مشاهده x ; و
دسته‌بندی‌کننده‌هایی که بدون استفاده از یک مدل احتمال محاسبه می‌شوند، به‌طور بی قید به عنوان «متمایزکننده» شناخته می‌شوند.

تمایز بین این دو طبقه آخر به‌طور پیوسته انجام نشده‌است.^[۲] (Jebara 2004) به این سه طبقه به عنوان یادگیری سازنده، یادگیری شرطی و یادگیری متمایز اشاره می‌کند، اما (Ng و Jordan 2002) فقط دو طبقه را متمایز می‌کنند و آنها را طبقه‌بندی کننده‌های سازنده (توزیع مشترک) و طبقه‌بندی کننده‌های متمایز (توزیع شرطی یا بدون توزیع) می‌نامند، عدم تفاوت بین دو طبقه آخر.^[۳] به این ترتیب، طبقه‌بندی‌کننده بر پایه یک مدل سازنده، یک طبقه‌بندی کننده سازنده است، در حالی که طبقه‌بندی‌کننده مبتنی بر مدل تمایزی، یک طبقه‌بندی کننده متمایزکننده است، اگرچه این اصطلاح به طبقه‌بندی‌کننده‌هایی اشاره دارد که بر اساس مدل نیستند.

مثال‌های استاندارد از هر کدام که همه آن‌ها طبقه‌بندی کننده‌های خطی هستند عبارتند از:

طبقه‌بندی کننده‌های سازنده:
- طبقه‌بندی کننده ساده بیز و
- تحلیل متمایز کننده خطی
مدل متمایز:
- آمار بر پایه استدلال

در کاربرد طبقه‌بندی، فرد می‌خواهد از مسئله x به طبقه‌بندی y (یا توزیع احتمال روی طبقه‌ها) برود. می‌توان این را به‌طور مستقیم و بدون استفاده از توزیع احتمال (طبقه‌بندی کننده بدون توزیع) حساب کرد. با توجه به مسئله، می‌توان احتمال یک طبقه‌بندی و طبقه‌بندی بر اساس آن را حساب کرد، $P(Y|X=x)$ (مدل تمایزی)؛ یا می‌توان توزیع مشترک را ارزیابی کرد $P(X,Y)$ (مدل سازنده)، از آن احتمال شرطی $P(Y|X=x)$ و طبقه‌بندی بر اساس آن را می‌توان به دست آورد. این‌ها به شکل افزایشیی غیرمستقیم ولی احتمالی هستند، و اجازه می‌دهند علم حوزه و فرضیه احتمال بیشتری اجرا شود. در عمل براساس مسئله‌های خاص از روش‌های متفاوتی استفاده می‌شود و مخلوط‌ها می‌توانند نقاط قوت روش‌های گوناگون را ترکیب کنند.

تعریف[ویرایش]

یک بخش دیگر این موارد را به شکل متقارن به این شکل زیر تعریف می‌کند:

یک مدل سازنده مدلی از احتمال شرطی قابل مشاهده X است، یک هدف y معین می‌کند، به‌طور نمادین، $P(X\mid Y=y)$ ^[۴]
یک مدل متمایز مدلی از احتمال شرطی هدف Y است، با توجه به مسئله x، به‌طور نمادین، $P(Y\mid X=x)$ ^[۵]

با چشم پوشی از تعریف دقیق، این اصطلاح قانونمند است زیرا یک مدل سازنده می‌تواند برای «تولید» نمونه‌های تصادفی ( نتیجه‌ها) از یک مشاهده و هدف استفاده کند. یا یک مشاهده x با مقدار هدف y $(x,y)$ ،^[۴] در حالی که یک مدل متمایز یا طبقه‌بندی کننده تمایزی (بدون مدل) می‌تواند برای «تمایز» مقدار متغیر هدف Y با مشاهده x استفاده شود.^[۵] تفاوت بین " تمایز" (متمایز کردن) و " طبقه بندی " نامحسوس است و اینها به‌طور مداوم از هم متمایز نمی‌شوند. (اصطلاح «طبقه‌بندی‌کننده متمایزکننده» زمانی تبدیل به یک حرف بی‌مورد می‌شود که «تبعیض» معادل «طبقه‌بندی» باشد)

اصطلاح «مدل سازنده» همچنین برای توصیف مدل‌هایی استفاده می‌شود که نمونه‌هایی از متغیرهای خروجی را تولید می‌کنند به طوری که هیچ رابطه دقیقی با توزیع احتمال بر روی نمونه‌های پنهانی متغیرهای ورودی ندارد. شبکه‌های رقابتی سازنده نمونه‌هایی از این دسته از مدل‌های سازنده هستند و اساساً با شباهت خروجی‌های خاص به ورودی‌های پنهانی تشخیص داده می‌شوند. چنین مدل‌هایی طبقه‌بندی کننده نیستند.

روابط بین مدل‌ها[ویرایش]

در کاربرد طبقه‌بندی، X قابل مشاهده اغلب یک متغیر پیوسته‌است، Y هدف معمولاً یک متغیر گسسته شامل مجموعه‌ای محدود از طبقه‌بندی و احتمال شرطی است. $P(Y\mid X)$ همچنین می‌تواند به عنوان یک تابع هدف (غیر قطعی) تعریف شود $f\colon X\to Y$ ، X را به عنوان ورودی و Y را به عنوان خروجی در نظر می‌گیریم.

با توجه به مجموعه محدودی از طبقه‌ها، دو تعریف «مدل سازنده» ارتباط نزدیکی با هم دارند. مدلی از توزیع شرطی $P(X\mid Y=y)$ مدلی از توزیع هر طبقه است و مدل توزیع مشترک معادل مدلی از توزیع مقدارهای طبقه است. $P(Y)$ ، همراه با توزیع مشاهداتی که یک طبقه داده‌است، $P(X\mid Y)$ ; به صورت نمادین، $P(X,Y)=P(X\mid Y)P(Y).$ . بنابراین، در حالی که یک مدل از توزیع احتمال مشترک پرمعنی تر از مدل توزیع طبقه است (اما بدون وفور نسبی آنها)، این یک گام نسبتاً کوچک است، به همین خاطر اینها همیشه متمایز نیستند.

یادداشت‌ها[ویرایش]

↑ Three leading sources, Ng & Jordan 2002, Jebara 2004, and Mitchell 2015, give different divisions and definitions.

منابع[ویرایش]

↑ (Ng و Jordan 2002): "Generative classifiers learn a model of the joint probability, $p(x,y)$ , of the inputs x and the label y, and make their predictions by using Bayes rules to calculate $p(y\mid x)$ , and then picking the most likely label y.
↑ Jebara 2004: "This distinction between conditional learning and discriminative learning is not currently a well established convention in the field."
↑ Ng & Jordan 2002: "Discriminative classifiers model the posterior $p(y|x)$ directly, or learn a direct map from inputs x to the class labels."
↑ ^۴٫۰ ^۴٫۱ Mitchell 2015: "We can use Bayes rule as the basis for designing learning algorithms (function approximators), as follows: Given that we wish to learn some target function $f\colon X\to Y$ , or equivalently, $P(Y\mid X)$ , we use the training data to learn estimates of $P(X\mid Y)$ and $P(Y)$ . New X examples can then be classified using these estimated probability distributions, plus Bayes rule. This type of classifier is called a generative classifier, because we can view the distribution $P(X\mid Y)$ as describing how to generate random instances X conditioned on the target attribute Y.
↑ ^۵٫۰ ^۵٫۱ Mitchell 2015: "Logistic Regression is a function approximation algorithm that uses training data to directly estimate $P(Y\mid X)$ , in contrast to Naive Bayes. In this sense, Logistic Regression is often referred to as a discriminative classifier because we can view the distribution $P(Y\mid X)$ as directly discriminating the value of the target value Y for any given instance X

[1] Three leading sources, Ng & Jordan 2002, Jebara 2004, and Mitchell 2015, give different divisions and definitions.

[ngjordan2002generative-2] (Ng و Jordan 2002): "Generative classifiers learn a model of the joint probability, $p(x,y)$ , of the inputs x and the label y, and make their predictions by using Bayes rules to calculate $p(y\mid x)$ , and then picking the most likely label y.

[3] Jebara 2004: "This distinction between conditional learning and discriminative learning is not currently a well established convention in the field."

[4] Ng & Jordan 2002: "Discriminative classifiers model the posterior $p(y|x)$ directly, or learn a direct map from inputs x to the class labels."

[mitchell2015generative-5] ۴٫۰ ^۴٫۱ Mitchell 2015: "We can use Bayes rule as the basis for designing learning algorithms (function approximators), as follows: Given that we wish to learn some target function $f\colon X\to Y$ , or equivalently, $P(Y\mid X)$ , we use the training data to learn estimates of $P(X\mid Y)$ and $P(Y)$ . New X examples can then be classified using these estimated probability distributions, plus Bayes rule. This type of classifier is called a generative classifier, because we can view the distribution $P(X\mid Y)$ as describing how to generate random instances X conditioned on the target attribute Y.

[mitchell2015discriminative-6] ۵٫۰ ^۵٫۱ Mitchell 2015: "Logistic Regression is a function approximation algorithm that uses training data to directly estimate $P(Y\mid X)$ , in contrast to Naive Bayes. In this sense, Logistic Regression is often referred to as a discriminative classifier because we can view the distribution $P(Y\mid X)$ as directly discriminating the value of the target value Y for any given instance X

[الف]

[۱]

[۲]

[۳]

[۴]

[۵]