فراوانی وزنی تی‌اف-آی‌دی‌اف

از ویکی‌پدیا، دانشنامهٔ آزاد
پرش به ناوبری پرش به جستجو

مخّففِ term frequency - inverse document frequency یا فراوانی اصطلاح- معکوس فراوانی متن است.tf-idf در بازیابی‌اطلاعات ، یک آمار عددی است که میزان اهمیت یک کلمه نسبت به یک سند در یک مجموعه‌ای از اسناد را نشان می‌دهد. در واقع هدف این سیستمِ وزن‌دهی، نشان‌دادن اهمیت کلمه در متن است. که اغلب در جستجو‌های درون بازیابی‌اطلاعات،متن کاوی و مدل‌سازی کاربر(به انگلیسی: User modeling) استفاده می‌شود. مقدار tf-idf به تناسب تعداد تکرار کلمه در سند افزایش می‌یابد و توسط تعداد اسنادی که در مجموعه هستند و شامل کلمه نیز می‌باشند متعادل می شود. به این معنی که اگر کلمه‌ای در بسیاری از متون ظاهر شود احتمالاً کلمه‌ای متداول است و ارزش چندانی در ارزیابی متن ندارد.در حال حاضر tf-idf یکی از محبوب ترین روش‌های وزن‌گذاری اصطلاحات می‌باشد و امروزه بیش از ۸۳ درصد از سامانه‌های توصیه‌گر در کتابخانه‌های دیجیتال از این روش وزن‌دهی اصطلاحات استفاده می‌کنند.

این اختلاف بین وزن‌ها که توسط روش tf-idf ایجاد می‌شود توسط بیشتر موتورهای جستجو به عنوان ابزار اصلی رتبه‌دهی و امتیاز‌دهی اسناد پرس و جو شده کاربر استفاده می‌شود.و همچنین برای فیلتر کردن ایست واژه ها(به انگلیسی: stop-words )در زمینه های موضوعی مختلف، از جمله خلاصه‌سازی ودسته‌بندی متن با موفقیت استفاده شده است.یکی از ساده ترین تابع های رتبه بندی با جمع کردن وزن بدست آمده توسط tf-idf برای هر اصطلاح پرس و جو محاسبه می شود. بسیاری از توابع رتبه بندی پیچیده تر بر اساس این مدل ساده به وجود آمده اند.


انگیزه ها[ویرایش]

فراوانی اصطلاح(کلمه)[ویرایش]

فرض کنید ما مجموعه ای از اسناد متنی انگلیسی داریم و می‌خواهیم اسناد را به نسبت ارتباطشان با پرس و جو رتبه بندی کنیم.مثلاً "the brown cow" را در نظر بگیرید.یک راه ساده برای شروع این است که اسناد و مدارک که شامل هر سه کلمه "brown"، "cow" و "the" نیستند را حذف کنیم ، اما این کار هنوز اسناد زیادی را باقی می گذارد.برای تشخیص و رتبه بندی بهتر آنها، ممکن است تعداد دفعاتی که هر اصطلاح در هر سند اتفاق می افتد، شمارش شود؛ تعداد دفعاتی که یک اصطلاح در یک سند اتفاق می افتد فراوانی اصطلاح نامیده می شود.با این حال، در مواردی که در آن طول اسناد بسیار متفاوت است، اغلب تنظیماتی برای متعادل سازی وزن انجام می شود ( به تعریف زیر نگاه کنید).اولين حالت وزن گذاری به وسيله هانس پيتر لوون (1957) انجام شد كه مي توان آن را اینطور خلاصه كرد:

وزن یک اصطلاح که در یک سندآمده است به سادگی متناسب با فراوانی اصطلاح است.


معکوس فروانی سند[ویرایش]

از آنجا که اصطلاح "the" بسیار رایج است، فراوانی اصطلاح به اشتباه و بدون دادن وزن کافی به شرایط معنی دار تر "brown" و "cow" بر اسناد و مدارک که کلمه "the" بیشتر در آن ها تکرارشده است ،تاکید می کند.اصطلاح "the" بر خلاف واژه های رایج تر "brown" و "cow" کلید واژه ای مناسب برای تشخیص اسناد واصطلاحات مرتبط و غیر مرتبط نیست.بنابراین فاکتور " معکوس فراوانی سند " در نظر گرفته شده است که وزن اصطلاحاتی را که در مجموعه سند بسیار تکرار می شوند را کاهش دهد و وزن اصطلاحاتی که به ندرت در سند ظاهر می‌شوند را افزایش دهد.کارن اسپارک جونز (1972) یک تعبیرآماری از ویژگی‌های اصطلاح به نام معکوس فراوانی سند (idf) را به وجود آورد که پایه و اساس وزن‌دهی به اصطلاحات بود:

یک اصطلاح را می توان توسط یک تابع معکوس از تعداد اسناد که در آن ظاهر می‌شود ، تعیین کیفیت کرد.

تعریف[ویرایش]

tf-idf از دو مقدار عددی فراوانی اصطلاح و معکوس فراوانی سند بدست می‌آید،. راه های مختلفی برای تعیین ارزش دقیق هر دو مقدار وجود دارد.

فراوانی اصطلاح[ویرایش]

متغیرهای فراوانی اصطلاح (tf)
weighting scheme tf weight
دو دویی 0و1
شمارش خام
فرکانس اصطلاح
نرمال سازی لگاریتمی
double normalization 0.5
double normalization K

در مورد فراوانی اصطلاح (به انگلیسی: term frequency)tf(t,d) ساده ترین راه شمارش تعداد تکرار اصطلاح در سند می‌باشد ،(تعداد تکرار اصطلاح t در سند d).اگر ما شمارش خام را با ft,d نشان دهیم ساده‌ترین طرح tf می‌تواندtf(t,d) = ft,d باشد.که تعاریف دیگری نیز دارد::

که این موارد در جدول روبرو نیز به صورت خلاصه آمده:

  • فراوانی بولی :اگر اصطلاح t در سند d آمده باشدtf(t,d) = 1 در غیر این صورت tf(t,d) = 0
  • فراوانی اصطلاح بر اساس طول سند تنظیم شده است:(تعداد کلمات موجود در سند d ) ÷ ft,d
  • فراوانی مقیاس لگاریتمی:

tf(t,d) = log (1 + ft,d)

  • فراوانی افزوده :به منظور جلوگیر از تمایل به طرف اسناد طولانی تر

معکوس فراوانی سند[ویرایش]

انواع معکوس فراوانی سند
طرح وزن idf weight ()
یگانی 1
فرکانس سند معکوس
فرکانس سند معکوس صاف
فرکانس سند معکوس حداکثر
فرکانس سند معکوس احتمالی

معکوس فراوانی سند اندازه گیری میزان اطلاعاتی است که کلمه (برای مثال، اگر در همه اسناد معمول یا نادر باشد) ارائه می دهدد. در واقع معکوس فراوانی سند، لگاریتم معکوس کسر اسنادی است که حاوی کلمه هستند (به وسیله تقسیم تعداد کل اسناد به تعداد اسناد حاوی اصطلاح و سپس گرفتن لگاریتم این معادله):

که در این معادله:

  • :تعداد کل اسناد موجود در مجموعه
  •  : تعداد اسنادی که اصطلاح  در آن‌ها آورده شده .) اگر اصطلاح در هیچ سندی نباشد ممکن است مخرج کسر صفر شود برای جلوگیری از این مشکل راه کار زیر را داریم.

فراوانی اصطلاح-معکوس فراوانی اصطلاح[ویرایش]

حالت های مختلف توابع معکوس فراوانی سند : استاندارد، یکنواخت، احتمالاتی. پس tf-idf به این صورت محاسبه می‌شود:

وزن بالا در tf-idf توسط تکرار زیاد یک اصطلاح (در سند داده شده) و تعداد تکرار کم در اسناد مجموعه بدست می‌آید.و به این صورت وزن اصطلاحات رایج متعادل می شود.و از آن جایی که مقدار تابع لگاریتمی idf همیشه بیشتر یا برابر مقدار ۱ می‌باشد می توان نتیجه گرفت مقدار tf-idf همیشه بیشتر یا برابر مقدار ۰ می‌باشد. به عنوان مثال یک اصطلاح که دربیشتر اسناد ظاهر می شود، نسبت داخل لگاریتم را به 1 نزدیک می‌کند، و idf و tf-idf را به صفر نزدیکتر می کند.

طرح های وزن گذاری توصیه شده برای tf-idf
weighting scheme document term weight query term weight
1
2
3

توجیه idf[ویرایش]

IDF در سال 1972 توسط کارن جونز معرفی شد، به عنوان "ویژگی اصطلاح". اگر چه به خوبی به عنوان یک اکتشاف کار کرده است، ولی تعریف پایه های نظری آن حداقل برای سه دهه پس از معرفی آن مشکل بوده است، و بسیاری از محققان تلاش دارند تا یکنظریه اطلاعات برای آن پیدا کنند.

توضیح خود اسپارک جونز توضیح علمی زیادی ارائه نمی دهد، به جز ارتباط با قانون زیف. Attempts have been made to put idf on a probabilistic footing, تلاش هایی برای قرار دادن idf بر پایه نظریه احتمال انجام شده است. تلاش هایی برای قرار دادن idf برپایه احتمال انجام شده است با برآورد احتمال اینکه یک سند داده شده d شامل یک عبارت t به عنوان فرکانس سند نسبی باشد،

پس می توان idf را به صورت زیر تعریف کرد:

استفاده از چنین مفاهیمی در مورد مسائل بازیابی اطلاعات منجر به مشکل در هنگام تعریف فضاهای رویداد مناسب برای توزیع احتمالی مورد نیاز می شود: نه تنها باید اسناد را در نظر گرفت، بلکه همچنین پرس و جو و اصطلاحات را نیز باید در نظر گرفت.


مثالی برای tf-idf[ویرایش]

فرض کنید که ما تعداد جداول اصطلاح یک متن را داریم که متشکل از تنها دو سند است، همانطور که در سمت راست ذکر شده است.

سند 2
اصطلاح تعداد تکرار اصطلاح
this 1
is 1
another 2
example 3
سند 1
اصطلاح تعداد تکرار اصطلاح
this 1
is 1
a 2
sample 1

محاسبه tf-idf برای اصطلاح "this" به صورت زیر انجام می شود:

در فرم فرکانس خام، TF تنها فرکانس "this" برای هر سند است. در هر سند، کلمه "this" یکبار تکرار شده است ؛ اما همانطور که مشاهده میشود سند 2 کلمات بیشتری دارد،در نتیجه فرکانس نسبی آن کوچکتر است.

یک IDF در هر واحد ثابت است و برای نسبت اسنادی که عبارت «this» را شامل می شوند، حساب می شود. در این مورد، ما یک مجموعه از دو سند داریم و همه آنها شامل کلمه "this" است.

بنابراین TF-idf برای کلمه "این" صفر است، که این بدان معنی است که کلمه بسیار موثری نیست، زیرا در تمام اسناد ظاهر می شود.

کلمه "example" موثر تر است زیرا سه بار تکرار میگردد ، و تنها در سند دوم تکرار میشود :

در پایان ,

فراتر از اصطلاحات[ویرایش]

ایده TF-idf نیز به اشخاص غیر از شرایط اعمال می شود. در سال 1998، مفهوم idf به نقل قولها اعمال شد. نویسندگان اظهار داشتند که "اگر یک استناد بسیار غیرمستقیم با دو اسناد به اشتراک گذاشته شود، این باید بیشتر از یک استناد با تعداد زیادی از اسناد" وزن شود. " علاوه بر این، TF-idf به "کلمات بصری" با هدف انجام تطبیق جسم در فیلم ها و جملات کامل اعمال شد. با این حال، مفهوم tf-idf در همه موارد موثرتر از یک طرح tf ساده (بدون idf) اثبات کرد. هنگامی که TF-idf برای نقلقولها اعمال شد، محققان نمیتوانستند در مورد وزن صدای ساده استناد کنند که هیچ جزء idf وجود نداشت.

مشتقات[ویرایش]

تعدادی از طرحهای وزن با استفاده از tf-idf استخراج شده است. یکی از آنها TF-PDF (فرکانس فرکانس * فرکانس سمعی) است. TF-PDF در سال 2001 در زمینه شناسایی موضوعات در حال ظهور در رسانه ها معرفی شد. جزء PDF، تفاوت در میزان زمانی که یک اصطلاح در حوزه های مختلف رخ می دهد اندازه گیری می شود. یکی دیگر از مشتقات TF-IDuF است. در TF-IDuF، IDF بر اساس کپی سند محاسبه نمی شود که برای جستجو یا توصیه می شود. در عوض IDF براساس جمع آوری اسناد شخصی کاربران محاسبه می شود. نویسندگان گزارش دادند که TF-IDuF به همان اندازه به عنوان TF-idf موثر است، اما همچنین می تواند در شرایطی که، مانند یک سیستم مدل سازی کاربر، دسترسی به یک کپی سند جهانی نداشته باشد.