اطلاعات متقابل

از ویکی‌پدیا، دانشنامهٔ آزاد
پرش به: ناوبری، جستجو
یک نمودار ون که به طور نمادین رابطه معیار های اطلاعاتی مختلف متغیر های تصادفی X و Y را نشان می دهد. رنگ بنفش در شکل اطلاعات متقابل را نشان می دهد.

در نظریه احتمالات و نظریه اطلاعات، اطلاعات متقابل بین دو متغیر تصادفی معیاری برای نشان دادن میزان وابستگی متقابل آن دو متغیر می باشد. به بیان دیگر در حقیقت این معیار "میزان اطلاعات" به دست آمده (مثلاً در واحد بیت) در مورد یک متغیر تصادفی از طریق متغیر تصادفی دیگر را نشان می دهد. مفهوم اطلاعات متقابل ذاتاً مرتبط با آنتروپی یک متغیر تصادفی که میزان اطلاعات موجود در یک متغیر تصادفی را نشان می دهد، می باشد.

اطلاعات متقابل میزان شباهت بین توزیع مشترک و ضرب احتمال های حاشیه ای یعنی را مشخص می سازد.

تعریف[ویرایش]

اطلاعات متقابل بین دو متغیر تصادفی و را به صورت زیر می توان تعریف نمود:

که در رابطه فوق تابع توزیع احتمال مشترک و ، و و تابع های توزیع احتمال حاشیه ای به ترتیب و می باشند.

در صورتی که متغیر های تصادفی پیوسته باشند، رابطه به صورت زیر بر اساس انتگرال معین دوگانه تعریف می گردد:

که در رابطه فوق اکنون تابع چگالی احتمال مشترک و ، و و تابع های چگالی احتمال حاشیه ای به ترتیب و می باشند.

اگر لگاریتم در پایه 2 استفاده شود، واحد اطلاعات متقابل بیت خواهد بود.

اطلاعات متقابل میزان اطلاعاتی که بین و مشترک است را انداره می گیرد. اطلاعات متقابل نشان می دهد تا چه میزان دانستن یکی از این متغیر ها میزان ابهام ما در مورد دیگری را کاهش می دهد. مثلاً اگر و مستقل باشند، در این صورت دانستن هیچ اطلاعاتی در مورد به ما نمی‌دهد (و بر عکس)، بنا بر این اطلاعات متقابلشان صفر است. از طرف دیگر، اگر یک تابع قطعی (deterministic) از و یک تابع قطعی (deterministic) از باشد، در این صورت تمام اطلاعاتی که با خود حمل می کند، در هم هست، دانستن مقدار را مشخص می کند و بر عکس. در نتیجه در این حالت اطلاعات متقابل برابر میزان ابهام در ( یا )، یعنی آنتروپی ( یا ) می باشد.

اطلاعات متقابل میزان وابستگی را بر اساس توزیع مشترک و ، در مقایسه با توزیع مشترک و تحت فرض استقلال، به دست می آورد. اطلاعات متقابل در نتیجه وابستگی را در معنای زیر اندازه گیری می کند:

اگر و فقط اگر و متغیر های تصادفی مستقل باشند. بررسی این حقیقت از یک سمت آسان است: اگر و مستقل باشند، در این صورت و در نتیجه:

در ضمن لازم به ذکر است که اطلاعات متقابل نامنفی و متقارن می باشد.

رابطه با دیگر مقادیر[ویرایش]

اطلاعات متقابل معادلا تحت روابط زیر قابل بیان می باشد:

که در روابط فوق و آنتروپی های حاشیه ای، و آنتروپی های شرطی می باشند و آنتروپی مشترک و می باشد. به شباهت روابط با روابط اجتماع، اشتراک و اختلاف دو مجموعه توجه کنید.

به کمک نامساوی Jensen روی تعریف اطلاعات متقابل می توان نشان داد نامنفی است، و در نتیجه، . اکنون ما در این جا اثبات رابطه را ارائه می دهیم:

اثبات تساوی های دیگر که در بالا آمده است، به طور مشابه انجام می پذیرد.

اطلاعات متقابل همچنین بر اساس انحراف Kullback-Leibler به شکل زیر قابل بیان می باشد:

اطلاعات متقابل شرطی[ویرایش]

گاهی اوقات لازم است اطلاعات متقابل دو متغیر تصادفی به شرط یک متغیر تصادفی سوم بیان گردد.

که رابطه فوق را می توان به صورت زیر ساده تر نوشت:

شرط روی یک متغیر تصادفی سوم می تواند اطلاعات متقابل را کاهش یا افزایش دهد، ولی در هر حال رابطه زیر همیشه صادق است:

منابع[ویرایش]