اطلاعات متقابل

یک نمودار ون که به طور نمادین رابطهٔ معیارهای اطلاعاتی مختلف متغیرهای تصادفی X و Y را نشان می‌دهد. رنگ بنفش در شکل اطلاعات متقابل را نشان می‌دهد.

در نظریه احتمالات و نظریه اطلاعات، اطلاعات متقابل بین دو متغیر تصادفی معیاری برای نشان دادن میزان وابستگی متقابل آن دو متغیر می‌باشد. به بیان دیگر در حقیقت این معیار «میزان اطلاعات» به دست آمده (مثلاً در واحد بیت) در مورد یک متغیر تصادفی از طریق متغیر تصادفی دیگر را نشان می‌دهد. مفهوم اطلاعات متقابل ذاتاً مرتبط با آنتروپی یک متغیر تصادفی که میزان اطلاعات موجود در یک متغیر تصادفی را نشان می‌دهد، می‌باشد.

اطلاعات متقابل میزان شباهت بین توزیع مشترک $p(X,Y)$ و ضرب احتمال‌های حاشیه ای یعنی $p(X)p(Y)$ را مشخص می‌سازد.

تعریف

اطلاعات متقابل بین دو متغیر تصادفی $X$ و $Y$ را به صورت زیر می‌توان تعریف نمود:

$I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}$

که در رابطه فوق $p(x,y)$ تابع توزیع احتمال مشترک $X$ و $Y$، و $p(x)$ و $p(y)$ تابع‌های توزیع احتمال حاشیه ای به ترتیب $X$ و $Y$ می‌باشند.

در صورتی که متغیرهای تصادفی پیوسته باشند، رابطه به صورت زیر بر اساس انتگرال معین دوگانه تعریف می‌گردد:

$I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy$

که در رابطهٔ فوق اکنون $p(x,y)$ تابع چگالی احتمال مشترک $X$ و $Y$، و $p(x)$ و $p(y)$ تابع‌های چگالی احتمال حاشیه ای به ترتیب $X$ و $Y$ می‌باشند.

اگر لگاریتم در پایهٔ ۲ استفاده شود، واحد اطلاعات متقابل بیت خواهد بود.

اطلاعات متقابل میزان اطلاعاتی که بین $X$ و $Y$ مشترک است را انداره می‌گیرد. اطلاعات متقابل نشان می‌دهد تا چه میزان دانستن یکی از این متغیرها میزان ابهام ما در مورد دیگری را کاهش می‌دهد. مثلاً اگر $X$ و $Y$ مستقل باشند، در این صورت دانستن $X$ هیچ اطلاعاتی در مورد $Y$ به ما نمی‌دهد (و بر عکس)، بنا بر این اطلاعات متقابلشان صفر است. از طرف دیگر، اگر $X$ یک تابع قطعی (deterministic) از $Y$ و $Y$ یک تابع قطعی (deterministic) از $X$ باشد، در این صورت تمام اطلاعاتی که $X$ با خود حمل می‌کند، در $Y$ هم هست، دانستن $X$ مقدار $Y$ را مشخص می‌کند و بر عکس. در نتیجه در این حالت اطلاعات متقابل برابر میزان ابهام در $Y$ (یا $X$)، یعنی آنتروپی $Y$ (یا $X$) می‌باشد.

اطلاعات متقابل میزان وابستگی را بر اساس توزیع مشترک $X$ و $Y$، در مقایسه با توزیع مشترک $X$ و $Y$ تحت فرض استقلال، به دست می‌آورد. اطلاعات متقابل در نتیجه وابستگی را در معنای زیر اندازه‌گیری می‌کند:

$I(X;Y)=0$ اگر و فقط اگر $X$ و $Y$ متغیرهای تصادفی مستقل باشند. بررسی این حقیقت از یک سمت آسان است: اگر $X$ و $Y$ مستقل باشند، در این صورت $p(x,y)=p(x)p(y)$ و در نتیجه:

$\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}=\log 1=0$

در ضمن لازم است ذکر شود که اطلاعات متقابل نامنفی و متقارن می‌باشد.

رابطه با دیگر مقادیر

اطلاعات متقابل معادلاً تحت روابط زیر قابل بیان می‌باشد:

${\begin{aligned}I(X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}}$

که در روابط فوق $H(X)$ و $H(Y)$ آنتروپی‌های حاشیه ای، $H(X|Y)$ و $H(Y|X)$ آنتروپی‌های شرطی می‌باشند و $H(X,Y)$ آنتروپی مشترک $X$ و $Y$ می‌باشد. به شباهت روابط با روابط اجتماع، اشتراک و اختلاف دو مجموعه توجه کنید.

به کمک نامساوی Jensen روی تعریف اطلاعات متقابل می‌توان نشان داد $I(X;Y)$ نامنفی است، و در نتیجه، ${\displaystyle \mathrm {H} (X)\geq \mathrm {H} (X|Y)}$. اکنون ما در این‌جا اثبات رابطه $I(X;Y)=H(Y)-H(Y|X)$ را ارائه می‌دهیم:

${\displaystyle {\begin{aligned}I(X;Y)&{}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)p(y)}}\\&{}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)}}-\sum _{x,y}p(x,y)\log p(y)\\&{}=\sum _{x,y}p(x)p(y|x)\log p(y|x)-\sum _{x,y}p(x,y)\log p(y)\\&{}=\sum _{x}p(x)\left(\sum _{y}p(y|x)\log p(y|x)\right)\\&{}\,\,\,\,\;\;-\sum _{y}\log p(y)\left(\sum _{x}p(x,y)\right)\\&{}=-\sum _{x}p(x)\mathrm {H} (Y|X=x)-\sum _{y}\log p(y)p(y)\\&{}=-\mathrm {H} (Y|X)+\mathrm {H} (Y)\\&{}=\mathrm {H} (Y)-\mathrm {H} (Y|X).\\\end{aligned}}}$

اثبات تساوی‌های دیگر که در بالا آمده‌است، به طور مشابه انجام می‌پذیرد.

اطلاعات متقابل همچنین بر اساس انحراف Kullback-Leibler به شکل زیر قابل بیان می‌باشد:

${\displaystyle I(X;Y)=D_{\mathrm {KL} }(p(x,y)\|p(x)p(y))}$

اطلاعات متقابل شرطی

گاهی اوقات لازم است اطلاعات متقابل دو متغیر تصادفی به شرط یک متغیر تصادفی سوم بیان گردد.

${\displaystyle {\begin{aligned}&{}I(X;Y|Z)=\mathbb {E} _{Z}{\big (}I(X;Y)|Z{\big )}=\\&{}\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{Z}(z)p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}\end{aligned}}}$

که رابطه فوق را می‌توان به صورت زیر ساده‌تر نوشت:

${\displaystyle {\begin{aligned}&{}I(X;Y|Z)=\\&{}\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}\end{aligned}}}$

شرط روی یک متغیر تصادفی سوم می‌تواند اطلاعات متقابل را کاهش یا افزایش دهد، ولی در هر حال رابطه زیر همیشه صادق است:

${\displaystyle I(X;Y|Z)\geq 0}$

منابع

• https://en.wikipedia.org/wiki/Mutual_information