آنتروپی شرطی

X . قسمت بنفش نیز اطلاعات متقابل بین (I(X;Y می باشد

در نظریه اطلاعات ، آنتروپی شرطی مقدار اطلاعاتی را اندازه می گیرد که نیاز هست تا خروجی یک متغیر تصادفی $Y$ را توصیف کند به شرط اینکه مقدار یک متغیر تصادفی دیگر $X$  مشخص باشد.  در اینجا اطلاعات با معیار شنون ، nats یا  hartleys اندازه گرفته می‌شود . آنتروپی  $Y$ به شرط  $X$ به صورت  $H(Y|X)$ نمایش داده می شود.

تعریف

اگر $H(Y|X=x)$آنتروپی متغیر $Y$ به شرط متغیر  $X$ که مقدار مشخص  $x$ را میگیرد باشد ، آنگاه $H(Y|X)$ نتیجه متوسط گیری روی تمام مقادیر ممکن برای $X$ است.

متغیر تصادفی گسسته  $X$ با تصویر ${\mathcal {X}}$ و $Y$ با تصویر ${\mathcal {Y}}$ با فرض مشخص بودن $X$ ، آنتروپی شرطی $Y$ به شرط $X$ به صورت زیر تعریف می شود: (مستقیما ،عبارت زیر می‌تواند به صورت حمع وزن دار $H(Y|X=x)$ روی تمام مقادیر ممکن  $x$ با استفاده وزن های $p(x)$ تعبیر شود. )

${\begin{aligned}H(Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,H(Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}$

توجه : توجه شود که عبارات (0log0) و (0log(c/0)) برای یک c>0 و ثابت باید برابرصفر قرار داده شود.

$H(Y|X)=0$اگر و تنها اگر مقدار $Y$ به طور کامل به دانستن مقدار $X$ مشخص شود. برعکس $H(Y|X)=H(Y)$ اگر و تنها اگر $Y$ و$X$ دو  متغیر تصادفی مستقل باشند.

قاعده زنجیره ای 

سیستم ترکیبی که توسط دو متغیر تصادفی X و Y با آنتروپی مشترک $H(X,Y)$ مشخص می‌شود را فرض کنید. مقدار $H(X,Y)$ بیت برای توصیف دقیق حالت این سیستم نیاز است. حال اگر ما در ابتدا مقدار $X$ را یاد بگیرم در حقیقت $H(X)$ بیت از اطلاعات را بدست آورده ایم. زمانی که $X$ شناخته شده باشد ، تنها به $H(X,Y)-H(X)$ بیت برای توصیف حالت سیستم نیاز است. این مقدار دقیقاً برابر $H(Y|X)$ است که قاعده ی زنجیره ای مربوط به آنتروپی شرطی را نتیجه می دهد :

$H(Y|X)\,=\,H(X,Y)-H(X).$

قاعده ی زنجیری از تعریف آنتروپی شرطی بالا نتیجه می شود:

${\begin{aligned}H(Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x))\\[4pt]&=H(X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=H(X,Y)-H(X).\end{aligned}}$

به طور کلی ، قاعده زنچیری برای چندین متغیر تصادفی نتیجه می دهد :

$H(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}H(X_{i}|X_{1},\ldots ,X_{i-1})$

این یک فرم شبیه به قاعده زنجیری در نظریه آمار و احتمال دارد ، به جز اینکه به جای ضرب از جمع استفاده شده.

قانون Bayes

قانون بیز در مورد آنتروپی شرطی بیان می کند که :

$H(Y|X)\,=\,H(X|Y)-H(X)+H(Y)\,.$

اثبات:
$H(Y|X)=H(X,Y)-H(X)$ و $H(X|Y)=H(Y,X)-H(Y)$. از تقارن داریم که  $H(X,Y)=H(Y,X)$. تقاضل دو معادله ، قانون بیز را نتیجه می دهد .

اگر Y با فرض مشخص بودن X از  Z مستقل شرطی باشد ، داریم:

$H(Y|X,Z)\,=\,H(Y|X).$

تعمیم به نظریه کوانتومی

در نظریه کوانتومی اطلاعات ، آنتروپی شرطی به  آنتروپی کوانتومی شرطی تعمیم داده می شود. این نمونه ی تعمیم یافته برخلاف مقدار کلاسیک آن می‌تواند مقدار منفی به خود بگیرد . از آنچایی که  $H(X,Y)\neq H(Y,X)$ قانون بیز برای آنروپی کوانتومی شرطی صادق نیست.

خواص دیگر

برای هر$X$ و $Y$:

${\begin{aligned}H(Y|X)&\leq H(Y)\,\\H(X,Y)&=H(X|Y)+H(Y|X)+I(X;Y),\qquad \\H(X,Y)&=H(X)+H(Y)-I(X;Y),\,\\I(X;Y)&\leq H(X),\,\end{aligned}}$

که در آن$I(X;Y)$ اطلاعات متقابل بین $X$ و $Y$ هست.

برای دو متغیر مستقل $X$ و $Y$ :

$H(Y|X)=H(Y){\text{ and }}H(X|Y)=H(X)\,$

اگر چه آنتروپی شرطی خاص$H(X|Y=y)$ می‌تواند کمتر یا بیشتر از$H(X)$ باشد،$H(X|Y)$هرگز نمی‌تواند بیش از$H(X)$ باشد.

همچنین نگاه کنید

• آنتروپی (نظریه اطلاعات)
• اطلاعات متقابل
• آنتروپی کوانتومی شرطی
• تنوع اطلاعات
• آنتروپی قدرت نابرابری
• احتمال تابع