در نظریه اطلاعات ، آنتروپی مشترک معیاری است برای بیان میزان ابهام در مورد مجموعه‌ای از متغیرهای تصادفی.
یک نمودار ون که به‌طور نمادین رابطه معیارهای اطلاعاتی مختلف متغیرهای تصادفی X و Y را نشان می‌دهد. آنتروپی (شانون) مشترک دو متغیر تصادفی
X
{\displaystyle X}
Y
{\displaystyle Y}
H
(
X
,
Y
)
=
−
∑
x
∑
y
P
(
x
,
y
)
log
2
[
P
(
x
,
y
)
]
{\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}
که در آن
x
{\displaystyle x}
y
{\displaystyle y}
X
{\displaystyle X}
Y
{\displaystyle Y}
P
(
x
,
y
)
{\displaystyle P(x,y)}
P
(
x
,
y
)
=
0
{\displaystyle P(x,y)=0}
P
(
x
,
y
)
log
2
[
P
(
x
,
y
)
]
{\displaystyle P(x,y)\log _{2}[P(x,y)]}
برای تعداد بیشتر متغیرهای تصادفی، تعریف به صورت زیر تعمیم می یابد:
H
(
X
1
,
.
.
.
,
X
n
)
=
−
∑
x
1
.
.
.
∑
x
n
P
(
x
1
,
.
.
.
,
x
n
)
log
2
[
P
(
x
1
,
.
.
.
,
x
n
)
]
{\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}
که در آن
x
1
,
.
.
.
,
x
n
{\displaystyle x_{1},...,x_{n}}
X
1
,
.
.
.
,
X
n
{\displaystyle X_{1},...,X_{n}}
P
(
x
1
,
.
.
.
,
x
n
)
{\displaystyle P(x_{1},...,x_{n})}
P
(
x
1
,
.
.
.
,
x
n
)
=
0
{\displaystyle P(x_{1},...,x_{n})=0}
P
(
x
1
,
.
.
.
,
x
n
)
log
2
[
P
(
x
1
,
.
.
.
,
x
n
)
]
{\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}
[ ویرایش ] آنتروپی مشترک مجموعه‌ای از متغیرهای تصادفی بزرگتر یا مساوی تک تک آنتروپی‌های هر یک از متغیرهای تصادفی موجود در آن مجموعه می‌باشد، یعنی:
H
(
X
,
Y
)
≥
max
[
H
(
X
)
,
H
(
Y
)
]
{\displaystyle H(X,Y)\geq \max[H(X),H(Y)]}
H
(
X
1
,
.
.
.
,
X
n
)
≥
max
[
H
(
X
1
)
,
.
.
.
,
H
(
X
n
)
]
{\displaystyle H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}
[ ویرایش ] آنتروپی مشترک مجموعه‌ای از متغیرهای تصادفی کوچکتر یا مساوی مجموع آنتروپی‌های تکی هر یک از متغیرهای تصادفی موجود در آن مجموعه می‌باشد. نامساوی‌های زیر تنها در صورتی تبدیل به تساوی می‌شوند که
X
{\displaystyle X}
Y
{\displaystyle Y}
H
(
X
,
Y
)
≤
H
(
X
)
+
H
(
Y
)
{\displaystyle H(X,Y)\leq H(X)+H(Y)}
H
(
X
1
,
.
.
.
,
X
n
)
≤
H
(
X
1
)
+
.
.
.
+
H
(
X
n
)
{\displaystyle H(X_{1},...,X_{n})\leq H(X_{1})+...+H(X_{n})}
[ ویرایش ] آنتروپی مشترک با آنتروپی شرطی به صورت روابط زیر رابطه دارند:
H
(
X
|
Y
)
=
H
(
Y
,
X
)
−
H
(
Y
)
{\displaystyle H(X|Y)=H(Y,X)-H(Y)\,}
و
H
(
X
1
,
…
,
X
n
)
=
∑
k
=
1
n
H
(
X
k
|
X
k
−
1
,
…
,
X
1
)
{\displaystyle H(X_{1},\dots ,X_{n})=\sum _{k=1}^{n}H(X_{k}|X_{k-1},\dots ,X_{1})}
همچنین آنتروپی مشترک به صورت زیر دارای رابطه با mutual information می‌باشد
I
(
X
;
Y
)
=
H
(
X
)
+
H
(
Y
)
−
H
(
X
,
Y
)
{\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}
![{\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7559a44e21e23f0560ff421bd71c7fc73731bbc7)
![{\displaystyle P(x,y)\log _{2}[P(x,y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/33023e90bccb1921379d4b2368ce7c89ee728254)
![{\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/15d50cc0f52921862f334683f2d4c1f70be220d7)
![{\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/45d2b2bd535cc3d9c9e463415a4a81bf4eb6194c)
![{\displaystyle H(X,Y)\geq \max[H(X),H(Y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b4a7808cbf3a0cbc8db376a79be2ad5c939f2dc9)
![{\displaystyle H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8090364f254e2915093ea2c74fbe5502fb00ba2b)
