از ویکیپدیا، دانشنامهٔ آزاد
نا مساوی جمع لگاریتم، یک نامساوی موجود در ریاضیات است که برای اثبات قضایا در نظریه اطلاعات کاربرد دارد.
فرض کنید
a
1
,
…
,
a
n
{\displaystyle a_{1},\ldots ,a_{n}}
و
b
1
,
…
,
b
n
{\displaystyle b_{1},\ldots ,b_{n}}
اعداد نا منفی باشند. مجموع تمام اعداد
a
i
{\displaystyle a_{i}\;}
را با
a
{\displaystyle a}
و مجموع تمام
b
i
{\displaystyle b_{i}\;}
ها را با
b
{\displaystyle b}
نمایش دهیم. نامساوی جمع لگاریتم میگوید:
∑
i
=
1
n
a
i
log
a
i
b
i
≥
a
log
a
b
,
{\displaystyle \sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}\geq a\log {\frac {a}{b}},}
و برابر است، اگر و تنها اگر
a
i
b
i
{\displaystyle {\frac {a_{i}}{b_{i}}}}
برای همه
i
{\displaystyle i}
ها برابر باشند. به عبارت دیگر رابطه
a
i
=
c
b
i
{\displaystyle a_{i}=cb_{i}}
برای همه
i
{\displaystyle i}
ها برقرار باشند.
اگر
f
(
x
)
=
x
log
x
{\displaystyle f(x)=x\log x}
باشد، داریم:
∑
i
=
1
n
a
i
log
a
i
b
i
=
∑
i
=
1
n
b
i
f
(
a
i
b
i
)
=
b
∑
i
=
1
n
b
i
b
f
(
a
i
b
i
)
≥
b
f
(
∑
i
=
1
n
b
i
b
a
i
b
i
)
=
b
f
(
1
b
∑
i
=
1
n
a
i
)
=
b
f
(
a
b
)
=
a
log
a
b
,
{\displaystyle {\begin{aligned}\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}&{}=\sum _{i=1}^{n}b_{i}f\left({\frac {a_{i}}{b_{i}}}\right)=b\sum _{i=1}^{n}{\frac {b_{i}}{b}}f\left({\frac {a_{i}}{b_{i}}}\right)\\&{}\geq bf\left(\sum _{i=1}^{n}{\frac {b_{i}}{b}}{\frac {a_{i}}{b_{i}}}\right)=bf\left({\frac {1}{b}}\sum _{i=1}^{n}a_{i}\right)=bf\left({\frac {a}{b}}\right)\\&{}=a\log {\frac {a}{b}},\end{aligned}}}
که در آن از نامساوی جنسن استفاده شده است، چون داریم
b
i
b
≥
0
{\displaystyle {\frac {b_{i}}{b}}\geq 0}
،
∑
i
b
i
b
=
1
{\displaystyle \sum _{i}{\frac {b_{i}}{b}}=1}
و همچنین تابع
f
{\displaystyle f}
محدب است، پس شروط نامساوی جنسن برقرار است.
نامساوی جمع لگاریتم در اثبات نامساویهای زیادی در نظریه اطلاعات کاربرد دارد، مثل نامساوی گیبس، یا تحدب واگرایی KL .
به عنوان مثال، برای اثبات نامساوی گیبس، کافی است که
p
i
{\displaystyle p_{i}\;}
را با
a
i
{\displaystyle a_{i}\;}
و
q
i
{\displaystyle q_{i}\;}
را با
b
i
{\displaystyle b_{i}\;}
جایگذاری کنیم.
D
K
L
(
P
‖
Q
)
≡
∑
i
=
1
n
p
i
log
2
p
i
q
i
≥
1
log
1
1
=
0.
{\displaystyle \mathbb {D} _{\mathrm {KL} }(P\|Q)\equiv \sum _{i=1}^{n}p_{i}\log _{2}{\frac {p_{i}}{q_{i}}}\geq 1\log {\frac {1}{1}}=0.}
این نامساوی با شرط
a
<
∞
{\displaystyle a<\infty }
و
b
<
∞
{\displaystyle b<\infty }
، برای
n
=
∞
{\displaystyle n=\infty }
برقرار است. اثبات بالا برای هر تابع
g
{\displaystyle g}
که
f
(
x
)
=
x
g
(
x
)
{\displaystyle f(x)=xg(x)}
محدب باشد برقرار است، مثل همه توابع پیوسته صعودی. تعمیم این رابطه برای برای توابع محدب غیر از لگاریتم در سال ۲۰۰۴ توسط Csiszár داده شده است.