تفاوت میان نسخه‌های «نظریه اطلاعات»

پرش به ناوبری پرش به جستجو
جز
ابزار پیوندساز: افزودن پیوند اطلاعات متقابل به متن
(کمی ویرایش سجاوندی)
برچسب: متن دارای ویکی‌متن نامتناظر
جز (ابزار پیوندساز: افزودن پیوند اطلاعات متقابل به متن)
برچسب: متن دارای ویکی‌متن نامتناظر
== کمیت‌های مربوط به اطلاعات ==
نظریه اطلاعات بر مبنای ''نظریهٔ احتمالات'' و ''علم استاتیک (ایستایی شناسی)'' به وجود آمده است. مهم‌ترین کمیت‌های مربوط به اطلاعات عبارتند از:
''آنتروپی''(که اطلاعات داخل یک متغیر تصادفی است) و ''اطلاعات متقابل''(که مقدار اطلاعات مشترک بین دو متغیر تصادفی است). کمیت اول(آنتروپی)، به ما نشان می‌دهد که یک داده‌ای از نوع پیام تا چه حد می‌تواند ''فشرده سازی'' شود؛ در حالی که کمیت دوم ([[اطلاعات متقابل]])، می‌تواند برای یافتن سرعت ارتباط در یک ''کانال'' مورد استفاده قرار گیرد.
 
انتخاب مبنای لگاریتم در فرمول زیر، نوع واحد آنتروپی اطلاعات را مشخص می‌کند. رایج‌ترین واحد اطلاعات، بیت است که بر مبنای لگاریتم دودویی (باینری) است. دیگر واحدها شامل نت(بر اساس لگاریتم طبیعی) و هارتلی (بر اساس لگاریتم معمولی) هستند.

منوی ناوبری