نظریه اطلاعات: تفاوت میان نسخهها
Sillverfox (بحث | مشارکتها) خنثیسازی ویرایش 27695203 از 31.56.191.97 (بحث) برچسب: خنثیسازی |
بدون خلاصۀ ویرایش |
||
خط ۱: | خط ۱: | ||
{{نظریه اطلاعات}} |
{{نظریه اطلاعات}} |
||
'''نظریه اطلاعات'''، [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل مؤثر در پردازش و انتقال [[دادهها]] و [[اطلاعات]] فراهم میآورد. نظریهٔ اطلاعات با ارائهٔ روشی برای «کمّیسازی و اندازهگیری عددی اطلاعات» به موضوعاتی مانند ارسال، دریافت، و ذخیرهسازی بهینهٔ دادهها و اطلاعات میپردازد. تمرکز اصلی این نظریه بر روی محدودیتهای بنیادین ارسال و تحلیل دادهها است، و کمتر به نحوهٔ عملکرد دستگاههای خاص میپردازد. پیدایش این نظریه عموماً به یک مهندس برق به نام [[کلاود شانون|کلود شانون]]<ref group="پانویس">Claude Elwood Shannon</ref> در سال ۱۹۴۸ میلادی نسبت داده میشود. |
'''نظریه اطلاعات'''، [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل مؤثر در پردازش و انتقال [[دادهها]] و [[اطلاعات]] فراهم میآورد. نظریهٔ اطلاعات با ارائهٔ روشی برای «کمّیسازی و اندازهگیری عددی اطلاعات» به موضوعاتی مانند ارسال، دریافت، و ذخیرهسازی بهینهٔ دادهها و اطلاعات میپردازد. تمرکز اصلی این نظریه بر روی محدودیتهای بنیادین ارسال و تحلیل دادهها است، و کمتر به نحوهٔ عملکرد دستگاههای خاص میپردازد. پیدایش این نظریه عموماً به یک مهندس برق به نام [[کلاود شانون|کلود شانون]]<ref group="پانویس">Claude Elwood Shannon</ref> در سال ۱۹۴۸ میلادی نسبت داده میشود. |
||
نظریه اطلاعات مورد استفاده خاص مهندسان مخابرات است، هرچند از برخی از مفاهیم آن در رشتههای دیگری مانند [[روانشناسی]]، [[زبانشناسی]]، [[کتابداری و اطلاعرسانی|کتابداری و اطلاعرسانی]]، و [[اطلاعات و دانششناسی|علومِ شناختی]] (Cognitive Sciences) نیز استفاده میشود.<ref name="Britanica">«information theory," Encyclopædia Britannica</ref> |
نظریه اطلاعات مورد استفاده خاص مهندسان مخابرات است، هرچند از برخی از مفاهیم آن در رشتههای دیگری مانند [[روانشناسی]]، [[زبانشناسی]]، [[کتابداری و اطلاعرسانی|کتابداری و اطلاعرسانی]]، و [[اطلاعات و دانششناسی|علومِ شناختی]] (Cognitive Sciences) نیز استفاده میشود.<ref name="Britanica">«information theory," Encyclopædia Britannica</ref> |
||
مفهوم اطلاعاتی که توسط شانون مطالعه شد، از دید آمار و احتمالات بوده و با مفاهیم روزمره اطلاعات مانند «دانش» یا استفادههای روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت دارد. اگر چه نظریه اطلاعات رشتههای دیگر مانند روانشناسی و فلسفه را تحت تأثیر قرار داده، ولی |
مفهوم اطلاعاتی که توسط شانون مطالعه شد، از دید آمار و احتمالات بوده و با مفاهیم روزمره اطلاعات مانند «دانش» یا استفادههای روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت دارد. اگر چه نظریه اطلاعات رشتههای دیگر مانند روانشناسی و فلسفه را تحت تأثیر قرار داده، ولی به دلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بودهاست.<ref name="SAYRE, KENNETH M. 1998">SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.</ref> |
||
== تاریخچه == |
== تاریخچه == |
||
خلق تلگراف و تلفن، توجه و علاقه نسبت به مفهوم اطلاعات و انتقال آن را افزایش داد. در سال ۱۸۴۴ میلادی، [[ساموئل مورس]]<ref group="پانویس">Samuel F.B. Morse</ref> خط تلگرافی بین شهرهای [[واشینگتن]] و [[بالتیمور]] در آمریکا ساخت. مورس هنگام ارسال اطلاعات به مشکلات عملی الکتریکی برخورد. او متوجه شد که خطوطی که زیرِ زمین کشیده شدهاند مشکلات بیشتری از خطوطی که هوایی (از طریق تیر) منتقل میشوند دارند و این خود زمینهای برای تحقیقات بعدی شد. با اختراع تلفن توسط [[الکساندر گراهام بل]]<ref group="پانویس">Alexander Graham Bell</ref> در سال ۱۸۷۵ میلادی و گسترش آن، برخی از دانشوران به بررسی مشکلات انتقال اطلاعات پرداختند. اکثر این تحقیقات از [[تبدیل فوریه]] استفاده کرده ولی تمرکز آنها بیشتر روی جنبه عملی و مهندسی موضوع بود.<ref name="Britanica" |
خلق تلگراف و تلفن، توجه و علاقه نسبت به مفهوم اطلاعات و انتقال آن را افزایش داد. در سال ۱۸۴۴ میلادی، [[ساموئل مورس]]<ref group="پانویس">Samuel F.B. Morse</ref> خط تلگرافی بین شهرهای [[واشینگتن]] و [[بالتیمور]] در آمریکا ساخت. مورس هنگام ارسال اطلاعات به مشکلات عملی الکتریکی برخورد. او متوجه شد که خطوطی که زیرِ زمین کشیده شدهاند مشکلات بیشتری از خطوطی که هوایی (از طریق تیر) منتقل میشوند دارند و این خود زمینهای برای تحقیقات بعدی شد. با اختراع تلفن توسط [[الکساندر گراهام بل]]<ref group="پانویس">Alexander Graham Bell</ref> در سال ۱۸۷۵ میلادی و گسترش آن، برخی از دانشوران به بررسی مشکلات انتقال اطلاعات پرداختند. اکثر این تحقیقات از [[تبدیل فوریه]] استفاده کرده ولی تمرکز آنها بیشتر روی جنبه عملی و مهندسی موضوع بود.<ref name="Britanica"/> |
||
تحقیق دربارهٔ نظریه اطلاعات اولین بار در سال ۱۹۲۴ توسط [[هری نایکوئیست]]<ref group="پانویس">Harry Nyquist</ref> در مقالهای به نام «عوامل خاصی که سرعت تلگراف را تحت تأثیر قرار میدهند»<ref group="پانویس">Certain Factors Affecting Telegraph Speed</ref> آغاز شد. نایکویست وجود نرخ ماکسیمم ارسال اطلاعات را متوجه شده و فرمولی برای محاسبه آن ارائه کرد. کار مهم دیگر در این زمان، مقاله «انتقال اطلاعات» در سال ۱۹۲۸ میلادی توسط هارتلی<ref group="پانویس">R.V.L. Hartley</ref> بود که اولین پایههای ریاضی نظریه اطلاعات را بنا گذاشت.<ref name="Britanica" |
تحقیق دربارهٔ نظریه اطلاعات اولین بار در سال ۱۹۲۴ توسط [[هری نایکوئیست]]<ref group="پانویس">Harry Nyquist</ref> در مقالهای به نام «عوامل خاصی که سرعت تلگراف را تحت تأثیر قرار میدهند»<ref group="پانویس">Certain Factors Affecting Telegraph Speed</ref> آغاز شد. نایکویست وجود نرخ ماکسیمم ارسال اطلاعات را متوجه شده و فرمولی برای محاسبه آن ارائه کرد. کار مهم دیگر در این زمان، مقاله «انتقال اطلاعات» در سال ۱۹۲۸ میلادی توسط هارتلی<ref group="پانویس">R.V.L. Hartley</ref> بود که اولین پایههای ریاضی نظریه اطلاعات را بنا گذاشت.<ref name="Britanica"/>[[پرونده:ClaudeShannon MFO3807.jpg|بندانگشتی|چپ|150 px|کلود شانون]] |
||
تولد واقعی نظریه اطلاعات را میتوان به مقاله «نظریه ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسط [[کلاود شانون|کلود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنالهای مخابراتی را باید از بررسی اطلاعاتی که حمل میکنند جدا کرد، در حالی که پیش از او چنین نبود. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شدهاست که در نامهای که [[ویکتور هوگو]] به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامهای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادی میباشد، هرچند از دید ناظری که معانی آنها را نداند، بیمعنی هستند. مثال دیگر، جملهای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمیداند مفهومی ندارد. بدینسان شانون پیشنهاد کرد که مسئله ارسال سیگنالها را از ارسال اطلاعات موجود در آنها جدا کرده، و برای موضوع اول نظریه ریاضی ارائه کرد.<ref name="Britanica" |
تولد واقعی نظریه اطلاعات را میتوان به مقاله «نظریه ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسط [[کلاود شانون|کلود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنالهای مخابراتی را باید از بررسی اطلاعاتی که حمل میکنند جدا کرد، در حالی که پیش از او چنین نبود. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شدهاست که در نامهای که [[ویکتور هوگو]] به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامهای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادی میباشد، هرچند از دید ناظری که معانی آنها را نداند، بیمعنی هستند. مثال دیگر، جملهای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمیداند مفهومی ندارد. بدینسان شانون پیشنهاد کرد که مسئله ارسال سیگنالها را از ارسال اطلاعات موجود در آنها جدا کرده، و برای موضوع اول نظریه ریاضی ارائه کرد.<ref name="Britanica"/> |
||
شانون در آن زمان در آزمایشگاههای بل<ref>Bell Laboratories</ref> مشغول به کار بود و سعی در طراحی خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثر مکالمات تلفنی که میتوان روی خطوط تلفن موجود انجام داد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به کانال مخابراتی نسبت داد که بیانگر میزان حداکثر اطلاعاتی است که روی کانال میتوان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها به کانالهای بدون اغتشاش (بدون [[نویز]])، بلکه حتی به کانالهای با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تأثیر [[پهنای باند کانال]]، و نسبت توان سیگنال ارسالی به توان نویز ([[نسبت سیگنال به نویز]]) را بر ظرفیت کانال نشان میداد.<ref name="Britanica" |
شانون در آن زمان در آزمایشگاههای بل<ref>Bell Laboratories</ref> مشغول به کار بود و سعی در طراحی خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثر مکالمات تلفنی که میتوان روی خطوط تلفن موجود انجام داد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به کانال مخابراتی نسبت داد که بیانگر میزان حداکثر اطلاعاتی است که روی کانال میتوان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها به کانالهای بدون اغتشاش (بدون [[نویز]])، بلکه حتی به کانالهای با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تأثیر [[پهنای باند کانال]]، و نسبت توان سیگنال ارسالی به توان نویز ([[نسبت سیگنال به نویز]]) را بر ظرفیت کانال نشان میداد.<ref name="Britanica"/> |
||
== مفهوم اطلاعات و راههای اندازهگیری آن == |
== مفهوم اطلاعات و راههای اندازهگیری آن == |
||
مفهوم اطلاعاتی که توسط شانون مطالعه شد اطلاعات از دید «آمار و احتمالات» بوده و با مفاهیم روزمره از اطلاعات مانند «دانش» یا استفادههای روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت میدارد. اگر چه نظریه اطلاعات رشتههای دیگر مانند روانشناسی و فلسفه را تحت تأثیر قرار داده، ولی به دلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بودهاست.<ref name="SAYRE, KENNETH M. 1998" |
مفهوم اطلاعاتی که توسط شانون مطالعه شد اطلاعات از دید «آمار و احتمالات» بوده و با مفاهیم روزمره از اطلاعات مانند «دانش» یا استفادههای روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت میدارد. اگر چه نظریه اطلاعات رشتههای دیگر مانند روانشناسی و فلسفه را تحت تأثیر قرار داده، ولی به دلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بودهاست.<ref name="SAYRE, KENNETH M. 1998"/> |
||
آمار و احتمالات نقشی حیاتی و عمده در ظهور و رشد نظریه اطلاعات برعهده دارد. |
آمار و احتمالات نقشی حیاتی و عمده در ظهور و رشد نظریه اطلاعات برعهده دارد. |
||
== قضایای شانون == |
== قضایای شانون == |
||
در این نظریه، [[کلاود شانون]] نحوهٔ [[مدلسازی]] مسئله ارسال اطلاعات در یک [[کانال مخابراتی]] را به صورت پایهای بررسی کرده، و مدل ریاضی کاملی برای منبع اطلاعات، کانال ارسال اطلاعات و بازیابی اطلاعات ارائه کردهاست. او مسئلهٔ ارسال اطلاعات از یک منبع به یک مقصد را به کمک علم احتمالات بررسی و تحلیل کرد. دو نتیجهٔ بسیار مهم، معروف به [[قضیه]]های شانون، عبارتاند از: |
در این نظریه، [[کلاود شانون]] نحوهٔ [[مدلسازی]] مسئله ارسال اطلاعات در یک [[کانال مخابراتی]] را به صورت پایهای بررسی کرده، و مدل ریاضی کاملی برای منبع اطلاعات، کانال ارسال اطلاعات و بازیابی اطلاعات ارائه کردهاست. او مسئلهٔ ارسال اطلاعات از یک منبع به یک مقصد را به کمک علم احتمالات بررسی و تحلیل کرد. دو نتیجهٔ بسیار مهم، معروف به [[قضیه]]های شانون، عبارتاند از: |
||
خط ۲۹: | خط ۳۰: | ||
== کمیتهای مربوط به اطلاعات == |
== کمیتهای مربوط به اطلاعات == |
||
نظریه اطلاعات بر مبنای [[نظریه احتمالات|نظریهٔ احتمالات]] و [[فرایند تصادفی|فرایندهای اتفاقی]] (Probability Theory and Stochastic Processes) به وجود آمدهاست. مهمترین کمیتهای مربوط به اطلاعات عبارتند از |
نظریه اطلاعات بر مبنای [[نظریه احتمالات|نظریهٔ احتمالات]] و [[فرایند تصادفی|فرایندهای اتفاقی]] (Probability Theory and Stochastic Processes) به وجود آمدهاست. مهمترین کمیتهای مربوط به اطلاعات عبارتند از |
||
⚫ | |||
⚫ | |||
⚫ | |||
⚫ | |||
کمیت اول (آنتروپی)، نشان میدهد که اطلاعات خروجی یک منبع اطلاعات تا چه حد میتواند [[فشردهسازی دادهها|فشرده]] شود؛ در حالی که کمیت دوم ([[اطلاعات متقابل]])، نرخ انتقال اطلاعات در یک [[کانال مخابراتی]] را تعیین میکند. |
کمیت اول (آنتروپی)، نشان میدهد که اطلاعات خروجی یک منبع اطلاعات تا چه حد میتواند [[فشردهسازی دادهها|فشرده]] شود؛ در حالی که کمیت دوم ([[اطلاعات متقابل]])، نرخ انتقال اطلاعات در یک [[کانال مخابراتی]] را تعیین میکند. |
||
رایجترین واحد اطلاعات، بیت است که بر مبنای لگاریتم دودویی (باینری) است. دیگر واحدها شامل نَت (بر اساس لگاریتم طبیعی) و هارتلی (بر اساس لگاریتم معمولی) هستند. انتخاب مبنای لگاریتم، نوع واحد آنتروپی اطلاعات را مشخص میکند. |
رایجترین واحد اطلاعات، بیت است که بر مبنای لگاریتم دودویی (باینری) است. دیگر واحدها شامل نَت (بر اساس لگاریتم طبیعی) و هارتلی (بر اساس لگاریتم معمولی) هستند. انتخاب مبنای لگاریتم، نوع واحد آنتروپی اطلاعات را مشخص میکند. |
||
در عبارت <math>p \log p</math>، زمانی که <math>p=0</math> است، عبارت هم برابر صفر در نظر گرفته میشود، زیرا <math>\lim_{p \rightarrow 0+} p \log p = 0</math> |
در عبارت <math>p \log p</math>، زمانی که <math>p=0</math> است، عبارت هم برابر صفر در نظر گرفته میشود، زیرا <math>\lim_{p \rightarrow 0+} p \log p = 0</math> |
نسخهٔ ۱۷ دسامبر ۲۰۱۹، ساعت ۰۴:۰۵
مفاهیم | |
چهرههای مهم | |
کلود شانون | |
جوایز مهم | |
نظریه اطلاعات، مدلی ریاضی از شرایط و عوامل مؤثر در پردازش و انتقال دادهها و اطلاعات فراهم میآورد. نظریهٔ اطلاعات با ارائهٔ روشی برای «کمّیسازی و اندازهگیری عددی اطلاعات» به موضوعاتی مانند ارسال، دریافت، و ذخیرهسازی بهینهٔ دادهها و اطلاعات میپردازد. تمرکز اصلی این نظریه بر روی محدودیتهای بنیادین ارسال و تحلیل دادهها است، و کمتر به نحوهٔ عملکرد دستگاههای خاص میپردازد. پیدایش این نظریه عموماً به یک مهندس برق به نام کلود شانون[پانویس ۱] در سال ۱۹۴۸ میلادی نسبت داده میشود.
نظریه اطلاعات مورد استفاده خاص مهندسان مخابرات است، هرچند از برخی از مفاهیم آن در رشتههای دیگری مانند روانشناسی، زبانشناسی، کتابداری و اطلاعرسانی، و علومِ شناختی (Cognitive Sciences) نیز استفاده میشود.[۱]
مفهوم اطلاعاتی که توسط شانون مطالعه شد، از دید آمار و احتمالات بوده و با مفاهیم روزمره اطلاعات مانند «دانش» یا استفادههای روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت دارد. اگر چه نظریه اطلاعات رشتههای دیگر مانند روانشناسی و فلسفه را تحت تأثیر قرار داده، ولی به دلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بودهاست.[۲]
تاریخچه
خلق تلگراف و تلفن، توجه و علاقه نسبت به مفهوم اطلاعات و انتقال آن را افزایش داد. در سال ۱۸۴۴ میلادی، ساموئل مورس[پانویس ۲] خط تلگرافی بین شهرهای واشینگتن و بالتیمور در آمریکا ساخت. مورس هنگام ارسال اطلاعات به مشکلات عملی الکتریکی برخورد. او متوجه شد که خطوطی که زیرِ زمین کشیده شدهاند مشکلات بیشتری از خطوطی که هوایی (از طریق تیر) منتقل میشوند دارند و این خود زمینهای برای تحقیقات بعدی شد. با اختراع تلفن توسط الکساندر گراهام بل[پانویس ۳] در سال ۱۸۷۵ میلادی و گسترش آن، برخی از دانشوران به بررسی مشکلات انتقال اطلاعات پرداختند. اکثر این تحقیقات از تبدیل فوریه استفاده کرده ولی تمرکز آنها بیشتر روی جنبه عملی و مهندسی موضوع بود.[۱]
تحقیق دربارهٔ نظریه اطلاعات اولین بار در سال ۱۹۲۴ توسط هری نایکوئیست[پانویس ۴] در مقالهای به نام «عوامل خاصی که سرعت تلگراف را تحت تأثیر قرار میدهند»[پانویس ۵] آغاز شد. نایکویست وجود نرخ ماکسیمم ارسال اطلاعات را متوجه شده و فرمولی برای محاسبه آن ارائه کرد. کار مهم دیگر در این زمان، مقاله «انتقال اطلاعات» در سال ۱۹۲۸ میلادی توسط هارتلی[پانویس ۶] بود که اولین پایههای ریاضی نظریه اطلاعات را بنا گذاشت.[۱]
تولد واقعی نظریه اطلاعات را میتوان به مقاله «نظریه ریاضی مخابرات»[پانویس ۷] توسط کلود شانون نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنالهای مخابراتی را باید از بررسی اطلاعاتی که حمل میکنند جدا کرد، در حالی که پیش از او چنین نبود. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شدهاست که در نامهای که ویکتور هوگو به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامهای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادی میباشد، هرچند از دید ناظری که معانی آنها را نداند، بیمعنی هستند. مثال دیگر، جملهای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمیداند مفهومی ندارد. بدینسان شانون پیشنهاد کرد که مسئله ارسال سیگنالها را از ارسال اطلاعات موجود در آنها جدا کرده، و برای موضوع اول نظریه ریاضی ارائه کرد.[۱]
شانون در آن زمان در آزمایشگاههای بل[۳] مشغول به کار بود و سعی در طراحی خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثر مکالمات تلفنی که میتوان روی خطوط تلفن موجود انجام داد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از کانال مخابراتی، ظرفیتی به کانال مخابراتی نسبت داد که بیانگر میزان حداکثر اطلاعاتی است که روی کانال میتوان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها به کانالهای بدون اغتشاش (بدون نویز)، بلکه حتی به کانالهای با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تأثیر پهنای باند کانال، و نسبت توان سیگنال ارسالی به توان نویز (نسبت سیگنال به نویز) را بر ظرفیت کانال نشان میداد.[۱]
مفهوم اطلاعات و راههای اندازهگیری آن
مفهوم اطلاعاتی که توسط شانون مطالعه شد اطلاعات از دید «آمار و احتمالات» بوده و با مفاهیم روزمره از اطلاعات مانند «دانش» یا استفادههای روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت میدارد. اگر چه نظریه اطلاعات رشتههای دیگر مانند روانشناسی و فلسفه را تحت تأثیر قرار داده، ولی به دلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بودهاست.[۲]
آمار و احتمالات نقشی حیاتی و عمده در ظهور و رشد نظریه اطلاعات برعهده دارد.
قضایای شانون
در این نظریه، کلاود شانون نحوهٔ مدلسازی مسئله ارسال اطلاعات در یک کانال مخابراتی را به صورت پایهای بررسی کرده، و مدل ریاضی کاملی برای منبع اطلاعات، کانال ارسال اطلاعات و بازیابی اطلاعات ارائه کردهاست. او مسئلهٔ ارسال اطلاعات از یک منبع به یک مقصد را به کمک علم احتمالات بررسی و تحلیل کرد. دو نتیجهٔ بسیار مهم، معروف به قضیههای شانون، عبارتاند از:
- حداقل نرخ فشردهکردن اطلاعات یک منبع تصادفی، برابر با آنتروپی آن منبع است؛ به عبارت دیگر نمیتوان دنباله خروجی یک منبع اطلاعات را با نرخی کمتر از آنتروپی آن منبع ارسال کرد.
- حداکثر نرخ ارسال اطلاعات روی یک کانال مخابراتی، طوریکه بتوان در مقصد، اطلاعات را با احتمال خطای در حد قابل قبول کم بازیافت، مقداری ثابت و وابسته به مشخصات کانال است، و ظرفیت کانال نام دارد. ارسال اطلاعات با نرخی بیشتر از ظرفیت کانال، به خطا میانجامد.
این دو نتیجه، به ترتیب به کُدینگ منبع (source coding) و کدینگ کانال (channel coding) میانجامند. از موضوعات مرتبط با کدینگ کانال، میتوان به نظریه کدینگ جبری کانال (Algebraic coding theory) اشاره کرد.
بخش دیگری از کار شانون به مسئله امنیت انتقال اطلاعات (information security) میپردازد که ربط مستقیمی به دو نتیجه بالا ندارد و مبنای نظری رمزنگاری (cryptography) نوین است. به عبارت بهتر، مسئله اطمینان انتقال اطلاعات (information reliability) که با دو نتیجه بالا توصیف میشود را نباید با مسئله امنیت انتقال اطلاعات (information security) اشتباه گرفت؛ هدف این دو کاملاً متفاوت است.
کمیتهای مربوط به اطلاعات
نظریه اطلاعات بر مبنای نظریهٔ احتمالات و فرایندهای اتفاقی (Probability Theory and Stochastic Processes) به وجود آمدهاست. مهمترین کمیتهای مربوط به اطلاعات عبارتند از
- آنتروپی، که میانگین محتوای اطلاعاتی یک منبع اطلاعات است، و
- اطلاعات متقابل، که مقدار اطلاعات مشترک دو متغیر تصادفی است.
کمیت اول (آنتروپی)، نشان میدهد که اطلاعات خروجی یک منبع اطلاعات تا چه حد میتواند فشرده شود؛ در حالی که کمیت دوم (اطلاعات متقابل)، نرخ انتقال اطلاعات در یک کانال مخابراتی را تعیین میکند.
رایجترین واحد اطلاعات، بیت است که بر مبنای لگاریتم دودویی (باینری) است. دیگر واحدها شامل نَت (بر اساس لگاریتم طبیعی) و هارتلی (بر اساس لگاریتم معمولی) هستند. انتخاب مبنای لگاریتم، نوع واحد آنتروپی اطلاعات را مشخص میکند.
در عبارت ، زمانی که است، عبارت هم برابر صفر در نظر گرفته میشود، زیرا
آنتروپی
آنتروپی یک متغیر تصادفی، با اندازهگیری احتمالات آن متغیر تصادفی بهدست میآید.
جستارهای وابسته
معادلهای انگلیسی
پانویس
منابع
Earl Morrogh, Information Architecture, An Emerging 21st Century Profession, Pearson Education, Inc. , 2003. ISBN 0-13-096746-7
پیوند به بیرون
- نظریهای ریاضی برای مخابرات مقاله ۱۹۴۸ کلاود شانون که سرآغاز نظریه اطلاعات بهشمار میرود
- نظریه اطّلاعات از آزمایشگاههای بل