نظریه اطلاعات: تفاوت میان نسخهها
جز ←قضایای شانون: مسأله --> مسئله وپ:همزه با استفاده از AWB |
موثر --> مؤثر |
||
خط ۱: | خط ۱: | ||
{{نظریه اطلاعات}} |
{{نظریه اطلاعات}} |
||
'''نظریّهٔ اطّلاعات''' [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل |
'''نظریّهٔ اطّلاعات''' [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل مؤثر در انتقال و پردازش [[دادهها]] و [[اطلاعات|اطّلاعات]] فراهم میآورد. نظریهٔ اطلاعات با ارائهٔ روشی جهت «کمّی سازی و اندازهگیری عددی اطلاعات» به موضوعاتی مانند ارسال، دریافت، و ذخیرهسازی بهینهٔ دادهها و اطلاعات میپردازد. تمرکز اصلی این نظریّه بر روی محدودیتهای بنیادین که در ارسال و تحلیل دادهها وجود دارد میباشد، و کمتر به نحوهٔ عملکرد دستگاههای خاص میپردازد. پیدایش این نظریه عموماً به مهندس برقی به نام [[کلاود شانون]]<ref group="پانویس">Claude Elwood Shannon</ref> در سال ۱۹۴۸ میلادی نسبت داده میشود. نظریه اطلاعات مورد استفاده خاص مهندسین مخابرات بوده، هرچند برخی از مفاهیم آن در رشتههای دیگری مانند [[روانشناسی]]، [[زبانشناسی]]،[[کتابداری و اطلاع رسانی]]، و [[اطلاعات و دانش شناسی]] نیز مورد استفاده قرار گرفتهاست.<ref name="Britanica">«information theory,» Encyclopædia Britannica</ref> مفهوم اطلاعاتی که توسط شانون مطالعه شد اطلاعات از دید ''آمار و احتمالات'' بوده و با مفاهیم روزمره از اطلاعات مانند «دانش» و یا استفادههای روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت میدارد. اگر چه نظریه اطلاعات رشتههای دیگر مانند روانشناسی و فلسفه را تحت تأثیر قرار داده، ولی بدلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بودهاست.<ref name="SAYRE, KENNETH M. 1998">SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.</ref> |
||
== تاریخچه == |
== تاریخچه == |
||
خط ۹: | خط ۹: | ||
تولد واقعی نظریه اطلاعات را به مقاله «نظریه ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسط [[کلاود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنالهای مخابراتی را باید از بررسی معانی ای که آن سیگنالها حمل میکنند جدا کرد، در حالی که پیش از او اطلاعات موجود در یک سیگنال الکتریکی از پیغامی که آن سیگنال منتقل میکند جدا در نظر گرفته نمیشد. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شدهاست که در نامهای که [[ویکتور هوگو]] به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامهای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادی میباشد، هرچند از دید ناظری که معانی آنها را نداند، بیمعنی هستند. مثال دیگر این جملهای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمیداند مفهومی ندارد. بدین سان شانون پیشنهاد نمود که مسئله ارسال سیگنالها را از ارسال معانی موجود در آنها جدا کرده، و برای موضوع اول نظریه ریاضی ای تولید نمود.<ref name="Britanica"/> |
تولد واقعی نظریه اطلاعات را به مقاله «نظریه ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسط [[کلاود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنالهای مخابراتی را باید از بررسی معانی ای که آن سیگنالها حمل میکنند جدا کرد، در حالی که پیش از او اطلاعات موجود در یک سیگنال الکتریکی از پیغامی که آن سیگنال منتقل میکند جدا در نظر گرفته نمیشد. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شدهاست که در نامهای که [[ویکتور هوگو]] به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامهای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادی میباشد، هرچند از دید ناظری که معانی آنها را نداند، بیمعنی هستند. مثال دیگر این جملهای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمیداند مفهومی ندارد. بدین سان شانون پیشنهاد نمود که مسئله ارسال سیگنالها را از ارسال معانی موجود در آنها جدا کرده، و برای موضوع اول نظریه ریاضی ای تولید نمود.<ref name="Britanica"/> |
||
شانون در آن زمان در آزمایشگاه بل*<ref>Bell Laboratories</ref> مشغول به کار بود و سعی در تعبیه خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل |
شانون در آن زمان در آزمایشگاه بل*<ref>Bell Laboratories</ref> مشغول به کار بود و سعی در تعبیه خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثر مکالمات تلفنی که میتوان روی خطوط تلفن موجود انجام داد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به کانال مخابراتی نسبت داد که بیانگر میزان حداکثر اطلاعاتی است که روی کانال میتوان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها به کانالهای بدون اغتشاش (بدون [[نویز]])، بلکه حتی به کانالهای با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تاثیر [[پهنای باند کانال]]، و نسبت توان سیگنال ارسالی به اغتشاش ([[نسبت سیگنال به نویز]]) بر ظرفیت کانال را را آشکار میکرد.<ref name="Britanica"/> |
||
== مفهوم اطلاعات و راههای اندازهگیری آن == |
== مفهوم اطلاعات و راههای اندازهگیری آن == |
نسخهٔ ۲۲ اوت ۲۰۱۶، ساعت ۰۲:۵۸
مفاهیم | |
چهرههای مهم | |
کلود شانون | |
جوایز مهم | |
نظریّهٔ اطّلاعات مدلی ریاضی از شرایط و عوامل مؤثر در انتقال و پردازش دادهها و اطّلاعات فراهم میآورد. نظریهٔ اطلاعات با ارائهٔ روشی جهت «کمّی سازی و اندازهگیری عددی اطلاعات» به موضوعاتی مانند ارسال، دریافت، و ذخیرهسازی بهینهٔ دادهها و اطلاعات میپردازد. تمرکز اصلی این نظریّه بر روی محدودیتهای بنیادین که در ارسال و تحلیل دادهها وجود دارد میباشد، و کمتر به نحوهٔ عملکرد دستگاههای خاص میپردازد. پیدایش این نظریه عموماً به مهندس برقی به نام کلاود شانون[پانویس ۱] در سال ۱۹۴۸ میلادی نسبت داده میشود. نظریه اطلاعات مورد استفاده خاص مهندسین مخابرات بوده، هرچند برخی از مفاهیم آن در رشتههای دیگری مانند روانشناسی، زبانشناسی،کتابداری و اطلاع رسانی، و اطلاعات و دانش شناسی نیز مورد استفاده قرار گرفتهاست.[۱] مفهوم اطلاعاتی که توسط شانون مطالعه شد اطلاعات از دید آمار و احتمالات بوده و با مفاهیم روزمره از اطلاعات مانند «دانش» و یا استفادههای روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت میدارد. اگر چه نظریه اطلاعات رشتههای دیگر مانند روانشناسی و فلسفه را تحت تأثیر قرار داده، ولی بدلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بودهاست.[۲]
تاریخچه
خلق تلگراف و تلفن توجه و علاقه نسبت به مفهوم اطلاعات و انتقال آن را افزایش داد. در سال ۱۸۴۴ میلادی، ساموئل مورس[پانویس ۲] خط تلگرافی بین شهرهای واشنگتن و بالتیمور در آمریکا ساخت. مورس هنگام ارسال اطلاعات به مشکلات عملی الکتریکی برخورد. او متوجه شد که خطوطی که از زیر زمین کشیده شدهاند مشکلات بیشتری از خطوطی که هوایی از طریق تیر منتقل میشوند دارند و این خود زمینهای برای تحقیقات بعدی شد. با اختراع تلفن توسط الکساندر گراهام بل[پانویس ۳] در سال ۱۸۷۵ میلادی و گسترش شدید آن، برخی از دانشوران به بررسی مشکلات انتقال اطلاعات پرداختند. اکثر این تحقیقات از تبدیل فوریه استفاده جسته ولی تمرکز آنها بیشتر به جنبه عملی و مهندسی موضوع بود.[۱]
شروع تحقیق در مورد نظریه اطلاعات اولین بار در سال ۱۹۲۴ توسط هری نایکوئیست[پانویس ۴] در مقالهای به نام «عوامل خاصی که سرعت تلگراف را تحت تأثیر قرار میدهند»[پانویس ۵] انجام شد. نایکویست وجود نرخ ماکزیمم ارسال اطلاعات را متوجه شده و فرمولی جهت محاسبه این نرخ ماکزیمم ارائه کرد. کار مهم دیگر در این زمان مقاله «انتقال اطلاعات» در سال ۱۹۲۸ میلادی توسط هارتلی[پانویس ۶] بود که اولین پایههای ریاضی نظریه اطلاعات را بنا گذاشت.[۱]
تولد واقعی نظریه اطلاعات را به مقاله «نظریه ریاضی مخابرات»[پانویس ۷] توسط کلاود شانون نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنالهای مخابراتی را باید از بررسی معانی ای که آن سیگنالها حمل میکنند جدا کرد، در حالی که پیش از او اطلاعات موجود در یک سیگنال الکتریکی از پیغامی که آن سیگنال منتقل میکند جدا در نظر گرفته نمیشد. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شدهاست که در نامهای که ویکتور هوگو به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامهای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادی میباشد، هرچند از دید ناظری که معانی آنها را نداند، بیمعنی هستند. مثال دیگر این جملهای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمیداند مفهومی ندارد. بدین سان شانون پیشنهاد نمود که مسئله ارسال سیگنالها را از ارسال معانی موجود در آنها جدا کرده، و برای موضوع اول نظریه ریاضی ای تولید نمود.[۱]
شانون در آن زمان در آزمایشگاه بل*[۳] مشغول به کار بود و سعی در تعبیه خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثر مکالمات تلفنی که میتوان روی خطوط تلفن موجود انجام داد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از کانال مخابراتی، ظرفیتی به کانال مخابراتی نسبت داد که بیانگر میزان حداکثر اطلاعاتی است که روی کانال میتوان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها به کانالهای بدون اغتشاش (بدون نویز)، بلکه حتی به کانالهای با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تاثیر پهنای باند کانال، و نسبت توان سیگنال ارسالی به اغتشاش (نسبت سیگنال به نویز) بر ظرفیت کانال را را آشکار میکرد.[۱]
مفهوم اطلاعات و راههای اندازهگیری آن
مفهوم اطلاعاتی که توسط شانون مطالعه شد اطلاعات از دید آمار و احتمالات بوده و با مفاهیم روزمره از اطلاعات مانند «دانش» و یا استفادههای روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت میدارد. اگر چه نظریه اطلاعات رشتههای دیگر مانند روانشناسی و فلسفه را تحت تأثیر قرار داده، ولی بدلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بودهاست.[۲]
آمار و احتمالات نقشی حیاتی و عمده در ظهور و رشد نظریه اطلاعات برعهده دارد.
- آنتروپی اطلاعات
قضایای شانون
در این نظریه، کلاود شانون نحوهٔ مدلسازی مسئله ارسال اطلاعات در یک کانال مخابراتی را به صورت پایهای بررسی نموده، و مدل کاملی برای مدلسازی ریاضی منبع اطلاعات، کانال ارسال اطلاعات و بازیابی آن ارائه نمودهاست. او مسئلهٔ ارسال اطلاعات از یک منبع به یک مقصد را به کمک علم احتمالات بررسی و تحلیل نمود. دو نتیجهٔ بسیار مهم، معروف به قضیههای شانون، عبارتاند از:
۱- حداقل میزان نرخی که میتوان نرخ فشرده کردن اطلاعات یک منبع تصادفی اطلاعات را به آن محدود نمود برابر با آنتروپی آن منبع است؛ به عبارت دیگر نمیتوان دنباله خروجی از یک منبع اطلاعات را با کمتر از آنتروپی آن منبع ارسال نمود.
۲- حداکثر میزان نرخی که میتوان بر روی یک کانال مخابراتی اطلاعات ارسال نمود به نحوی که قادر به آشکارسازی اطلاعات در مقصد، با احتمال خطای در حد قابل قبول کم، باشیم، مقداری ثابت و وابسته به مشخصات کانال است، که به آن ظرفیت کانال میگوئیم. ارسال با نرخی بیشتر از ظرفیت یک کانال روی آن منجر به خطا میشود.
این زمینه از علم مخابرات، به زیربخشهای کدگذاری منبع و کدگذاری کانال تقسیم میگردد. مباحث رمزنگاری مطرح شده توسط شانون نیز از این بنیان ریاضی بهره جستهاست. از زیر شاخههای مرتبط با آن میتوان نظریه کدینگ جبری کانال را نام برد.
کمیت های مربوط به اطلاعات
نظریه اطلاعات بر مبنای نظریه ی احتمالات و علم استاتیک(ایستایی شناسی) به وجود آمده است. مهم ترین کمیت های مربوط به اطلاعات عبارتند از: آنتروپی(که اطلاعات داخل یک متغیر تصادفی است) و اطلاعات متقابل(که مقدار اطلاعات مشترک بین دو متغیر تصادفی است). کمیت اول(آنتروپی)، به ما نشان می دهد که یک داده ای از نوع پیام تا چه حد می تواند فشرده سازی شود؛ در حالی که کمیت دوم(اطلاعات متقابل)، می تواند برای یافتن سرعت ارتباط در یک کانال مورد استفاده قرار گیرد.
انتخاب مبنای لگاریتم در فرمول زیر، نوع واحد آنتروپی اطلاعات را مشخص می کند. رایج ترین واحد اطلاعات، بیت است که بر مبنای لگاریتم دودویی(باینری) است. دیگر واحد ها شامل نت(بر اساس لگاریتم طبیعی) و هارتلی(بر اساس لگاریتم معمولی) هستند. پیرو مطالب قبل، در یک عبارت به شکل ، زمانی که است، طبق قرارداد، عبارت هم برابر صفر در نظر گرفته می شود. این مطلب به راحتی اثبات می شود؛ چون مقدار حدی p log p هنگامی که مقدار p همسایگی راست صفر میل می کند، برابر با صفر است.
آنتروپی
آنتروپی یک متغیر تصادفی، از اندازه گیری مقدار احتمالات مربوط به مقدار به دست می آید.
جستارهای وابسته
معادلهای انگلیسی
پانویس
منابع
Earl Morrogh, Information Architecture, An Emerging ۲۱st Century Profession, Pearson Education, Inc. , ۲۰۰۳. ISBN 0-13-096746-7
پیوند به بیرون
- نظریهای ریاضی برای مخابرات مقاله ۱۹۴۸ کلاود شانون که سرآغاز نظریه اطلاعات به شمار میرود
- نظریه اطّلاعات از آزمایشگاههای بل