نظریه اطلاعات

از ویکی‌پدیا، دانشنامهٔ آزاد
پرش به: ناوبری، جستجو

الگو:نظریه اطلاعات (نگره ازدایش) نگرهٔ اطّلاعات (نگره ازدایش) مدلی ریاضی از شرایط و عوامل موثر در ترابُرد (انتقال) و پردازش داده‌ها و اطّلاعات فراهم می‌آورد. نگرهٔ اطلاعات (ازدایش) با ارائهٔ روشی برای«کمّی سازی و اندازه‌گیری عددی داده ها و ازدایش» به موضوعاتی مانند فرستادن، دریافت، و اندوزش (ذخیره‌سازی) بهینهٔ داده‌ها و اطلاعات می‌پردازد. نگاه اصلی این نگره بر روی پاوندهای (محدودیت‌های) بنیادین که در فرستادن و واکاوی داده‌ها هست، می‌باشد، و کمتر به شیوهٔ کارکرد دستگاه‌های خاص می‌پردازد. پیدایش این نگره عموماً به هندازشگر(مهندس) برقی به نام کلاود شانون[پانویس ۱] در سال ۱۹۴۸ میلادی نسبت داده می‌شود. نگره ازدایش بدست هندازشگران مخابرات بکارگرفته می شود، هرچند برخی از مفاهیم آن در رشته‌های دیگری مانند روان‌شناسی، زبان‌شناسی،کتابداری و اطلاع رسانی، و ازدایش و دانش شناسی نیز بکارگیری شده است.[۱] مفهوم ازدایشی که توسط شانون بررسی شد ازدایش از دید آمار و احتمالات بوده و با مفاهیم روزمره از ازدایش مانند «دانش» و یا بهره مندیهای روزمره از آن در زبان طبیعی مانند «بازیابی ازدایش(اطلاعات)»، «واکاوی ازدایش(اطلاعات)»، «چهارراه ازدایش» و غیره تفاوت می‌دارد. اگر چه نگره ازدایش رشته‌های دیگری مانند روان‌شناسی و فلسفه را هناییده، ولی بدلیل مشکلات همگرداندن (تبدیل) «مفهوم آماری ازدایش» به «مفهوم معنایی دانش و محتوا» هنایشش بیشتر از نوع القای احساساتی نسبت به مفهوم ازدایش بوده‌است.[۲]

واژه نامه[ویرایش]

در زبان پهلوی ازدینیدن (azdinidan) به معنای اطلاع دادن است که از ریشه "ازد" آمده است[۳]، در فارسی از فعل ازداییدن و واژه ازدایش به چم¬های اطلاع دادن و اطلاعات می توان بهره برد.

تاریخچه[ویرایش]

پدیدآورش تلگراف و تلفن نگاه و دلبستگی به مفهوم ازدایش و ترابُرد آن را افزایش داد. در سال ۱۸۴۴ میلادی، ساموئل مورس[پانویس ۲] خط تلگرافی میان شهرهای واشنگتن و بالتیمور در آمریکا ساخت. مورس هنگام فرستادن داده به مشکلات عملی الکتریکی برخورد. او پی برد که خطوطی که از زیر زمین کشیده شده‌اند مشکلات بیشتری از خطوطی که هوایی از طریق تیر تَرابُرده می‌شوند دارند و این خود زمینه‌ای برای پژوهشهای پس از این شد. با پَراوش (اختراع) تلفن بدستالکساندر گراهام بل[پانویس ۳] در سال ۱۸۷۵ میلادی و گسترش شدید آن، برخی از دانشوران به بررسی مشکلات ترابُرد ازدایش پرداختند. اکثر این پژوهش ها از تبدیل فوریه بهریده اند ولی نگاه و درنگری آنها بیشتر به جنبه دانشی و هندازشی(مهندسی) موضوع بود.[۱]

آغاز پژوهش در مورد نگره ازدایش نخستین بار در سال ۱۹۲۴ بدستهری نایکوئیست[پانویس ۴] در مقاله‌ای به نام «عوامل ویژه ای که سرعت تلگراف را می هنایند»[پانویس ۵] انجام شد. نایکویست وجود نرخ بیشینه فرستادن اطلاعات را پی برده و فرمولی برای اَفماردن (محاسبه) این نرخ بیشینه، پیش نهاد. کار مهم دیگر در این زمان مقاله «ترابُرد ازدایش» در سال ۱۹۲۸ میلادی بدست هارتلی[پانویس ۶] بود که نخستین پایه‌های ریاضی نگره ازدایش را پی نهاد.[۱]

کلود شانون

تولد واقعی نگره ازدایش را به مقاله «نگره ریاضی مخابرات»[پانویس ۷] توسط کلاود شانون نسبت داد. یکی از نکات اصلی مقاله شانون نگاه به این نکته بود که بررسی سیگنال‌های مخابراتی را باید از بررسی معانی ای که آن سیگنال‌ها می برند جدا کرد، در حالی که پیش از او ازدایش موجود در یک سیگنال الکتریکی از پیغامی که آن سیگنال می ترابرد جدا انگاشته نمی‌شد. شانون همچنین به این نکته درنگریست که طول یک سیگنال همیشه متناسب با میزان ازدایش آن نیست. مثلاً آورده اند که در نامه‌ای که ویکتور هوگو به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامه‌ای دریافت که تنها دربردارنده نماد «!» بود. این دو نماد برای هر دو، دربردارنده ازدایش بسیاری می‌باشد، هرچند از دید بیننده ای که معانی آنها را نداند، بی‌معنی هستند. مثال دیگر جمله‌ درازی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمی‌داند مفهومی ندارد. بدین سان شانون پیشنهاد نمود که پرسمان (مسئله) فرستادن سیگنال‌ها را از فرستادن معانی موجود در آنها جداییده، و برای موضوع اول نگره ریاضی ای ساخت.[۱]

شانون در آن زمان در آزمایشگاه بل*[۴] کار می کرد و در زمینه تعبیه خطوط تلفن با ضریب اعتماد بالا می کوشید. پیش از شانون عوامل موثر در بکارگیری بهینه از خطوط تلفن شناخته نشده بود و تعداد بیشینه مکالمات تلفنی که می‌توان روی خطوط تلفن موجود انجام داد آشکار نبود. شانون پس از پیشنهاد تعریفی ریاضی از کانال مخابراتی، ظرفیتی به کانال مخابراتی نسبت داد که بیانگر اندازه بیشینه ازدایشی است که روی کانال می‌توان فرستاد. فرمول ظرفیت کانال شانون نه تنها به کانال‌های بدون اغتشاش (بدون نوفه)، بلکه حتی به کانال‌های با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تاثیر پهنای باند کانال، و نسبت توان سیگنال فرستادنی به اغتشاش (نسبت سیگنال به نویز) بر ظرفیت کانال را را آشکار می‌کرد.[۱]

مفهوم ازدایش و راه‌های اندازه‌گیری آن[ویرایش]

مفهوم ازدایشی که توسط شانون بررسی شد ازدایش از دید آمار و احتمالات بوده و با مفاهیم روزمره از ازدایش مانند «دانش» و یا استفاده‌های روزمره از آن در زبان طبیعی مانند «بازیابی ازدایش»، «واکاوی ازدایش»، «چهارراه ازدایش» و غیره تفاوت می‌دارد. اگر چه نگره ازدایش رشته‌های دیگر مانند روان‌شناسی و فلسفه را تحت تأثیر قرار داده، ولی بدلیل مشکلات تبدیل «مفهوم آماری ازدایش» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم ازدایش بوده‌است.[۵]

آمار و احتمالات نقشی حیاتی و عمده در ظهور و رشد نگره ازدایش برعهده دارد.

  • آنتروپی ازدایش

قضایای شانون[ویرایش]

در این نگره، کلاود شانون نحوهٔ مدل‌سازی مسئله فرستادن اطلاعات در یک کانال مخابراتی را به صورت پایه‌ای بررسی نموده، و مدل کاملی برای مدل‌سازی ریاضی منبع ازدایش، کانال فرستادن ازدایش و بازیابی آن پشنهاده است. او مسالهٔ فرستادن ازدایش از یک منبع به یک مقصد را به یاری دانش احتمالات بررسی و واکاوی نمود. دو پیامد بسیار مهم، معروف به قضیه‌های شانون، عبارت‌اند از:

۱- کمینه اندازه نرخی که می‌توان نرخ فشرده کردن ازدایش یک منبع تصادفی اطلاعات را به آن پاوند کرد (محدود نمود) برابر با آنتروپی آن منبع است؛ به عبارت دیگر نمی‌توان دنباله خروجی از یک منبع ازدایش را با کمتر از آنتروپی آن منبع فرستادن نمود.

۲- بیشینه انازه نرخی که می‌توان بر روی یک کانال مخابراتی فرستاد به نحوی که قادر به آشکارسازی ازدایش در مقصد، با احتمال خطای در حد قابل قبول کم، باشیم، مقداری ثابت و وابسته به مشخصات کانال است، که به آن ظرفیت کانال می‌گوئیم. فرستادن با نرخی بیشتر از ظرفیت یک کانال روی آن منجر به خطا می‌شود.

این زمینه از دانش مخابرات، به زیربخش‌های کدگذاری منبع و کدگذاری کانال تقسیم می‌گردد. مباحث رمزنگاری مطرح شده توسط شانون نیز از این بنیان ریاضی بهره جسته‌است. از زیر شاخه‌های مرتبط با آن می‌توان نگره کدینگ جبری کانال را نام برد.

کمیت های مربوط به ازدایش[ویرایش]

نگره ازدایش بر مبنای نگره ی احتمالات و علم استاتیک(ایستایی شناسی) پدید آمده است. مهم ترین کمیت های مربوط به ازدایش عبارتند از: آنتروپی(که ازدایش داخل یک متغیر تصادفی است) و ازدایش متقابل(که مقدار ازدایش مشترک بین دو متغیر تصادفی است). کمیت اول(آنتروپی)، به ما نشان می دهد که یک داده ای از نوع پیام تا چه حد می تواند فشرده سازی شود؛ در حالی که کمیت دوم(ازدایش متقابل)، می تواند برای یافتن سرعت ارتباط در یک کانال مورد استفاده قرار گیرد.

گزینش مبنای لگاریتم در فرمول زیر، نوع واحد آنتروپی ازدایش را مشخص می کند. رایج ترین واحد ازدایش، بیت است که بر مبنای لگاریتم دودویی(باینری) است. دیگر واحد ها شامل نت(بر اساس لگاریتم طبیعی) و هارتلی(بر اساس لگاریتم معمولی) هستند. پیرو مطالب پیشین، در یک عبارت به شکل شکست در تجزیه (خطای نحوی): {\displaystyle p \log p \} ، زمانی که است، طبق قرارداد، عبارت هم برابر صفر انگاشته می شود. این مطلب به راحتی اثبات می شود؛ چون مقدار حدی p log p هنگامی که مقدار p همسایگی راست صفر می گراید، برابر با صفر است.

آنتروپی[ویرایش]

آنتروپی آزمایش برنولی به صورت تابعی از احتمال موفقیت، اغلب به نام تابع باینری آنتروپی نامیده می شود.. مقدار آنتروپی در 1 بیشینه است در هر آزمایشی که دو نتیجه ی ممکن به طور مساوی محتملند؛ همانند شیر یا خط آوردن یک سکه به طور بی طرفانه

آنتروپی یک متغیر تصادفی، از اندازه گیری مقدار احتمالات مربوط به مقدار به دست می آید.

جستارهای وابسته[ویرایش]

معادل‌های انگلیسی[ویرایش]

  1. Claude Elwood Shannon
  2. Samuel F.B. Morse
  3. Alexander Graham Bell
  4. Harry Nyquist
  5. Certain Factors Affecting Telegraph Speed
  6. R.V.L. Hartley
  7. The Methematical Theory of Communication

پانویس[ویرایش]

  1. ۱٫۰ ۱٫۱ ۱٫۲ ۱٫۳ ۱٫۴ «information theory,» Encyclopædia Britannica
  2. SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.
  3. فرهنگ پهلوی مکنزی
  4. Bell Laboratories
  5. SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.

منابع[ویرایش]

Earl Morrogh, Information Architecture, An Emerging ۲۱st Century Profession, Pearson Education, Inc. , ۲۰۰۳. ISBN 0-13-096746-7

پیوند به بیرون[ویرایش]