روند پیدایش نظریه اطلاعات

روند رویدادهای مرتبط با نظریه اطلاعات ، نظریه اطلاعات کوانتومی و فیزیک آماری ، فشرده‌سازی داده ها ، کدهای تصحیح خطا، و موضوعات دیگر.

• 1872 - لودویگ بولتس‌مان، قضیۀ H، و با آن، فرمول $\Sigma p_{i}\log p_{i}$ را برای آنتروپی یک ذرۀ گاز پیش می‌نهد.
• 1878 - ویلارد گیبس، آنتروپی گیبس را تعریف می‌کند؛ احتمالات در فرمول آنتروپی، دیگر به عنوان احتمالات وضعیت کل سیستم در نظر گرفته می‌شود.
• 1924 - هری نایکویست، سنجش اطلاعات و سرعت انتقال اطلاعات در یک سیستم مخابراتی را پیش می‌کشد.
• 1927 - جان فُون‌‎نُویمان، آنتروپی فون‌نویمان را تعریف می‌کند، و آنتروپی گیبس را به مکانیک کوانتومی می‌گسترد.
• 1928 - رالف هارتلی، اطلاعات هارتلی را به‌عنوان لگاریتم تعداد پیام‌های ممکن، پیش می‌نهد. برپایه تعریف او، درصورتی اطلاعات مخابره می‌شود که گیرنده بتواند یک دنباله از سمبل‌ها را از هر دنباله دیگری از سمبل‌ها (صرف‌نظر از اینکه سمبل‌ها، چه معنی دهند) تشخیص دهد.
• 1929 - لئو زیلارد، آزمایش فکری شیطانک ماکسوِل را تجزیه‌وتحلیل می‌کند و نشان می‌دهد که چگونه موتور زیلارد گاهی می‌تواند اطلاعات را به کار مفید تبدیل کند.
• 1940 - آلن تورینگ، بان و دِسی‌بان را به‌عنوان واحدی برای اطلاعاتی که از تنظیمات ماشین رمزنگاری انیگما از راه فرآیند بان‌بوریسموس (Banburismus) به‌دست آمده‌است، پیش می‌نهد.
• ۱۹۴۴ - نظریه اطلاعات کلود شانون، تقریباً کامل می‌شود.
• 1947 - ریچارد همینگ، کد همینگ را برای تشخیص و تصحیح خطا اختراع میکند. به‌سبب رعایت حقوق ثبت اختراع، نتیجه تا 1950 منتشر نمی‌شود.
• 1948 - کلود شانون، نظریه ریاضی مخابرات را منتشر می‌کند.
• 1949 - کلود شانون، انتقال داده‌ها در حضور نویز را منتشر می‌کند؛ نظریه نمونه‌برداری نایکویست-شانون و قانون شانون-هارتلی.
• 1949 - کلود شانون، نظریه مخابراتی سیستم‌های رمز را منتشر می‌کند.
• 1949 - رابرت فانو، کتاب انتقال اطلاعات، از انتشارات دانشگاه MIT، کِیمبریج، ماساچوست را منتشر می‌کند. کدگذاری شانون-فانو معرفی می‌شود.
• 1949 - لیون کرافت، نابرابری کرافت را کشف می‌کند، که محدودیت‌های کدهای پیش‌وند (Prefix codes) را نشان می‌دهد.
• 1949 - مارسل گالِی، کد گالِی را برای تصحیح پیش‌روِ خطا (Forward error correction) معرفی می‌کند.
• 1951 - سولومون کالبَک و ریچارد لایبلِر، واگرایی کولبک-لایبلر را معرفی می‌کنند.
• 1951 - دیوید هافمَن، کد هافمن را اختراع می‌کند: روشی برای یافتن کدهای پیش‌وند بهینه در فشرده‌سازی بی‌اتلاف داده‌ها.
• 1953 - آگوست ساردیناس و جورج پاترسون، الگوریتم ساردیناس-پاترسون را طرح ریختند؛ روشی برای تصمیم‌گیری دربارۀ این‌که آیا یک کد با طول متغیر مشخص را می‌توان منحصربه‌فرد کدگشایی کرد.
• 1954 - اِروینگ رید و دیوید مالِر، کد رید-مالر را پیش می‌نهند.
• 1955 - پیتر الیاس، کد کانوُلوشِنال را پیش می‌نهد.
• 1957 - یوجین پِرِنج، برای نخستین بار، بحث کد چرخه‌ای را پیش می‌کشد.
• 1959 - الکسیس هاکینگِم، و سال بعد، راج بوس و کومار رای-چودوری، کد BCH را پیش می‌نهند.
• 1960 - اِروینگ رید و گوستاو سولومون، کد رید-سولومون را پیش می‌نهند.
• 1962 - رابرت گالاگِر، کد LDPC را پیش می‌نهد؛ که به‌سبب محدودیت‌های فنی، ۳۰ سال بی‌استفاده می‌ماند.
• 1965 - دیوید فُورنی، کدهای الحاق‌شده (Concatenated codes) را پیش می‌نهد.
• 1966 - فومیتادا ایتاکورا و شوزو سایتو، کدگذاری پیش‌بین خطی (LPC) را پیش می‌نهند؛ روشی برای کدگذاری گفتار.
• 1967 - اَندرو ویتربی، الگوریتم ویتربی را پیش می‌نهد، که کدگذاری کانوُلوشِنال را عملی می‌کند.
• 1968 - اِلوین بِرلیکَمپ، الگوریتم برلیکمپ-مَسی را پیش می‌نهد، که کاربردش در کدگذاری‌های BCH و Reed-Solomon، سال بعد از سوی جیمز مَسی مطرح می‌شود.
• 1968 - کریس والاس و دیوید بولتون، نخستین مقاله از چندین مقاله‌شان درباره آمار و استنباط استقرائی (inductive inference) به روش کمترین طول پیام (MML) را منتشر می‌کنند.
• 1970 - والِری گُوپّا، کد گوپا را پیش می‌نهد.
• 1972 - یُورن یوستِسِن، کد یوستسن را پیش می‌نهد؛ بهبود کد Reed-Solomon.
• 1972 - نصیر احمد، تبدیل کسینوسی گسسته (DCT) را پیش می‌نهد، که 1973 با T. Natarajan و K. R. Rao روی آن کار کرده‌اند. DCT بعدها برای فشرده‌سازی بااتلاف تصاویر ثابت و متحرک، گسترده به‌کار می‌رود (برای فرمت‌های چندرسانه‌ای مانند JPEG ،MPEG و MP3).
• - دیوید اِسلِپیان و جک وُولف، حد کدگذاری اسلیپیان-وولف را برای کدگذاری توزیع‌شدۀ منبع کشف و ثابت می‌کنند.
• 1976 - گاتفريد اونگِربِک، نخستین مقاله‌اش را درباره مدولاسیون داربستی (تِرِلیس) منتشر می‌کند. توضیح مفصل‌تری از آن در 1982، به افزایش سرعت مودم خط تلفن آنالوگ از 9.6 کیلوبیت‌برثانیه به 33.6 کیلوبیت‌برثانیه می‌انجامد.
• 1976 - ریچارد پاسکو و یورما ریسانِن، تکنیک‌های مؤثر کدگذاری حسابی را گسترش می‌دهند.
• 1977 - آبراهام لِمپِل و یاکوب زیو، فشرده‌سازی لمپل-زیو (LZ77) را پیش می‌نهند.
• 1982 - والِری گُوپا، کدهای هندسۀ جبری را پیش می‌نهد.
• 1989 - فیل کاتس، فرمت .zip را که شامل تکنیک فشرده‌سازی DEFLATE (LZ77 + کد هافمن) می‌شود، منتشر می‌کند، که بعدها، پرکاربردترین روش فشرده‌سازی فایل‌ها می‌شود.
• 1993 - کلود بِرو، آلَن گِلاویو، و پونیا تیتیمایشیما، کد توربو را پیش می‌نهند.
• 1994 - مایکل باروُز و دیوید ویلر، تبدیل باروز-ویلر را پیش می‌نهند، که بعدها در bzip2 به‌کار می‌رود.
• 1995 - بنجامین شومِیکِر، اصطلاح کیوبت را پیش می‌نهد و قضیه کدگذاری بی‌نویز کوانتومی را ثابت می‌کند.
• 2003 - دیوید مَک‌کِی، ارتباط نظریه اطلاعات، استنباط آماری و یادگیری ماشینی را در کتابش نشان می‌دهد.
• 2006 - یاروسلاو دودا، کدگذاری آنتروپی به روش سیستم‌های عددی نامتقارن را پیش می‌کشد. این روش از 2014، جایگزین کدگذاری‌های هافمَن و حسابی در فشرده‌سازی داده‌ها در Facebook Zstandard، Apple LZFSE، CRAM یا JPEG XL می‌شود.
• 2008 - اِردال آریکان، کد قطبی را پیش می‌نهد؛ نخستین کد که برای برخی کانال‌های مخابراتی، در عمل به ظرفیت کانال دست می‌یابد.