آنتروپی آماری توسط شانون به عنوان مفهوم اساسی در تئوری اطلاعات اندازه گیری میانگین اطلاعات از دست رفته در یک منبع تصادفی معرفی شد.

با سرعت آنتروپی کاربردی شده و در قضیه های کدگذاری و فشرده سازی مرزهایی را ایجاد می کند.

اما این دیدگاه ریاضی در قوانین آماری نشان دهنده رفتارهای جمعی عمومی بوده و بینش هایی را درباره مفهوم تصادفی بودن ، نوع داده ها و بی نظمی ارائه می دهد.

محاسبه آنتروپی ابزاری مفید در تحقیقات کاربردی است.

به عنوان مبنایی برای تکنیک هایی مانند:

  • انتخاب ویژگی ها،
  • درختان تصمیم گیری
  • و به طور کلی مدل های طبقه بندی مناسب است.

آنتروپی مقیاس متوسطی از اطلاعات مورد نیاز برای نمایش واقعه ای است که:

از توزیع احتمال برای یک متغیر تصادفی گرفته شده است.

روش وزن آنتروپی ابتدا از ترمودینامیک به سیستم های اطلاعاتی ارائه شد.

عدم قطعیت سیگنالها در فرایندهای ارتباطی ” آنتروپی اطلاعات “نامیده می شود.

هرچه آنتروپی اطلاعات کمتر باشد، وزن آن شاخص بالاتر است.

در تکنیک شانون ماتریس تصمیم گیری به صورت زیر عادی می شود:

آنتروپی اطلاعات برای هر شاخص به شرح زیر است:

و وزن بدست آمده از آنتروپی اطلاعات به شرح زیر بیان می شود: