آنتروپی آماری توسط شانون به عنوان مفهوم اساسی در تئوری اطلاعات اندازه گیری میانگین اطلاعات از دست رفته در یک منبع تصادفی معرفی شد.
با سرعت آنتروپی کاربردی شده و در قضیه های کدگذاری و فشرده سازی مرزهایی را ایجاد می کند.
اما این دیدگاه ریاضی در قوانین آماری نشان دهنده رفتارهای جمعی عمومی بوده و بینش هایی را درباره مفهوم تصادفی بودن ، نوع داده ها و بی نظمی ارائه می دهد.
محاسبه آنتروپی ابزاری مفید در تحقیقات کاربردی است.
به عنوان مبنایی برای تکنیک هایی مانند:
- انتخاب ویژگی ها،
- درختان تصمیم گیری
- و به طور کلی مدل های طبقه بندی مناسب است.
آنتروپی مقیاس متوسطی از اطلاعات مورد نیاز برای نمایش واقعه ای است که:
از توزیع احتمال برای یک متغیر تصادفی گرفته شده است.
روش وزن آنتروپی ابتدا از ترمودینامیک به سیستم های اطلاعاتی ارائه شد.
عدم قطعیت سیگنالها در فرایندهای ارتباطی ” آنتروپی اطلاعات “نامیده می شود.
هرچه آنتروپی اطلاعات کمتر باشد، وزن آن شاخص بالاتر است.
در تکنیک شانون ماتریس تصمیم گیری به صورت زیر عادی می شود:
آنتروپی اطلاعات برای هر شاخص به شرح زیر است:
و وزن بدست آمده از آنتروپی اطلاعات به شرح زیر بیان می شود:
