بخشی از مقاله
چکیده
در این مقاله به کاربرد اصل ماکزیمم آنتروپی در توزیع احتمال وقتی که مقدار گشتاورها معلوم باشند، میپردازیم. سپس یک چارچوب کلی برای ماکزیمم آنتروپی بیان میکنیم که در آن با استفاده از ضرایب لاگرانژ، توزیع ماکزیمم را بدست آورده و شرایط وجود توزیع ماکزیمم - وجود ضرایب لاگرانژ - آنتروپی را بررسی میکنیم.
واژه های کلیدی: آنتروپی نسبی، اصل ماکزیمم آنتروپی، گشتاورها، ضرایب لاگرانژ.
مقدمه
اصل ماکزیمم آنتروپی برای مواردی استفاده میشود که هدف برآورد توزیع احتمال است به طوری که توزیع بدست آمده تحت قیدهای مسئله، بیشترین عدم قطعیت - ماکزیمم آنتروپی - را داشته باشد. اولین بار جینز [1] توزیع احتمال با حداقل اریبی و تحت قیود خاص را با استفاده از ماکزیمم آنتروپی اندازه شانون به دست آورد. افراد بسیاری از جمله زوگرافوس [ 2] به بررسی ویژگی ها، کاربردها و تعمیم های روش آنتروپی پرداخته اند. همچنین این روش در بسیاری از شاخه های مختلف علوم مورد استفاده قرار گرفت که مرور جامعی از آن را میتوان در کاور و توماس [3] و پاردو [4] یافت. استفاده از ماکزیمم آنتروپی در توابع مطلوبیت توسط جسوپ [5] ، عباس [6]و [7] و دارونه [9] و[8] ارائه شده است. همچنین لاندزمن [10] و پاینده و همکاران [11] از این روش در نظریه باورمندی استفاده کردند. کرواویچ و مرگل [12] و ساچلاس و پاپانیاو [13] مدل بندی توزیع بشدت ادعاها را با استفاده از روش ماکزیمم آنتروپی بررسی کردند. گزیل و همکاران [14] احتمال ورشکستگی را با استفاده از این اصل مورد مطالعه قرار داده اند.
مفاهیم وتعاریف اولیه
مفهوم آنتروپی که در اینجا مورد بحث قرار خواهد گرفت برای اولین بار توسط شخصی به نام شانون در سال 1948 در یک مقاله بنیادین مطرح شد که به آنتروپی شانون نیز شهرت یافت. مفهوم آنتروپی از نظریه اطلاع، با نام آنتروپی شانون که در [15] بیان میشود، گرفتهvشده است. مفهوم آنتروپی از فیزیک سرچشمه گرفته و پس از آن برای استفاده در نظریه اطلاع به شدت توسعه داده شده است. با استفاده از اصل ماکزیمم آنتروپی، میتوان از آمارههای خلاصه برای تعیین توزیع متغیر تصادفی استفاده کرد. برای مثال اگر فقط اطلاعات اینکه تکیه گاه آن متناهی باشد، در دسترس باشد آنگاه مطابق اصل ماکزیمم آنتروپی یک توزیع یکنواخت برای متغیر تعیین میشود. علاوه بر این، توزیعهای ماکزیمم آنتروپی تحت محدودیتهای گشتاورها به طور گستردهای مورد مطالعه قرار گرفته است، با این وجود، هنوز هم فقدان مطالعه در موارد شناخته شده آمارههای خلاصه مانند میانه، دامنه، چارک، کمیت هایی از مرتبه مختلف با هم با گشتاورهای کلاسیک وجود دارد. ما در اصل ماکزیمم به دنبال توزیعی هستیم که شرایط آمارههای خلاصه و بیشترین آنتروپی بین توزیعهای احتمال که همه شرایط را دارند داشته باشند. یعنی اگر تابع اصلی توزیع احتمال مد نظر، با تابعی که پیدا کردیم یکی نباشد از نظر تصادفی بودن بدتر، از توزیعی که پیدا کردیم نیست. به عبارتی بی نظمی آن بیشتر نیست.
تعیین توزیع آنتروپی ماکزیمم به وسیله گشتاورها
فرض بر این است که اگر گشتاورهای توزیع معلوم باشند، تعیین کردن خانوادهای از توزیعها که مربوط به توزیع آنتروپی ماکزیمم وابسته به مجموعهای از پارامترهاست، امکان پذیر است. در ادامه مسئله بهینه سازی توزیع ماکزیمم آنتروپی به وسیله مجموعهای از محدودیت های گشتاوری تعیین و برای 0,1,..., N n به صورت
زیر تعریف میشود:
