بخشی از مقاله
چکیده
در محیط تجدید ساختار یافته صنعت برق، انتخاب طرح هاو قوانین مناسب براي بازار انرژي و انواع سرویس هاي جانبی از دید تصمیم گیران بازار داراي اهمیت ویژه اي به لحاظ فنی و اقتصادي می باشد. انتخاب مدل پرداخت به برندگان مناقصه ها نیز یکی از موارد کلیدي در طراحی است که تاثیر مستقیم بر کارایی سیستم و راهبرد سیاست گذاري ها دارد. پیش بینی رفتارشرکت کنندگان در مناقصات بازار و شبیه سازي محیط بازار،در انتخاب مدل و قانون مناسب سودمند و کارا خواهد بود.در این مقاله، روشی مبتنی بر سیستم چند عاملی جهت شبیه سازي مناقصه همزمان بازار انرژي و رزرو چرخشی پیشنهاد شده است، که در آن قیمت دهی هر عامل بر اساس یک الگوریتم یادگیري تقویتی صورت می پذیرد. روش مذکور در خصوص یک سیستم نمونه با قانون تسویه یکنوخت اجرا شده و از این طریق تاثیر دو مدل پرداخت مختلف، با لحاظ هزینه فرصت از دست رفته و بدون آن، در رفتار قیمت دهی شرکت کنندگان بازارها و نتایج بازار مورد تجزیه و تحلیل قرار گرفته است.
واژههاي کلیدي: بازار انرژي، بازار رزرو چرخشی، هزینه فرصت از دست رفته، یادگیري تقویتی، سیستم چند عاملی
-1 مقدمه:
یکی از وظایف مهم قانون گذران و تصمیم گیران بازار برق،تجزیه و تحلیل بازار در مدل ها و طرح هاي ممکن و انتخاب بهترین آنها با توجه به سیاست گذاري ها و اهداف تعیین شده می باشد. شناخت کامل محیط بازار و شناخت ویژگی هاي رفتاري شرکتکنندگان بازار و پیشبینی رفتار قیمتدهی از ملزومات این امر محسوب میشود.در محیط صنعت برق علاوه بر بازار انرژي، معمولاً بازارهاي دیگري همچون بازار انواع سرویس هاي جانبی نیز وجود دارند که طراحی آنها به همراه طراحی بازار انرژي داراي اهمیت است. ظرفیت رزرو، به عنوان مهمترین عنصر
جهت تامین قابلیت اطمینان مطلوب سیستم، یکی از انواع سرویس هاي جانبی است که در اکثر سیستم ها بصورت مشترك وجود دارد.
در اکثر سیستم هاي تجدید ساختار یافته برق مانند کالیفرنیا، نیویورك، PJM و New England، تامین سرویسهاي جانبی بر عهده بهره بردار مستقل سیستم 1 - ISO - است.[1] براي تامین رزرو در محیط رقابتی صنعت برق روشها و مدلهاي مختلفی وجود دارد، ISO می تواند براي تامین رزرو موردنیاز سیستم بازاري با مدل Pool راه اندازي کند - مانند کالیفرنیا، نیویورك، PJM و - New England و یا تحت قراردادهاي دوطرفه با تولید کنندگان این میزان رزرو را خریداري نماید - مانند اسلوونی، استرالیا و کشورهاي شمال اروپا - .[2,3]امروزه تامین رزرو و دیگر خدمات جانبی از طریق بازاررقابتی مورد توجه قرار گرفته است، زیرا رقابت می تواند به افزایش سودمندي و بهره وري کالا، شفافیت قیمت و رضایت تولید کننده و مصرف کننده کمک نماید.
بازار رقابتی رزرو این اجازه را به شرکت کنندگان می دهد تا بطور مناسب بین هزینه و سود حاصل از تامین رزرو تعادل ایجاد کرده و ارزش واقعی کالاي رزرو را مشخص نمایند.[4] در این مقاله تامین رزرو به مانند تامین انرژي موردنیاز مصرف کننده از طریق یک بازار رقابتی Pool که توسط ISO اجرا می شود، مد نظر قرار گرفته است.در هر سیستم با توجه به مشخصات واحدهاي تولیدي آن،انواع کالاي رزرو قابل تامین که براي آن سیستم نیز مفیدباشد، تعریف می گردند. ظرفیت رزرو چرخشی به عنوان یکی از مهمترین انواع رزرو در این مقاله مد نظر قرار گرفته است.رزرو چرخشی توسط واحدهاي سنکرون با شبکه تامین میگردد.
ظرفیت رزرو چرخشی تخصیص یافته به واحدهاباید در مدت حداکثر 10 دقیقه قابل دسترسی باشد.[5]بطور کلی دو شکل تخصیص کالا هاي برق، از جمله انرژي و انواع کالاي رزرو، وجود دارد که عبارتند از تخصیص پشت سرهم و تخصیص همزمان. در تخصیص پشت سرهم، معمولاً توالی تخصیص انواع کالاي برق بر اساس اهمیت و کیفیت این کالا ها تعیین می شود. مثلاً ابتدا مسئله بهینه سازي تخصیص انرژي حل می گردد، در مرحله بعد تخصیص دربازار رزرو چرخشی انجام می شود. در هر مرحله از تخصیص پشت سرهم، ظرفیت هاي تخصیص یافته به کالا هاي دیگر در مراحل قبلی، از ظرفیت آماده حذف می گردند. در تخصیص همزمان، بهینه سازي توام1 هزینه انواع کالاي انرژي و رزرو مدنظر قرار دارد و میزان مورد نیاز انواع کالا هاي برق بصورت همزمان به فروشندگان تخصیص مییابد.
ژنراتورها تجهیزاتی هستند که توانایی عرضه انرژي،ظرفیت رزرو و دیگر انواع کالا را در یک زمان دارا هستند. از این رو ممکن است عرضه در بازار رزرو از طرف ژنراتورهایی باشد که در بازار انرژي نیز کالاي خود را عرضه کرده اند. این وابستگی در سمت عرضه بازار هاي انرژي ورزرو ممکن است باعث تاثیر متقابل این بازار ها بر یکدیگرشود. اگر چه ممکن است قیمت رزرو با قیمت انرژي متفاوت باشد، ولی بازار رزرو و انرژي باید هماهنگ با یکدیگر طراحی گردند.[6,7]علاوه بر دلایل فوق، یک ارتباط داخلی صریح بین بازار انرژي و بازار رزرو چرخشی وجود دارد که در مراجع [8] و [9] نیز به این ارتباط پرداخته شده است. لذا در این مقاله تخصیص همزمان و بهینه سازي توام در بازار انرژي و رزرو چرخشی مد نظر قرار گرفته است.
به لحاظ زمانی، مناقصه در بازار رزرو میتواند بصورتReal-Time ، Day-Ahead، Forward بلند مدت و یاترکیبی از آنها - مانند بازارهاي New England و کالیفرنیا - [10,11] اجرا شود. در این مقاله بازه زمانی اجراي مناقصات انرژي و رزرو، Day-Ahead بوده و شرکت کنندگان در روز قبل براي هر ساعت روز بهره برداري، قیمت و مشخصات فنی مربوط به تامین انرژي و رزرو چرخشی را پیشنهاد میدهند.براي انتخاب پیشنهادهاي برنده در بازار می توان دو نوع تابع هدف در نظر گرفت [1]:
الف - هزینه اجتماعی2
ب - هزینه تامین3
در تابع هدف - الف - ، مینیمم سازي بر اساس پیشنهادات قیمت ارائه شده توسط شرکت کنندگان و ظرفیت پذیرفته شده آنها صورت می پذیرد. در تابع هدف - ب - ، مینیمم سازي براساس قیمت پرداختی به برندگان و ظرفیت پذیرفته شده آنها صورت می گیرد. در بازاري با قانون تسویه تمایزي4، نتایج حاصل از این دو تابع هدف بر یکدیگر منطبق میباشند. روش مینیمم سازي هزینه تامین، کاملاً به قانون تسویه اعمالی در سیستم وابسته است. در بازاري با قانون پرداخت یکنواخت1،نتایج مینیمم سازي هزینه اجتماعی لزوماً بر نتایج مینیمم سازي هزینه تامین منطبق نخواهد بود..[12]
در این مقاله، قانون تسویه بازار به صورت یکنواخت در نظر گرفته شده است. تابع هدف مسئله بهینه سازي نیز، هزینه اجتماعی می باشد و مینیمم سازي بر اساس پیشنهادات قیمت ارائه شده توسط شرکت کنندگان و ظرفیت پذیرفته شده آنها صورت می پذیرد. لازم به ذکر است، مسئله بهینه سازي تخصیص، با ساده سازي و صرفنظر از محدودیت هاي وابسته به زمان، براي یک ساعت روز بهره برداري به صورت مجزا قابل حل خواهد بود.بر اساس مرجع [13]، در طراحی بازار هاي رزرو ممکن است یکی از مدلهاي رایج پرداخت ذیل مورد استفاده قرار گیرد:
الف - ژنراتورها تنها هزینه آمادگی رزرو را دریافت کنند. - مدل - - - A
ب - ژنراتورها تنها هزینه فرصت ازدست رفته را دریافت
کنند. - مدل - - - L
ج - ژنراتورها هزینه آمادگی رزرو و هزینه فرصت ازدست رفته را دریافت کنند. - مدل - - - A+L
د - ژنراتورها هزینه آمادگی رزرو یا هزینه فرصت ازدست رفته را دریافت کنند. - مدل - - - A|L
هزینه آمادگی رزرو مبلغی است که واحد به ازاي مقدارظرفیت رزرو تخصیص یافته به آن دریافت میکند. درمدل هایی که در آنها پرداخت هزینه آمادگی رزرو مدنظر قرارگرفته است، ژنراتور ها باید قیمت آمادگی پیشنهادي خود راارائه دهند. هزینه فرصت از دست رفته نیز در واقع براي جبران کاهش سود واحد در بازار انرژي بدلیل مطرح شدن قید تامین رزرو، پرداخت میشود .[14]
در این مقاله قصد بر آن است تا تاثیر دو مدل پرداخت - A - و - A+L - بر نتایج بازار و رفتار شرکت کنندگان بازار موردتجزیه و تحلیل قرار گیرد. براي تحقق این امر، استفاده از یک سیستم چند عاملی2 پیشنهاد شده است که در آن هر یک از عامل ها بر اساس یک الگوریتم یادگیري تقویتی3 در بازار انرژي و رزرو چرخشی قیمت دهی می کنند. براي بررسی هاي بیشتر، یک سیستم نمونه معرفی شده و روش پیشنهادي بر روي آن اجرا شده و در نهایت نتایج تجزیه و تحلیل رفتار شرکت کنندگان تحت دو مدل پرداخت مذکور آورده شده است. لازم به ذکر است، الگوریتم یادگیري تقویتی مورد استفاده، الگوریتم Q-Learning میباشد.
-2 الگوریتم :Q-Learning
در یادگیري تقویتی، عامل فرا می گیرد که در هر موقعیت وحالت چه عملی بهتر است. در واقع یادگیري تقویتی نگاشتی از فضاي موقعیت ها به فضاي عمل ها می باشد، به نحوي که سیگنال پاداش ماکزیمم گردد. در یادگیري تقویتی مانند بسیاري از الگوریتمهاي یادگیري ماشین، به عامل گفته نمی شود که چه عملی را انتخاب کند - یادگیري بدون ناظر - 4و عامل باید در تقابل با محیط و با آزمایش عمل ها، عملی را که پاداش بیشتري در پی دارد، پیدا کند.[15]الگوریتم یک الگوریتم یادگیري تقویتی استکه براي مسائل تصمیمگیري مارکوفی 5 - MDPs - که اطلاعات کامل و روشنی از مدل آنها وجود ندارد، قابل استفاده میباشد.
بر اساس این الگوریتم میتوان استراتژي بهینه را در تعامل مستقیم با محیط و به صورت بدست آورد. الگوریتQ-Learning براي مسائل تصمیم گیري در بازي هاي تکراري که بقیه بازیگران ناشناخته هستند، مانند مسئله قیمت دهی استراتژیک در مناقصات بازار برق، مناسب خواهد بود.[16,17]نمونه هایی از به کارگیري الگوریتم Q-Learning در مسئله قیمت دهی استراتژیک در مناقصات بازار برق و شبیه سازي رفتار شرکت کنندگان بازار برق را می توان در مراجع [16-21]مشاهده نمود.
