بخشی از مقاله
چکیده - در این مقاله با استفاده از الگوریتم تقویتی استراتژی بهینه جهت مشارکت نهاد تجمیعکننده خودروی برقی در بازار برق با مدل سازی عدم قطعیتهای مسأله تعیین شده است. با افزایش سطح نفوذ خودروهای برقی در مصرف برق در شبکه های توزیع افزایش خواهد یافت. در صورت عدم توجه به موضوع شارژ خودروهای برقی و برنامهریزی مناسب در سالهای آینده با یک پیک برق و در نتیجه تلفات شدید در شبکه مواجه خواهیم بود. اما با برنامهریزی و مدیریت مناسب میتوان از پتانسیل ذخیرهسازی باتری خودروهای برقی استفاده نمود وبا هماهنگی شارژ و دشارژ آنها منحنی بار روزانه را مسطح کرد.
این امر توسط نهادهایی به نام نهادهای تجمیع کننده انجام میشود. به واسطه این نهادها خودروهای برقی میتوانند در انواع بازارهای برق شرکت کنند. ساختار بازار و شارژ خودروها دازیرای عدم قطعیتهایی هستند که درنظر گرفتن این موارد در شبیهسازی باعث واقعیتر شدن مساله میشود. از طرفی برخی پارامترها که مربوط به پیشبینی خودرو برقی میباشد نظیر زمان وصل به شبکه، مدت زمان وصل به شبکه، مقدار مورد نیاز شارژ و ظرفیت باتری را نمیتوان به طور دقیق تخمین زد.
در این مقاله روش جدیدی با استفاده از الگوریتم یادگیری تقویتی جهت پیشنهاد قیمت فروش انرژی ناشی از دشارژ باتری خودرو برقی و همچنین خرید انرژی برای شارژ باتریها توسط نهاد تجمیعکننده، برای شرکت در بازار انرژی پیشنهاد شده است. نتایج نشان میدهد که در نطر گرفتن عدم قطعیت باعث واقعیتر شدن شبیهسازی رفتار تجمیعکننده در پیشنهاد قیمت بازار میشودو باعث کاهش جرائم احتمالی میشود.
-1 مقدمه
در کشورهای توسعه یافته، خودروهای برقی در سیستم حمل و نقل از اهمیت بالایی برخوردارند. دلیل عمده این اهمیت، کاهش گازهای گلخانهای است که خودروها سهم زیادی در تولید آن دارند. از این رو افزایش خودروهای برقی و اتصال آنها به شبکه مورد توجه قرار گرفته است. اتصال این خودروها به شبکه را میتوان به عنوان یک بار انعطافپذیر در نظر گرفت. خودروهای برقی میتوانند در ساعات کم باری که قیمت برق ارزان است، برق را در باتری خود ذخیره نموده و در ساعات پرباری با توجه به افزایش قیمت برق آن را به شبکه تحویل دهند.
این عمل به شارژ و دشارژ هماهنگ خودروهای برقی وابسته است که با هدف تغییر اثرات نامطلوب این نوع بارها بر شبکه قدرت به یک منبع ذخیره ساز مهم برق صورت میگیرد .[1] این هماهنگی شارژ و دشارژ توسط نهادهای تجمیعکننده صورت میپذیرد. تجمیعکننده خودرو برقی توانایی عضوگیری تعداد زیادی خودرو برقی را در شبکه جهت خرید و فروش انرژی داشته و مدیریت شارژ و دشارژ آنها را بر عهده میگیرد. در واقع تجمیعکنندهها با این عمل به خودروها کمک میکنند با توان جمع آوری شده که در بازار برق روز بعد شرکت کرده و به کسب سود بپردازند .>2@
خودروها میتوانند در بازار خدمات جانبی به عنوان رزرو مورد بهرهبرداری قرار گیرند تا هرگاه بر اثر وقوع حادثه، نیاز به تزریق فوری توان الکتریکی توسط خودروها به شبکه قدرت باشد، تجمیع کنندههای متصل به شبکه از طریق انرژی ذخیره شده در خود بتوانند مانند ارائهدهندگان رزرو عمل نمایند [3] و تعادل میان عرضه و تقاضا در شبکه را برآورده سازد. علاوه بر ای ن خودروهای الکتریکی می توانند در بازار تنظیم فرکانس نیز مشارکت نموده و از طریق شارژ و دشارژ توان الکتریکی و ارسال سیگنال ، فرکانس شبکه را در محدوده مجاز خود حفظ میکند .[4]
در مرجع [5] از یک مدل دو سطحی برای حداقلکردن هزینه های شارژ در حالی که رضایت مشترکین برآورده شود، استفاده شده است. در مرجع ]6[ مدیریت سمت تقاضا جهت حداکثرکردن سود حاصل از خرید انرژی از خودرو برقی و فروش آن به بهره بردار شبکه بیان شده است. تجمیعکننده باید بهترین پیشنهاد قیمت را برای برندهشدن در بازار رقابتی پیشنهاد دهد. استراتژی قیمتدهی بر پایه روش تئوری بازی در [2] بیان شده است که رفتار تجمیعکننده را در مبادلات بازار مورد بررسی قرار داده است.
امروزه روشهای حل مسأله یادگیری تقویتی مورد توجه قرار گرفتهاند. یادگیری تقویتی بر خلاف تئوری بازی بینیاز به مدل ریاضی محیط است و خاصیت تطبیقی دارد، یعنی به ازای تغییرات رفتار دینامیکی سیستم، تغییرات لازم را انجام میدهد. همچنین در فاز کاربردی نیز نسبت به تئوری بازی بسیار سریع میباشد .[7] استراتژی قیمتدهی با استفاده از الگوریتم یادگیری تقویتی برای شرکت واحدهای تولیدی در بازار رقابتی در مراجع 8]،[9 مورد بررسی قرار گرفته است. در مرجع [10] استراتژی قیمت دهی بر پای ه یادگیری تقویتی برای کاهش هزینههای شارژ خودرو مطرح شده است.
رفتار تصادفی صاحبان خودرو باعث یک تنش در شبکه قدرت شده است که با بالا بردن امینیت و قابلیت میتوان مشکل را حل کرد. برخی اطلاعات که مربوط به پیشبینی خودرو برقی میباشد نظیر زمان وصل به شبکه، مدت زمان وصل به شبکه، مقدار مورد نیاز شارژ و ظرفیت باتری جز پارامترهایی است که نمیتوان به طور دقیق تخمین زد که باعث بوجود آمدن عدم قطعیت میشود. امروزه اجرای بازار با در نظر گرفتن عدم قطعیتهای احتمالی که برای دقیق تر کردن مساله و بهینه کردن هزینه های اضافی کارآمد میباشد مورد توجه قرار گرفته است .
[11] در مرجع [12] از عدم قطعیت در بازار، که از شاخصی به نام شاخص ارزش شرطی در معرض خطر است، استفاده شده است. در مرجع [13] عدم قطعیت در مورد قیمت و سیگنالهای راهاندازی خودروهای برقی به کار رفته است که از برنامه ریزی تصادفی استفاده شده است. در مرجع [14] عدم قطعیت در ساختار بازار که باعث ایجاد چالش برای اپراتور بازار برق گردیده، بررسی شده است. عدم قطعیت در بارهای ساعتی و عدم قطعیتهایی در واحدهای تولیدی در [2] تاثیر داده شده است، که با استفاده از مونت کارلو آن را حل کرده است.
در این مقاله روش جدیدی برای استراتژی قیمتدهی خرید و فروش تجمیعکننده در بازار رقابتی روز بعد با در نظر گرفتن عدم قطعیت مسأله مورد تجزیه و تحلیل قرار میگیرد. تعداد اتصال خودروبرقی در یک تجمیعکننده که در بازار برق همکاری میکنند و انرژی درخواستی و پیشنهادی تجمیع کننده در بازار به عنوان پارمترهای دارای عدم قطعیت در مقاله در نظر گرفته شده است. تابع توزیع گوسی برای مدلسازی این عدم قطعیت استفاده میشود و با استفاده از الگوریتم یادگیری تقویتی به قیمتدهی و کسب سود پرداخته شده است. برای رسیدن به اهداف فوق ادامه بصورت زیر تدوین شده است.
در بخش 2 به پیاده سازی تجمیع کننده ها و عدم قطعیت مربوط به آنها در بازار برق پرداخته میشود. پیادهسازی الگوریتم یادگیری-Q برای استراتژی قیمت دهی تجمیعکننده با در نظر عدم قطعیت در بخش 3 بیان میشود. مطالعه رفتار قیمتدهی تجمیعکننده در بازار رقابتی، تحت سیستم نمونهای در بخش 4 مورد بررسی قرار گرفته است و در نهایت نتیجهگیری در بخش 5 بیان شده است.
-2 تجمیع کنندههای خودرو برقی در بازار با در نظر گرفتن عدم قطعیت
ذخیره انرژی در خودرورهای برقی ایدهای برای حضور در بازار برق را ایجاد کرده است که حضور نهادهای تجمیعکننده امکان پذیر خواهد بود. ایدهی اصلی تجمیع خودروهای برقی این است که تعدادی خودروبرقی از طریق یک واحد تجمیع کننده به عنوان نیروگاه مجازی در شبکه ایفای نقش میکنند. این مجموعه با توانی در حدود چند مگاوات به عنوان تولیدکننده و مصرفکننده بزرگتر در شبکه مطرح میشود. تجمیعکنندهها بازیگران جدیدی هستند که وظیفهی تجمی ع خودروهای برقی، خرید و فروش انرژی ذخیره شده آن ها را بر عهده دارند. خرید و فروش این انرژی به تناسب در بازارهای برق خردهفروشی و عمدهفروشی با هدف بیشینه کردن سود و رسیدن به کمترین هزینه برای هر دو طرف - شبکه و خودرو - انجام میشود.
در بازار برق رقابتی اگر قیمت پیشنهادی خرید تجمیعکننده نسبت به سایر رقبا کمتر باشد و همچنین اگر قیمت پیشنهادی فروش تجمیع کننده نسبت به سایر رقبا بالاتر باشد، بازنده بازار خواهد شد. در این حالت توانایی تعامل با بهرهب ردار شبکه جهت برآورده سازی اهداف خود را ندارد. در هر دو حالت تجمیع کننده برای دستیابی به اهداف خود مجبور است که میزان انرژی مورد نیاز یا باقیمانده از بازنده شدن در بازار رقابتی را در بازارهای لحظهای پیشنهاد دهد که سود کمتر یا هزینه بیشتر کسب خواهند کرد .[15] در واقع میتوان در شکل 1 ارتباط تجمیعکننده با بهره بردار مستقل سیستم و خودرو برقی را دید که یک تعامل دو طرفه نشان میدهد.
-3 پیاده سازی الگوریتم یادگیری-Q برای استراتژی قیمت دهی تجمیعکننده بادر نظر عدم قطعیت:
یادگیری تقویتی یک روش تعاملی است که با تعاملی که با محیط انجام میدهد یاد میگیرد که چگونه از حالتی که حرکت خود را آغاز کرده، به هدف برسد و در هر حالت بهترین عمل را انتخاب کند. هدف بیشینه کردن سود در دراز مدت میباشد. این کار به صورت پویا انجام میشود یعنی نیازی نیست که فضای مسأله ثابت باشد بلکه فضای مسأله در حین اجرا میتواند تغییر کند. یادگیری-Q یکی از روش های حل مساله یادگیری تقویتی میباشد که توسط واتکینز ارایه شده است 8]،.[16
