بخشی از مقاله
چکیده
در سال های اخیر، استفاده از رایانش ابری توسط سازمان های IT گسترش پیدا کرده است و کاربران زیادی به طور نامنظم در طول زمان از سرویس های ابری استفاده می کنند دسترسی نامنظم به سرویس های ابری، تامین پویای منابع برای آنها را الزام می کند چرا که منابعی که به صورت ایستا تأمین میشدند معمولاً برای پاسخگویی به نیازهای نقطه اوج تنظیم میشدند که خود باعث اتلاف منابع بود. تأمین منابع باید بر حسب نیاز و به صورت پویا انجام شود. هدف از این کار کم کردن مصرف انرژی به عنوان یک عامل هزینه ساز و بالا بردن بهره وری منابع است. در این مقاله، رویکردی برای تامین پویای منابع بر اساس یادگیری تقویتی در محیط رایانش ابری ارائه شده است تا با حداقل سازی هزینه، منابع مورد نیاز برای برنامههای کاربردی کاربران را تأمین کند.
کلمات کلیدی: رایانش ابری، تامین پویای منابع، مقیاسپذیری خودکار، یادگیری تقویتی
مقدمه
رایانش ابری مدل رایانشی بر پایه شبکههای بزرگ کامپیوتری مانند اینترنت است که الگویی تازه برای عرضه، مصرف و تحویل سرویسهای فناوری اطلاعات - شامل سخت افزار، نرم افزار، اطلاعات، و سایر منابع اشتراکی رایانشی - با به کارگیری اینترنت ارائه میکند. رایانش ابری راهکارهایی برای ارائه خدمات فناوری اطلاعات به شیوههای مشابه با صنایع همگانی - آب، برق، تلفن و - … پیشنهاد می کند. این بدین معنی است که دسترسی به منابع فناوری اطلاعات در زمان تقاضا و بر اساس میزان تقاضای کاربر به گونه ای انعطاف پذیر و مقیاس پذیر از راه اینترنت به کاربر تحویل داده میشود.
مزیت مهم محیط های ابر، پاسخگویی آن به درخواستهای مشتریان از طریق تطبیق سیستم بر اساس تقاضاهای کاربران میباشد. سیستمی که بتواند خود را مبتنی بر درخواست کاربر تطبیق دهد سیستمی مقیاس پذیراست. پس مقیاس پذیری، توانایی سیستم برای مدیریت و تامین منابع در هنگامی که سیستم با حجم کاری بالا روبرو است، میباشد. البته این را نیز باید اضافه کرد که نحوه مدیریت سیستم بعد از کاهش بار کاری نیز به مقیاس پذیر بودن آن ارتباط دارد. در واقع زمانی که یک کاربر به نیازهای بیشتر با ویژگیهای خاص نیاز دارد مقیاس پذیری مطرح میشود و این خود مستلزم اتخاذ سیاستهای جدید در طراحی سیستم میباشد.
محیط رایانش ابری یک منبع بزرگ از منابع میباشد که به ازای درخواست و شناسایی نیازهای کاربران، منابع را به آنها تخصیص میدهد. خصوصیت بارز محیط ابر، مجازی سازی است که میتواند ماشینهای مجازی را به عنوان یک سرویس در اختیار کابران قرار دهد.یادگیری تقویتی یک روش محاسباتی برای درک و آموزش هدایت خودکار هدف و تصمیمگیری است. یادگیری تقویتی بر یادگیری از طریق تعامل مستقیم بین یک عامل و محیط آن تمرکز دارد.
تصمیم گیرنده که عامل نامیده می شود، از تجربه - روش آزمون و خطا - بهترین عمل برای اجرای هر وضعیت از محیط را یاد می گیرد و همواره در تلاش برای به حداکثر رساندن پاداش بازگشتی است. مقیاس بند خودکار یک عامل است که با محیط نرم افزار مقیاس پذیر تعریف شده در ارتباط است و به اضافه و یا حذف منابع به برنامه - اقدامات - ، بسته به حجم کار جریان ورودی، عملکرد و یا مجموعه ای دیگر از متغیرهای - حالت - ، تصمیم خواهد گرفت و همواره در تلاش برای به حداقل رساندن زمان پاسخ نرم افزار است.
هدف نهایی این مقاله، ارائه رویکردی نوین مبتنی بر یادگیری تقویتی برای تامین پویای منابع در محیط رایانش ابری است که زیرساخت را بر اساس تغییرات حجم کاری بهینه کرده و از کاهش QoS جلوگیری کرده و نیاز به تدارک بیش از حد را حذف میکند. ما مشکلات مقیاس بندی خودکار را تعیین کرده و آنها را با مدل خود رفع میکنیم. رویکرد هایی که از تکنیک مبتنی آستانه استفاده کرده اند مجبور بودند که برای حدآستانه خود یک مقدار ثابت تعریف کنند که این خود موجب مقیاس بندی اشتباه در برخی اوقات میشد. این محدودیت باعث شد تا ما در این رویکرد حدآستانه ها را به صورت پویا در آوریم.
ادامه مقاله بدین صورت سازماندهی شده است: در بخش دوم کارهای مربوطه در حوزه تامین پویای منابع مبتنی بر یادگیری تقویتی را مرور می کنیم، در بخش سوم رویکرد پیشنهادی با جزییات ارائه شده و بخش چهارم به ارزیابی کارایی رویکرد پیشنهادی اختصاص دارد و نهایتا بخش پنجم نتیجه گیری و پیشنهادات ارائه می شود.
کارهای مربوطه
تحقیقات متنوعی در حوزه مقیاس بندی اتوماتیک و روش های پیاده سازی آن صورت گرفته است. هرکدام از رویکردهای موجود مزایا و معایبی دارد. از آنجائیکه رویکرد پیشنهادی این مقاله، بر اساس یادگیری تقویتی می باشد، در این بخش تحقیقات مرتبط با این تکنیک را مرور می کنیم: یک رویکرد یادگیری تقویتی یکپارچه، یعنی URL را برای خودکارسازی فرآیندهای پیکربندی ماشین های مجازیِ در حال اجرا ارائه کردند. کاربرد این رویکرد در پیکربندی خودکار بلادرنگ در ابرهاست. همچنین انطباق تنظیمات بودجه ی منابع VM و تنظیمات پارامتر برای پویایی ابر و تغییر حجم کار بمنظور تضمین کیفیت سرویس را امکان پذیر میکند.
به طور خاص، این رویکرد، انعطاف پذیری لازم برای مصالحه1 بین اهداف استفاده از سیستم گسترده و اهداف بهینه سازی SLA خاص را داراست. روش RL_DRP را پیشنهاد میدهند. آنها در مکانیزم پیشنهادی خود از شبکه های عصبی نیز بهره می گیرند. روش معرفی شده آنها به سرویس دهنده ابر، امکان مواجه با حجم بالای درخواست ها و پاسخ بدون از دست دادن فرصت دریافت کارهای ارزشمند را می دهد، در عین حال، بطور بهینه، مصرف منبع را نیز اداره می کند.
یک پیکربندی ماشین مجازی خودکار مبتنی بر RL یعنی VCONF ارائه می کنند. طراحی مرکزی VCONF با استفاده از مدل مبتنی بر الگوریتم RL به منظور مقیاسپذیری و
سازگاری صورت میگیرد.استفاده از مقداردهی اولیه مناسب در مراحل اول کار، و نیز افزایش سرعت همگرایی در مراحل یادگیری، برای حل مسئله، پیشنهاد داده اند، همچنین نتایج تجربی حاصل نیز ارائه کرده اند. همچنین آنها مدل کارایی برای تشخیص تغییر، معرفی کرده که بر اساس آن، مدیریت فرآیند یادگیری را تکمیل خواهند کرد.
با اینکه برخی از این راهکارها در حوزهیادگیری تقویتی، به خوبی شناخته شده میباشند، سهم اصلی مقاله آنها، یکپارچه سازی آنها در یک کنترلر ابر واقعی و برنامه نویسی آنها به صورت جریان کار خودکار میباشد.یک کنترل پذیرش هماهنگ و روش تأمین منابع تطبیقی برای تمایز سرویس چند لایه و بهبود عملکرد در یک پلت فرم مجازی به اشتراک گذاشته ارائه شده دا دند. آنها روشهای جدید یادگیری مبتنی بر مدل تقویت مستقل برای پیکربندی خودکار ماشین مجازی - VM - و جلسه بر اساس کنترل پذیرش توسعه دادند.
پیکربندی VM تطبیقی خودکار تمایز سرویس متناسب بین برنامههای کاربردی واقع در شرکت و بهبود زمان پاسخ نرم افزار به طور همزمان فراهم میکند. کنترل ورود توان جلسه از برنامههای کاربردی را بهبود میبخشد و اتلاف منابع به حداقل میرساند. پاداش به اشتراک گذاشته فعالیت هماهنگی بین دو ماژولهای یادگیری میبخشد. برای چابکی سیستم و مقیاس پذیری، رویکرد یادگیری تقویتی با شبکههای عصبی آبشار ادغام کردند.
