بخشی از مقاله
چکیده
بازیهای رایانهای چندنفره در میان بازیکنان از اهمیت بالایی برخوردار هستند، چراکه در این نوع بازیها افراد میتوانند مهارتهای خود را با سایر بازیکنان محک زده و ضمن لذت بردن از بازی، خود را به دیگران اثبات کنند. زمانی که بازیکنان با مهارتهای مختلف در یک محیط مشخص با یکدیگر بازی میکنند، مسئله تنظیم دشواری بازی از اهمیت بالایی برخوردار است، چراکه اگر بازی برای گروهی بسیار آسان و برای گروه دیگر بسیار سخت باشد، جذابیت و کشش بازی تا حد زیادی کاهش مییابد.
از آنجا که در بازیهای چندنفره، بازیکنان با یکدیگر ارتباط و برخورد محسوسی دارند، تنظیم پویای دشواری برای این نوع بازیها دارای مشکلات و دشواریهای خاص خود میباشد. از این رو بیشتر رویکردهای موجود ارائه شده در زمینه تنظیم دشواری بازی، برای بازیهای تکنفره به کار رفته است. این مقاله با به کارگیری روش یادگیری تقویتی، روشی خودکار برای تنظیم دشواری بازی اتومبیلرانی چندنفره ارائه کرده است. نتایج حاصل از مطالعه کاربری انجام شده بر روی این سیستم حاکی از موفقیت این سیستم در دستیابی به این هدف است.
-1مقدمه
بازیهای رایانهای چندنفره از محبوبترین حالتهای بازی در میان بازیکنان هستند که در آنها عامل رقابت نقشی کلیدی و تعیینکنندهای در جذابیت بازی دارد. بازی رایانهای یک تجربه متعامل است که عوامل بسیاری در جذابیت آن تأثیرگذارند.
زمانی که سطح بازیکنان در یک بازی چندنفره متفاوت باشد، بازی برای بازیکنان حرفهای دارای محکی سهل و آسان بوده و بازیکن چالش خاصی را تجربه نمیکند، به همین دلیل، در ادامه بازی برای آنها کسلکننده و پیش و پا افتاده قلم داد میشود. از سویی دیگر، رقابت برای بازیکنان کمتجربه بسیار دشوار و غیر قابل تحمل میشود و امید آنها را برای ادامه بازی و نتیجه گرفتن در آن بازی را از بین برده و حس سرخوردگی و شکست را در بازیکنان به وجود میآورد. در چنین حالتهایی به اصطلاح بازی متوازن نبوده و بازیکنان آن طور که باید از بازی کردن لذت نمیبرند.
روش تنظیم پویای دشواری1راهحل مناسبی برای حل این معضل به شمار میآید. در این روش که با روشهای مختلفی قابل پیادهسازی میباشد، با استفاده از هوش مصنوعی، بازی به صورت محسوسی برای بازیکنان متعادل شده و احساس ناخوشایند اشاره شده برای بازیکنان را به حداقل میرساند. روش تنظیم دشواری پویا به صورت بلادرنگ2 در بازی اعمال میشود و با استفاده از عناصر و عاملهای هوشمند موجود در بازی، رفتارهایی متناسب با عملکرد بازیکن را به نمایش میگذارد
این روش به طور مستقیم نمیتواند در بازیهای چندنفره به راحتی اعمال شود، چراکه در بازیهای رایانهای چندنفره تعدادی بازیکن انسانی با استعدادهای مختلف در محیطی یکسان گرد هم میآیند و اعمال توازن دشواری برای یک بازیکن بر عملکرد بازیکن دیگر تأثیر خواهد داشت.
برای اعمال هرچه بهتر این روش میتوان از تعدادی عامل هوشمند که با بازیکن در ارتباط هستند برای تغییر برخی از پارامترها، متناسب با عملکرد بازیکن استفاده کرد. در این تحقیق سعی شده است تا با به کارگیری روش یادگیری تقویتی3، تنظیم پویای دشواری به صورت بلادرنگ در یک بازی رایانهای مسابقه اتومبیلرانی پیادهسازی شود.
در گذشته برای اعمال توازن دشواری در بازیهای رایانهای، تحقیقاتی صورت گرفته است که حالت بر خط آن شامل هوش مصنوعی و روشهای هوش محاسباتی میباشد. در این حالت به دلیل وجود بازیکنان انسانی در یک محیط واحد، علاوه بر تنظیم عناصر بازی برای داشتن عملکردی بلادرنگ، برای از بین نرفتن احساس کنترل بازی توسط بازیکنان توازن دشواری از طرف بازی تا حد امکان نباید به صورت محسوس اعمال شود
هانیک [5] اضافه و یا کم کردن عناصر مرتبط با بازیکن را برای این منظور ارائه کرده است. او یک سیستم پیشبینی مردن بازیکن در بازی با استفاده از دادههای آماری به وجود آورد و عناصری که سبب مردن بازیکن میشدند - مانند تعداد دشمنان - را کاهش و تعداد عناصری که باعث زنده ماندن وی میشدند - مانند جانبخشها - را در بازی افزایش داد.
آندره [4]در بازی مبارزهای خود، عاملهای هوشمند را طوری برنامهریزی کرد که با استفاده از یادگیری تقویتی رفتار خود را با مهارت بازیکن انسانی مطابقت دهند. عاملهای هوشمند در حالت پیشفرض خود بهترین حالت عملکردی را دارند و طبق درجهبندیهای معین و با توجه به مهارت بازیکن به حالتهای آسانتر کاهش میدهند.
پردینگر [10] در بازی اتومبیلرانی دوستدار محیط زیست خود با توسعه روش توازن چالش بلادرنگ4 روشی ارائه کرده است که در آن تصمیمات عاملهای هوشمند بر اساس تابع چالش درون بازی - که میزان درگیری بازیکن به صورت بلادرنگ را میسنجد - انجام میشود. مقدار کم تابع چالش بیانگر میزان کم چالش بازیکن درون بازی و در نتیجه خستگی وی از مسابقه و مقدار زیاد آن به معنی چالش زیاد و سرخوردگی بازیکن میباشد، به همین دلیل در تحقیق مذکور تابع چالش را در حالت میانگین قرار دادند تا بازی برای بازیکن نه زیاد سخت و نه زیاد آسان شود.
پژوهشهای قبلی بحث شده - به جز پژوهش پردینگر - [10] هیچ کدام برای بازیهای چندنفرهای که در آن بازیکنان انسانی با هم در یک محیط یکسان به رقابت بپردازند کارایی ندارند. علاوه بر آن در روش پردینگر هم چالش و هیجان بازی در سطح پایینی قرار دارد. در این پژوهش سعی ما بر آن بود تا علاوه بر تولید یک بازی چندنفره که در آن بازیکنان به واسطه یک محیط واحد به یکدیگر متصل میشوند، از تجربه یک بازی متوازن هیجانانگیز نیز بهرهمند شوند.رویکرد عملی ما نیز تولید یک بازی چندنفره اتومبیلرانی در دو حالت عادی و حالتی با اعمال روش تنظیم پویای دشواری برای مقایسه نتایج به دست آمده از آزمایش آنها میباشد.
-2یادگیری تقویتی
در حوزه یادگیری ماشین1، برخلاف روش یادگیری با نظارت2که در آن از نمونههای از قبل تعیینشدهای برای یادگیری مدل استفاده میشود، در روش یادگیری تقویتی عامل هوشمند از بازخورد دریافتی از محیط تصمیم میگیرد که چه خروجی را برای ورودی دریافتی انتخاب کند و بر اساس بازخوردهایی - پاداشهایی - که از انتخابش دریافت میکند مدل خود را کامل میکند.
عاملهای هوشمند مکرراً و به صورت بلادرنگ اقدام به تصمیمگیری در محیط میکنند و بر تجارب خود میافزایند تا زمانی که بهترین تجربه را به دست آورده و رفتار خود را بر اساس آن تنظیم کنند. معمولترین الگوریتم برای یادگیری تقویتی روش یادگیری کیو3 میباشد
در این الگوریتم مدل یادگیری به صورت ماتریسی در نظر گرفته میشود که سطر و ستونهای آن به ترتیب بیانگر حالتها - states - و اقدامات ممکن - actions - عامل هوشمند هستند. فرمول زیر قانون انتقال کیو را بیان میکند که در آن R ماتریس پاداش و نرخ یادگیری در موضوع مورد بحث میباشد:
-3رویکرد یادگیری تقویتی در بازی اتومبیلرانی
در این قسمت به توضیح بازی اتومبیلرانی چندنفره چالشگر - تصویر - 1 که در راستای این پژوهش تولید شده است، و همچنین نحوه اعمال یادگیری تقویتی در بازی میپردازیم. بازیهای اتومبیلرانی که به صورت چندنفره اجرا میشوند، فضایی رقابتی و هیجانانگیز ارائه میکنند که در آن دو یا چند بازیکن بر روی یک مسیر مشخص با کنترل کردن اتومبیلهای خود قصد پیروزی در بازی را دارند و سیستم هم با فراهم کردن اعمالی مانند شتاب گرفتن، ترمز کردن و یا تغییر جهت دادن، رانندگی را به صورت فیزیکی در فضایی مجازی شبیه سازی میکند.
مهمترین هدف بازیکنان در این نوع بازیها کسب مقام اول و پشت سر گذاشتن رقبا میباشد که رسیدن به این هدف به عوامل گوناگونی بستگی دارد. در این پژوهش تلاش شده است تا با اعمال روشهایی، بازی کردن و رسیدن به هدف برای بازیکنان به یک توازن معقول دست یابد، به طوری که رسیدن به هدف و اتمام بازی نه زیاد آسان و نه زیاد سخت باشد.
