بخشی از مقاله
چکیده
تا کنون روشهای مختلفی برای ارزیابی میزان رضایتمندی کاربران از موتورهای جستجو توسعه داده شده است. روشهای صریح از طریق ارزیابی انسانی و تحلیل مشاهدات کاربران به ارزیابی موتور جستجو میپردازند. انجام این روشها به دلیل محدودیت تعداد افراد شرکت کننده در آزمایش و همچنین هزینه زیاد در مقیاس بالا امکانپذیر نمیباشد. در مقابل، روشهای ضمنی رضایت کاربران را به کمک بازخوردهای ضمنی آنها در حین استفاده از موتور جستجو تخمین میزنند. ایده اصلی این روشها آن است که رضایت کاربر از یک نتیجه جستجو با رفتار او بعد از کلیک روی آن نتیجه مشخص میشود.
در این پژوهش به منظور ارزیابی میزان رضایتمندی کاربران از نتایج موتور جستجوی پارسیجو، رفتارهای ضمنی مجموعهای از کاربران این موتور جستجو، شامل کلیک، لغزش در صفحه، مشاهده و توجه به محتوای صفحه و ...، ثبت گردیده و سپس به کمک تکنیکهای یادگیری ماشین و با استفاده از دادههای آموزشی تولید شده توسط همین مجموعه از کاربران، وزن مناسبی برای هریک از این رفتارها به دست آمده است. نتایج حاصله نشاندهنده اهمیت رفتارهای میزان لغزش در صفحه و مدت زمان فعال بودن کاربر در صفحه نتایج در تعیین میزان رضایت کاربر میباشد. مبتنی بر میانگین وزندار رفتارهای ضمنی کاربران، میزان رضایتمندی از موتور جستجوی پارسیجو 30 درصد بوده است.
کلمات کلیدی:رضایت کاربر، موتور جستجو، بازخورد ضمنی، افزونه مرورگر
1 مقدمه
کاربران در ارزیابی کارایی سامانههای بازیابی اطلاعات نقش مهمی دارند چرا که رضایت کاربران مهمترین معیار ارزیابی موتور جستجو میباشد. به این منظور از بازخوردهای صریح یا ضمنی کاربران استفاده میگردد. دریافت بازخورد صریح از کاربران دارای مشکلات و محدودیتهایی است به عنوان نمونه کاربر از فرایند دریافت اطلاعات آگاهی داشته و ممکن است بازخوردهای معمول خود را نداشته باشد. همچنین، داشتن کاربرانی که جستجوهای سفارشی انجام بدهند و نتایج ارزیابی را بهصورت صریح اعلام کنند هزینهبر است. این در حالی است که، کاربران بسیاری همهروزه نیازهای اطلاعاتی خود را با وارد نمودن پرس و جوهای خود در جویشگرهای اینترنتی مرتفع میکنند و نتایج ارائه شده توسط موتور جستجو را مشاهده میکنند.
با توجه به حجم بالای استفاده کنندگان از سیستمهای بازیابی اطلاعات و موتور جستجو استفاده از بازخورد ضمنی کاربران منجر به تسهیل و تسریع ارزیابی-های مورد نیاز و اعمال تغییرات متناسب با آنها میشود. ضمن آنکه کاربران از نقش و تاثیر خود بر این ارزیابی آگاه نیستند بنابراین قضاوت بیطرافانهای از این طریق در اختیار ناظرین و توسعهدهندگان این سامانهها قرار خواهد گرفت.بازخوردهای ضمنی کاربران در بسیاری از فعالیتهای ارزیابی سامانههای بازیابی اطلاعات و موتورهای جستجو بکاررفته است اما بیشتر این فعالیتها به استفاده از اطلاعات لاگ موتور جستجو - سمت سرور - و نرخ کلیک کاربران پرداختهاند.[7-16]
آمار نرخ کلیک کاربران زمانی که موتورجستجوی دارای کاربری بسیار بالایی باشد کارایی بیشتری در استخراج نتایج دارد. هر چند در برخی پژوهشها نرخ کلیک کافی دانسته نشده و از ترکیبی از آن با سایر فیدبکهای ضمنی کاربران استفاده شده است.[17] بازخوردهای ضمنی کاربر همچنین در سیستمهای پیشنهاد دهنده و سیستمهای فیلترینگ کاربرد زیادی دارد.با توجه به اینکه یک موتور جستجوی نوپا مانند پارسی جو که در [1-2] و [5-6] ارزیابی شده علیرغم قابل قبول بودن نتایج با توجه به محدودیت منابع و زیرساختهای در دسترس نرخ کلیک خیلی بالایی ندارد، لذا استفاده از این معیار برای سنجش کیفیت نتایج کافی نیست.
لذا در این پژوهش سعی شده از رفتار ضمنی کاربر بعد از بازشدن صفحه نتایج یا سربرگها به منظور ارزیابی رضایت کاربر از نتایج ارائه شده توسط موتور جستجو استفاده شود.کاربران مختلف در حین مشاهده نتایج، رفتار متفاوتی با نتایج مرتبط یا نامرتبط با پرسوجو دارند که از طریق ثبت آنها و استخراج الگوهای مشترک میتوان بصورت خودکار رضایت کاربر را استخراج نمود. به عنوان نمونه کاربران در صورت نامرتبط بودن سربرگ باز شده بلافاصله آن را میبندند و یا در صورت مرتبط بودن مدت زمان بیشتری در صفحه مانده و نتیجه را مرور میکنند. در این پژوهش برای جمعآوری اطلاعات مربوط به رفتار کاربران در حین جستجو یک افزونه برای مرورگر فایرفاکس توسعه داده شده است که بدون دخالت و توجه کاربر، میتواند رفتار وی را ثبت کند.
رضایت کاربران از موتور جستجو از طریق میانگین وزندار رفتارهای ضمنی کاربر تخمین زده می شود. تحلیل نتایج حاصله نشان می دهد که مهمترین فعالیت کاربران پارسی جو شامل لغزش و کلیک روی نتایج بوده است. همچنین میزان رضایت کاربران از نتایج پارسیجو 30 درصد میباشد.مطالب این مقاله در ادامه به این صورت سازماندهی شده است. بخش دوم به مروری بر کارهای مرتبط اختصاص دارد. در بخش سوم راهحل پیشنهادی ارائه گردیده است. بخش چهارم به ارزیابی روش پیشنهادی و تحلیل نتایج اختصاص داده شده و در انتها در بخش پنجم به جمعبندی و نتیجهگیری مطالب ارائه شده پرداخته خواهد شد.
2 کارهای مرتبط
با توجه به اهمیت رضایت کاربر از نتایج موتور جستجو فعالیتهای مختلفی برای بهرهگیری از رفتار و بازخوردهای ضمنی کاربران انجام شده است. بخش عمدهای از آنها به تحلیل لاگ موتور جستجو [7-13] پرداختهاند. دسته دیگر از فعالیتها از نرخ کلیک کاربر برای بهبود الگوریتمهای رتبهبندی و یافتن اهداف کاربران از جستجو استفاده نمودهاند.[14-16] اما فعالیتهای محدودی به تحلیل عملکرد کاربران بعد از کلیک روی نتایج پرداختهاند.در [17] ضمن اینکه تلاش شده وابستگی بین اخذ رضایت کاربر به صورت صریح و ضمنی اثبات شود، موثرترین پارامترهای تعیین کننده رضایت کاربر به صورت ضمنی محاسبه گردیده است.
در انتها اثبات شده بهترین معیارهای پیش بینی رضایت شامل نرخ کلیک کاربر، زمان سپری شده در صفحه نتایج و روش خروج از صفحه - بستن مرورگر، ایجاد پرس و جوی جدیدو ... - میباشد.برخی فعالیتها با محوریت سنجش عدم رضایت کاربران از اطلاعات رفتاری کاربر بعد از کلیک روی نتایج استفاده نموده است. در [18] به منظور حفظ کاربران و جلوگیری از تمایل آنها به سمت سایر موتورهای جستجو میزان نارضایتی کاربر محاسبه شده است. به این منظور از لاگ کاربر که با استفاده از افزونه فایرفاکس جمعآوری شده استفاده گردیده است. افزونه داده-هایی نظیر میزان تمرکز کاربر بر صفحه، رویداد کلیک، رویدادهای پیمایشی نظیر حرکات موس، کپی و چسباندن اطلاعات و لغزش در طول صفحه را ثبت میکند.
پژوهشهایی نیز مانند [20] وجود دارد که به موتور جستجو محدود نبوده و به حوزههای عمومیتر مانند مرور و پیمایش صفحات وب و سنجش علاقهمندی به آنها میپردازند. در این پژوهش رفتار مرورگری کاربر را شامل مواردی نظیر کلیک کردن، پرینت و انتخاب متن میداند. یکی از مزایای استفاده از این گونه روشها را مستقل از زبان بودن آنها میداند.در [21] به کاربرد بازخوردهای ضمنی برای فیلتر صفحات پرداخته شده است. به این صورت که از طریق مرورگر وب با دنبال کردن اولویتهای کاربر به فیلتر صفحات میپردازد. در واقع برای هر کاربر مبتنی بر عکسالعمل او در برابر صفحات فیلتر شده پروفایلی مبتنی بر یادگیری ایجاد میشود. در این پژوهش برای هر سند خوانده شده توسط کاربر اطلاعاتی نظیر زمان خواندن، زمان لغزش، نشانهگذاری و دنبال کردن پیوندها جمعآوری میگردد.
-3 راهحل پیشنهادی
رفتار کاربران در حین جستجو میتواند میزان رضایت آنان را از نتیجه ارائه شده توسط موتور جستجو نشان دهد. به عنوان نمونه، وقتی کاربر صفحه ارائه شده توسط موتور جستجو را باز کرده و بلافاصله بعد از چند ثانیه میبندد، نشان از این دارد که نتیجه مورد نظر مورد علاقه کاربر نبوده و مرتبط با پرس-وجوی وی نمیباشد. از طرفی دیگر زمانی که برای مدت قابل توجهی روی صفحه نتیجه باز شده تمرکز میکند و بخشهای مختلف صفحه را مشاهده میکند میتوان نتیجه گرفت که صفحه موردنظر محتوای مرتبط بیشتری در مورد پرسوجو برای ارائه به کاربر داشته است. بنابراین، چنین جایگزینهایی برای دریافت ضمنی بازخورد درخصوص مرتبط بودن نتایج ارائه شده میتواند بسیار دقیقتر از روشهای مشابه باشد.
برای انجام اینگونه تحلیلها، نیاز داریم تا رویدادهای ایجاد شده توسط کاربر را دریافت کرده و بر روی آنها تحلیلهای موردنظر را انجام دهیم. دریافت چنین رویدادهایی برای تمام صفحات و سربرگهای باز شده توسط کاربر، تنها از طریق خود مرورگر امکانپذیر است. زیرا صفحه مربوط به موتور جستجو، دسترسی لازم برای ثبت رویدادهای اتفاق افتاده در صفحه دیگر مربوط به نتایج جستجو را ندارد و تنها میتواند بخشی از رویدادهای داخل خود را ثبت کند که مد نظر ما نیست. مرورگر به تمامی سربرگهای باز شده توسط کاربر و صفحههای آنها دسترسی دارد و میتواند وقایع آنها را ثبت کند. بنابراین، برای جمعآوری اطلاعات مربوط به رفتار کاربران در حین جستجو یک افزونه برای مرورگر فایرفاکس توسعه داده شده است که بدون دخالت و توجه کاربر، میتواند رفتار وی را ثبت کند.
افزونه توسعه داده شده مبتنی بر رویداد عمل میکند. به این معنی که وقوع رویدادهای خاصی را به همراه زمان دقیق، مشخصات کاربر ایجاد کننده رویداد و پارامترهای رویداد ثبت میکند. رویدادهایی که توسط افزونه ثبت میشوند در جدول 1 معرفی شدهاند.در هنگام ثبت تمام رویدادها پارامترهایی بهصورت کلی ذخیره میشوند که نشاندهنده اطلاعات مربوط به رویداد است. این پارامترها در جدول 2 معرفی شدهاند جدول : - 2 - پارامترهای مخصوص هر رویداد ارسال شده از طریق افزونه علاوه بر پارامترهای کلی که به ازای هر رویداد ارسال میشود، پارامترهایی نیز برای هر نوع رویداد وجود دارد که مقدار مشخصی را برای رویداد مورد نظر ارسال میکند. این پارامترها را در جدول 3 ملاحظه میکنید.
افزونه در هنگام وقوع هر رویداد، یک درخواست به سمت سرور ارسال میکند. سرور با دریافت درخواست، اطلاعات مربوط به آن را ذخیره میکند. به همین منظور امکانی در سمت سرور ایجاد شده است که قابلیت دریافت و ذخیره رویدادها را داشته باشد. خلاصهای از اطلاعات دریافتی توسط سرور و ذخیره شده در بانک اطلاعاتی در جدول 4 ارائه گردیده است.
