بیان معیارهای ارزیابی موتورهای کاوش

کیفیت خروجی های اینترنت

جاکوب (۱۹۹۵) فهرستی از معیارها را برای ارزیابی موتورهای کاوش فرآهم آورده است. به نظر او، یک موتور کاوش ایدهآل باید:

  • سهل الاستفاده باشد (اما برای فرمولبندی درخواستها، راهنمایی را در بر داشته باشد)
  • سرعت جستجوی بالایی داشته باشد
  • علاوه بر جستجوهای پیشرفته بولی، از جستجوی پایه نیز پشتیبانی کند
  • با استفاده از نویسه جایگزین بتواند بخشی از کلمه را جستجو کند
  • جستجوهای عبارتی و جستجوی نزدیک یابی را فرآهم آورد
  • به بهره گیر اجازه دهد تا وزنی را بر انواع اصطلاحات کاوشی اعمال کند
  • به بهره گیر اجازه دهد تا جستجوهای موردی انجام دهد
  • برای تعیین بهترین اصطلاج کاوش، یک اصطلاحنامه توکار داشته باشد
  • به بهره گیر اجازه دهد تا حداکثر تعداد نتایج قابل ارئه را تعیین کند
  • کل مدارک را نمایه کند نه بخشی از آنها را (گرچه بهره گیر باید بتواند برای محدود کردن دامنهٔ جستجو، بر استفاده از فیلدها کنترل داشته باشد)
  • نتیجه هر مدرکی بازیابی شده را به شکل راهنما ارائه دهد و عنوان و آدرس وبی آن نیز ضمیمه باشد
  • نتایج را در مجموعهای ارائه دهد که به سادگی قابل تفسیر باشد و امتیازهای مربوط یانظام رتبه دهی را مشخص سازد. »نشان دهد که منبع چه زمانی نمایه شده است
  • برای حذف پیوندهای بی اعتبار و کهنه منظماً پایگاه را روزآمد کند
  • به بهره گیر اجازه دهد تا آدرسهای اینترنتی که در پایگاه وجود ندارند را ثبت کند

هیچیک از موتورهای کاوش موجود نتوانستهاند، و بعید است که بتوانند، همهٔ این نیازمندیها را برآورده نمایند.

تحقیقات متعددی دربارهٔ ارزیابی یا مقایسه موتورهای کاوش انجام یا گزارش شده است. در این تحقیقات، به تعداد فراوانِ مدارک بازیابی شده، حتی در جستجوهای تخصصی، بیش از هر چیز دیگری اشاره شده است. مثلاً فالک (۱۹۹۷)، از طریق جستجوی اطلاعات دربارهٔ بیماری کرون دریافت که کلیدواژه "کرون - بسته به موتور کاوش مورد استفاده - به تنهایی بین ۵۰۰ تا ۶۰۰۰ مدرک را بازیابی میکند. ترکیب واژه کرون با کلمه دارو یا جراحی در موتورهای بزرگتر کاوش، هنوز ۱۰۰۰ یا بیش از ۱۰۰۰ مدرک را بازیابی میکرد. انجام یک جستجو با واژه کرون در موتور کاوش آلتاویستا، ۸۰۰ مدرک را بازیابی کرد گرچه دامنه جستجو به جدیدترین ماه نیز محدود شده بود

اسکیلز و فلت (۱۹۹۵)، کونت (۱۹۹۶)، کیمل (۱۹۹۶)، وندیتو (۱۹۹۶)، پفافنبرگر(۱۹۹۶)، چو و روزنتال (۱۹۹۶)، دینگ و مارچیونی نی (۱۹۹۶)، واتسون و دیگران (۱۹۹۶)، دونگ و سو (۱۹۹۷) و نیکلسون (۱۹۹۷) نیز توانایی های موتورهای کاوش را اندازه گیری کرده اند اما حاصل بررسی های آنها به سرعت تغییر خواهد کرد؛ هرچند اطلاعات هر نوع اثر در هنگام انتشار نیز کمی قدیمی شده است. نیکلسون نیز ویژگی هایی را توصیف کرده است که یک موتور کاوش مناسب باید دربر داشته باشد.

- آنچه برای ما که در حدود سی سال یا بیشتر است در حوزه بازیابی اطلاعات کار می کنیم بسیار شگفت به نظر می رسد، گرایش به استفاده از ابزارهایی است که حتی در جستجوهای بسیار خاصی نیز هزاران مدرک را بازیابی میکنند. تقریبا نیمی از این نتایج کاملا نامرتبط ، با کیفیتی پایین یا زائد (مدارک یا اطلاعات تکراری) خواهند بود. نمونه ای عالی از چنین وضعیتی در منابع تبليغی آلتاويستا رخ داده است که به یک جستجو درباره موضوع زبان سرخ پوستى اشاره دارد