کیفیت خروجی های اینترنت
جاکوب (۱۹۹۵) فهرستی از معیارها را برای ارزیابی موتورهای کاوش فرآهم آورده است. به نظر او، یک موتور کاوش ایدهآل باید:
هیچیک از موتورهای کاوش موجود نتوانستهاند، و بعید است که بتوانند، همهٔ این نیازمندیها را برآورده نمایند.
تحقیقات متعددی دربارهٔ ارزیابی یا مقایسه موتورهای کاوش انجام یا گزارش شده است. در این تحقیقات، به تعداد فراوانِ مدارک بازیابی شده، حتی در جستجوهای تخصصی، بیش از هر چیز دیگری اشاره شده است. مثلاً فالک (۱۹۹۷)، از طریق جستجوی اطلاعات دربارهٔ بیماری کرون دریافت که کلیدواژه "کرون - بسته به موتور کاوش مورد استفاده - به تنهایی بین ۵۰۰ تا ۶۰۰۰ مدرک را بازیابی میکند. ترکیب واژه کرون با کلمه دارو یا جراحی در موتورهای بزرگتر کاوش، هنوز ۱۰۰۰ یا بیش از ۱۰۰۰ مدرک را بازیابی میکرد. انجام یک جستجو با واژه کرون در موتور کاوش آلتاویستا، ۸۰۰ مدرک را بازیابی کرد گرچه دامنه جستجو به جدیدترین ماه نیز محدود شده بود
اسکیلز و فلت (۱۹۹۵)، کونت (۱۹۹۶)، کیمل (۱۹۹۶)، وندیتو (۱۹۹۶)، پفافنبرگر(۱۹۹۶)، چو و روزنتال (۱۹۹۶)، دینگ و مارچیونی نی (۱۹۹۶)، واتسون و دیگران (۱۹۹۶)، دونگ و سو (۱۹۹۷) و نیکلسون (۱۹۹۷) نیز توانایی های موتورهای کاوش را اندازه گیری کرده اند اما حاصل بررسی های آنها به سرعت تغییر خواهد کرد؛ هرچند اطلاعات هر نوع اثر در هنگام انتشار نیز کمی قدیمی شده است. نیکلسون نیز ویژگی هایی را توصیف کرده است که یک موتور کاوش مناسب باید دربر داشته باشد.
- آنچه برای ما که در حدود سی سال یا بیشتر است در حوزه بازیابی اطلاعات کار می کنیم بسیار شگفت به نظر می رسد، گرایش به استفاده از ابزارهایی است که حتی در جستجوهای بسیار خاصی نیز هزاران مدرک را بازیابی میکنند. تقریبا نیمی از این نتایج کاملا نامرتبط ، با کیفیتی پایین یا زائد (مدارک یا اطلاعات تکراری) خواهند بود. نمونه ای عالی از چنین وضعیتی در منابع تبليغی آلتاويستا رخ داده است که به یک جستجو درباره موضوع زبان سرخ پوستى اشاره دارد
