بررسی نتایج حاصل از مقایسه ی جستجو به زبان طبیعی و کنترل شده

 نتیجه کاملاً با مقادیر جامعیت و مانعیت ارائه شده ناهمخوان است. مارتین همچنین توضیح میدهد که جستجو به زبان طبیعی بعلاوه اصطلاح کنترل شده مدارکی را به نتایج افزود که از طریق واژگان کنترل شده بازیابی شده بودند (یعنی جایی که کاوشگر احساس میکرد برای بهبود نتایج هیج ضرورتی برای استفاده از زبان طبیعی وجود ندارد). در نتیجه "انان نتوانستند توانایی های بالقوه زبان کنترل شده بعلاوه زبان طبیعی را ارائه دهند".

عدم انسجام در نتایج و اظهارنظرها درباره روشها و توجه به دستورالعملهایی که برای کاوشگران تهیه شده بود باعث شد تا دربارهٔ اعتبار این مقایسه تردیدهای حاصل آید. تنها در یک تحقیق انجام شده در این دوره ادعا شده بود که از طریق نمایه سازی انسانی با واژگان کنترل شده، نتایج بی نظیری حاصل آمده است. هر بیبی" و دیگران (۱۹۷۱) از یک پایگاه فرعی که از پایگاه مبادله اطلاعات علمی اسمیتسون " استخراج شده و از ۴,۶۵۵ توصیفگر پروژه تشکیل شده بود، برای مقایسه متن آزاد در برابر نمایه سازی محققین استفاده کردند. نمایه سازی مستلزم استفاده از رمزهایی موضوعی بود که از یک طرح طبقه بندی خاص استخراج شده و متخصصین موضوعی ان را به مدارک اختصاص داده بودند. برای ۲۷ جستجویی که در پایگاه مبادله اطلاعات علمی اسمیتسون انجام گرفت نتایج زیر به دست امد:
دراینجا نیز گزارش ناقص باعث شده است تا فهم آنچه که انجام شده، برای خواننده دشوار باشد. سؤالات مورد استفاده همان سؤالاتی بودند که قبلاً پرسیده شده بود، اما مشخص نیست که آیا نتایج حاصل از نمایه سازی موضوعی، همزمان با انجام کاوش برای مراجعه کنندگان استخراج شده اند یا در زمانی دیگر، این موارد نیز نامشخص هستند: میزان ربط بر چه اساسی برآورد شده است (گویا براساس پایگاه مبادله اطلاعات علمی اسمیتسون برآورد شدهاند نه براساس درخواست بهره گیران)، درخواست ها در چه قالبی برای کاوشگری که جستجوی متن آزاد را به صورت درون خطی انجام داده ارسال شده است، و آیا نظارتی بر روی کاوشگران اعمال شده بود تا در روش انجام جستجو، بین جستجوی متنی و اصطلاح نمایه ای، سطحی از توازن برقرار شود. هر یک از این عوامل می توانند بر نتایج تحقیق تاثرگذار باشند.

مثلاً اگر درخواستی که به عنوان مبنای جستجوی متن ازاد استفاده شده بود در کلمات اصلي درخواست وجود نداشته است، اما به عنوان نتیجهٔ تعامل با کارکنان پایگاو "مبادله اطلاعات علمی است، میتسون " پذیرفته شده بود، ممکن بود که نتایج حاصل از مقایسه کاملاً به سوی رمزهای موضوعی سوگیری داشته باشند. این حقیقت که نتایج جامعیت / مانعیت حاصل از این بررسی بسیار بیشتر از نتایجی بود که در سایر تحقیقات مشابه حاصل آمده بود و نیز بسیار بیشتر از نتایجی بود که در عملیات روزانهٔ سیستم های بازیابی کسب می شد (لنکستر، ۱۹۶۸a)، به همراه گزارش ضعیف ارائه شده، باعث میشود تا سؤالاتی جدی دربارهٔ روايي این مقایسه مطرح شود. به هرحال، بخشی از درصد فوق العاده بالای مانعیت به دست آمده را می توان اینگونه توجیه کرد که فایل آزمایشی یا توصیفگرهای پروژه از ترکیب چهار فایل آزمایشی مجزا در حوزههای موضوعی کاملاً متفاوت تشکیل شده بودند.

گروه پروژهٔ ارتباطات علوم زیستی " در دانشگاه جورج واشنگتن در یک بررسی تکمیلی دربارهٔ این پایگاه، از دوازده سؤال در زمینهٔ مبادله اطلاعات علمی" استفاده کردند. در جستجو براساس رمزهای موضوعی، ۹۱ پروژه بازیابی شد که ۷۴ پروژه مرتبط (با مانعیتی برابر با ٪۸۱) تشخیص داده شدند، درحالی که در جستجو براساس متن، از ۷۰ پروژه بازیابی شده ۴۳ پروژه (با مانعیتی برابر با ۶۱ ٪) مرتبط ارزیابی شده بودند. با ادغام نتایج حاصل از جستجو براساس متن آزاد و رمز موضوعی، می توان نتیجه گرفت که درصد جامعیت برای متن آزاد در حدود ۵۰ ٪ و برای نمایه سازی موضوعی ۹۰ ٪ بوده است اما در هر یکی از دو روش جستجو، تعدادی از مدارکی منحصر به فرد (نتایجی که در روش دیگر تکرار نشده است) نیز بازیابی شدند. بیرن (۱۹۷۵) از ۵۰ پروندهٔ مربوط به خدمات اشاعه اطلاعات گزیده در پایگاه اطلاعاتی COMPENDEX استفاده کرد و نتایج حاصل از جستجو در عنوان ها، چکیده ها و سرعنوان های موضوعی و ترکیبی از آنها را مورد مقایسه قرار داد. او نتایج حاصل از یک روشی جستجو راپا نتایج ترکيبي حاصل از همهٔ روش های جستجوي دیگر مقایسه کرد. با استفاده از این الگو، جستجو ازطریق سرعنوان های موضوعی ۲۱٪، چکیده ها ۶۱٪ عنوان بعلاوه چکیده ۷۵٪ و عنوان بعلاوه اصطلاحات نمایه ای ۴۱٪ از مدارک را بازیابی کردند.سپس مشاهده کرد که به نظر می رسد بازنمود طولانی تر جامعیت بهتری را ارائه می دهد.به هرحال، در این تحقیق هیچ برآورد واقعی ارائه نشده است: هر چیزی، به صرف بازیابی،پاسخی مناسب تلقی شده بود