بررسی ارزشمندی انواع جایگزین های محتوای مدارک
برای بررسی ارزشمندی انواع جایگزین هایی که بیانگر محتوای مدارک هستند، باید بازنمودهای مختلف مدرک را در یک توالی افزایش طولی بازنمودها) به بهره گیران از نظامهای بازیابی (یا افرادی که در شرایط آزمایشی جایگزین چنین بهره گیرانی هستند) ارائه کرد. مثلاً فرض کنید که در جستجو در یک پایگاه اطلاعاتی، ۳۰ رکورد بازیابی شده است. می توان بازنمودهای مختلفی این مدارک را - به ترتیب طول - به درخواست کنندهٔ جستجو ارائه کرد و نتایج را در صفحه بعد ارائه داد. در این موقعیت فرضی، درخواست کننده براساس مشاهدهٔ متن کامل مقالات، ۱۴ مقاله را مرتبط و ۱۶ مقاله را نامرتبط تشخیص میدهد. هرچه طول بازنمود مدرک بیشتر باشد، پیشبینی او از مرتبط بودن افزایش خواهد یافت؛ هرچند افزودن اصطلاحات نمایه ای به چکیده با استفاده صرف از چکیده یکسان است و فرقی نمی کند. حتی بهترین جایگزین ها (عنوان به اضافه چکیده) نیز کامل نیستند؛ در صفحه بعد، مدارک مرتبط و نامرتبطی ارائه شده اند که از جستجو از طریق بازنمودهای مختلف به دست امده اند. محققین زیادی از جمله داث و دیگران (۱۹۶۱a)، رسنیک (۱۹۶۱)، کنت و دیگران (۱۹۶۷) دایم (۱۹۶۷) شایری و کورفیرست (۱۹۶۷)، ساراسویک (۱۹۶۹)، مارکوس و دیگران (۱۹۷۱) و کین (۱۹۷۶)، تحقیقاتی درباره تاثیر جایگزینهای مدارک بر پیش بینی پذیری ربط انجام دادهاند. مارکوس و دیگران به وضوح نشان دادند که "اخباری بودن جایگزین یک مدرک، مستقیماً به طول آن (تعداد کلمات مورد استفاده) وابسته است. از سوی دیگر، ممکن است تهیه جایگزینی با طول حداکثر - لااقل برای اهدافی پیش بینی پذیری - اقتصادی نباشد. مثلاً هاگرتی (۱۹۶۷) دریافت که اگرچه طول یک چکیده پیشبینی پذیری ربط را افزایش میدهد اما تاثیر افزایش طول بسیار ناچیز است.
در تحقیقات دربارهٔ ارزشمندی چکیده ها در پیش بینی مدارک مرتبط، عموماً فرض بر این است که چکیده چیزی جدایی از مدرک است که در یک ابزار چکیده نویسی چاپی یا در خروجی یک عملیات بازیابی ارائه میشود. به هرحال، تامپسون" (۱۹۷۳) استفاده و سودمندی چکیده های همراه با مدارک (در بالای مقالات مجلات یا در شروع گزارشات فنی)را مورد بررسی قرار داد. او در سه آزمایشگاه نظامی و در طول چهار هفته و در یک روال طبیعی، داده ها را، متناسب با تصمیم گیری اختیاری مهندسین و محققین، بر روی میز کار فرآهم آورد. به هرحال، او نتوانست ثابت کند که تصمیم گیری اختیاری دربارهٔ مدارک چکیده دار سریع تر از تصمیم گیری درباره مدارک بدون چکیده است. بعلاوه، وقتی در یک زمان دیگر، علت های تحقیق دربارهٔ "آزمون دوباره" نیز به ضمیمه مدرک ارائه شد، تصمیم گیری های قبلی آنان درخصوص مدارکی چکیده دار شباهت زیادی به تصمیم گیری بعدی آنان نداشت: تصمیم گیری های اختیاری دربارهٔ مدارک بدون چکیده به نسبت مدارک چکیده دار، بیش از آنی بود که واقعی و قابل پذیرش باشد. این نتایج، شک و تردید دربارهٔ ارزش چکیده ها یا حتی ارزش چکیده های همراه با مقالات یا گزارشات را برطرف نکردند، اما مشخص نمودند که ممکن است در تصمیم گیری های بررسی اولیها، چکیده ها کاربرد کمی داشته باشند. ممکن است بسیاری از دریافت کنندگان مدارک منتشره، از طریق مرور در متن مدارک، نگاه به جداول یا شکل ها یا حتی بررسی ارجاعات کتاب شناختی (مثلاً بررسی اینکه آیا به اثر آنان استناد شده است یا خیرا)، دربارهٔ مرتبط بودن مدرک با علایق فعلی خود قضاوت نمایند.
در فصل ۸ دربارهٔ کیفیت چکیده ها بحث شد. در فصل ۱۵ نیز چکیده نویسی خودکار مورد بررسی قرار خواهد گرفت.
نظریه سالتون و دیگران (۱۹۹۷) در تحقیقی تازه، خلاصه های مدارک پیچیده ای که به صورت خودکار و براساس استخراج پاراگراف تهیه شده بودند را با یک فرآیند استخراج انسانی پاراگرافی مشابه مقایسه کردند. آنها با این پیش فرض که احتمالاً یک خلاصهٔ تهیه شده خودکار با یک خلاصه تهیه شده انسانی همخوان است، تایید کردند که روش خودکار با خلاصهٔ تهیه شده انسانی همخوانی دارد.
برای ارزیابی ترجمه های تهیه شده خودکار و انسانی نیز از فرایند مشابهی استفاده شده است. مثلاً برو" و تامپسون (۱۹۹۴) استدلال کرده اند که ترجمه های خوب، به نسبت ترجمه های بد، بیشتر به هم شبیه هستند.
