دانلود مقاله موتورهای جستجوگر

بخشی از مقاله

موتورهای جستجوگر

مقدمه

رشد اينترنت شگفت آور شده است. با توجه به تحقيق ميداني در سال 1996 اين رشد تصاعدي همچنان ادامه دارد. و تخمين زده شده كه شبكه از نظر اندازه و حجم هر 12 تا 15 ماه دو برابر مي‌شود. بطور تقريبي 000/100 وب‌گاه در اگوست 1995 وجود داشته و اين تعداد در اگوست 1996 به 041/536 رسيده است. از آنجائي كه هر پايگاه مي‌تواند بسياري از صفحات وب را در خود داشته باشد اين باعث مي‌شود كه تعداد بيشتري از صفحات وب بوجود آيد. در حاليكه كيفيت بسياري از صفحات ممكن است مورد سؤال باشد و نگهداري بسياري از صفحات پراكنده است. اما صفحات معتبري هم وجود دارد كه اطلاعات با ارزشي در مورد بسياري از موضوعات ارائه مي‌دهد. آنچه استفاده‌كنندگان به آن نياز دارند يك سيستم جداكننده است كه مو را از ماست بكشد.

تلاشهاي زيادي صورت گرفته كه اين وظيفه را آسان كند: كتابداران و متخصصان موضوعي راهنماهاي موضوعي را گردآوري كرده‌اند. «اخبار كتابخانه‌هاي تحقيقاتي و دانشكده‌اي» بطور دوره‌اي راهنماهاي منابع اينترنتي را در موضوعات انتخابي منتشر مي‌كند. علاوه بر آن فهرست نويسان Intercat را (كه يك فهرست آزمايشي براي اينترنت است) بوجود آورده اند.
كتابداران مرجع يك پايگاه وب را به نام Infofilter بوجود آورده‌اند كه مرور منابع اينترنتي را به اشتراك بگذارند و كتابداران رده‌بندي موضوعي را براي سازماندهي منابع اينترنت مورد آزمايش قرار داده‌اند. اما چيزي كه بيشترين توجه استفاده ‌كنندگان اينترنت را به خود معطوف داشته است، احتمالاً عنكبوتها و روباتهايي هستند كه خدمات جستجو را انتخاب مي‌كنند.

براي بسياري از جستجوگران اينترنت، اين موتورها با راه دادن آنها به فضاي اطلاعاتي عظيم كمك موقتي ارائه مي‌دهند. كاربران اينترنت بزودي فهميدند كه اين موتورها كامل و مناسب نيستند زيرا آنها منطقه جغرافيايي خاصي را پوشش مي‌دهند، بصورت متفاوت نمايه سازي مي‌شوند و منابع را با واژه های كليدی بازيابي مي‌كنند. استفاده كنندگان هرگز نمي‌توانند اعتماد كنند كه يك جستجو جامع يا قطعي باشد. با وجود اينكه نتايج بازيابي ظاهرا بوسيله ميزان ارتباط مرتب شده است و استفاده كنندگان مبارزه با ريزش كاذب مواد تكراري و نامربوط را ادامه مي‌دهند. در كل پيشرفت خوبي در كمك به استفاده كنندگان براي جهت يابي در اينترنت بوجود آمده، اما اين ابزارها آنقدر زياد هستند كه انتخاب صحيح يكي از آنها كار سختي است.

علاوه بر آن انتخاب موتورهاي جستجوي مناسب ممكن است براي استفاده‌كنندگان عمومي و نيز كتابداران، به علت رويه هاي پيچيده، مهمتر باشد. بعنوان مثال، اينفوسيك سرويس رايگان دارد، اما سرويسهاي هزينه بر، يعني متخصصان اينفوسيك، نمايه بزرگتر و قابليتهاي جستجوي قويتر ارائه مي‌دهند.
وب كروكر يك درخواست حق عضويت دارد كه زماني آن را تحميل مي‌كند. اگر اين عمل در مقابل هزينه براي خدمات يك رويه شود، لازم خواهد بود براي استفاده كنندگان و بخصوص كتابداران كه بدانند كداميك از موتورهاي جستجو را بايد به خدمت بگيرند.

موتور جستجوگر چیست و چرا اهمیت دارد؟

دنياي وب منبع عظيمي از اطلاعات است كه روزبه روز بر حجم آن افزوده مي‌شود. در حال حاضر ميلياردها صفحه كه اطلاعات فراواني از موضوعات مختلف را در بر دارند، بر روي سرورهای مختلف جا خوش كرده اند. اين در حاليست که تولد سايتهای جديد و گسترش سايتهای موجود نيز به طور فزاينده ای به اين حجم اطلاعات می افزايد.
جنبه مثبت وب این است که اطلاعات فراوانی را در موضوعاتی بسیار گسترده، ارایه می دهد اما جنبه منفی آن این است که اگر کاربری دنبال موضوعی خاص باشد، کدام صفحه را بخواند؟ از میان میلیونها صفحه موجود، کدام صفحه و یا صفحات نیاز او را برآورده می کند؟

نرخ رشد اطلاعات تا بدانجا است که امروزه مشکل دسترسی به اطلاعات جدی تر از نبود اطلاعات است. امروزه چالش عمده اکثر کاربران دستيابی به اطلاعات است. به عبارت ديگر اگر كاربري دنبال موضوعي خاص باشد، كدام صفحه را بايد بخواند؟ از ميان اين تعداد عظيم صفحات موجود، كدام صفحه نياز او را برآورده مي كند؟
اگر سايتی باشد که به کاربران در يافتن اطلاعات کمک کند، قطعا مورد توجه خواهد بود. خوشبختانه چنين سايتی وجود دارد و ما آنرا با نام موتور جستجوگر می شناسيم.
موتور جستجوگر سايتي است كه براي كمك به كاربران در يافتن اطلاعات موجود در سايتهاي ديگر طراحي شده است. موتور جستجوگر سايتي است كه با گرفتن عبارتي مختصر، كاربر را با ليستي از سايت ها روبرو مي‌كند كه به موضوع مورد علاقه او مرتبط مي‌باشند. بسیاری از آنها در ابتدا تنها پروژه های دانشگاهی بوده اند نظیر:

Google, Inktomi, Yahoo
آمارها نشان مي دهند كه افراد بسياري سفر در دنياي وب را با موتورهاي جستجوگر آغاز مي‌كنند و مراجعه به موتورهاي جستجوگر چنان عادي شده است که جستجو کردن و کار با موتورهاي جستجوگر، دومين فعاليت عمده کاربران در دنياي وب (بعد از ارسال و دريافت نامه هاي الکترونيکي)، محسوب مي شود.
افرادی که دستی در تجارت الکترونیک دارند، اذعان می کنند که آوردن بیننده به سایت ضروری ترین شرط موفقیت برای سایتهای تجارت الکترونیک است. فرقی نمی کند که سایت چه کالا و خدماتی را ارایه می کند، هر سایت اگر خواهان کسب درآمد و محبوبیت است، باید بیننده داشته باشد.
تعداد بینندگان هر سایت، برگ برنده آن در دنیای وب است. سایتی که بیننده ندارد بدون شک مرگی آن لاین را تجربه می کند. مرگی که متاسفانه نمی توان کسی را هم به مراسم ختمش دعوت نمود!

هر چه بر محبوبيت وب افزوده مي گردد، نياز به بايگاني كردن اطلاعات آن نيز بيشتر مي‌شود؛ موتور جستجوگر نيز در واقع اين اطلاعات را بايگاني كرده، در زمان مورد نياز و به سرعت در اختيار كاربران قرار مي‌دهد.
بدون موتور جستجوگر، وب تنها به بخش كوچكي از موفقيت امروزين خود دست مي‌يافت زيرا موتور جستجوگر، اينترنت را به رسانه‌اي قابل استفاده براي همه كرده است (از هيچ كس توقع نمي‌رود تعداد زيادي از آدرس هاي وب را به ياد داشته باشد).

آن چه كه موتورهاي جستجوگر انجام مي دهند- با درجات متفاوتي از موفقيت- فراهم كردن يك وسيله جستجوي ساده است. وقتي يك كاربر وب عبارتي را جستجو مي‌كند، موتور جستجوگر ليستي از سايت‌ ها را ارائه مي‌كند كه تعداد آنها از چند صد مورد تا چند ميليون متغير مي‌باشد.

سايت هايي كه موتور جستجوگر به عنوان نتايج جستجويش ارايه مي‌كند، بر حسب ميزان ارتباط با عبارت جستجو شده به ترتيب نزولي ليست مي‌شوند.
به عبارت ديگر سايتي كه به عنوان اولين سايت در نتايج جستجو معرفي شده است، مرتبط ترين سايت با عبارت جستجو شده از ديد آن موتور جستجوگر بوده است.
دقت در ارايه نتايج جستجو چيزيست که کاربران وب همواره از موتورهاي جستجوگر مي خواهند. هر چه نتايج جستجوي يک موتور جستجوگر دقيق تر و مرتبط تر باشد، محبوب تر خواهد بود و کاربران بيشتري بدان مراجعه خواهند کرد.

اگر عبارت يكساني در تمام موتورهاي جستجوگر، جستجو شود هيچ كدام از آنها نتايج يكساني را ارائه نمي‌دهند و با نتايج كاملا متفاوتي روبرو مي‌شويم.
تفاوت در ارائه نتايج جستجو در موتورهاي جستجوگر از تفاوت آنها در الگوريتم (سيستم رتبه بندی) و بايگاني داده‌شان ناشي مي‌شود.حتي اگر همه آنها از بايگاني داده يكساني نيز استفاده كنند، بازهم نتايج جستجويشان متفاوت خواهد بود. موتور جستجوگر براي رده‌بندي صفحات وب از الگوريتم خاصي استفاده مي‌كند كه فوق‌العاده محرمانه مي‌باشد.
الگوريتم نيز مجموعه اي از دستورالعمل ها است كه موتور جستجوگر به كمك آن تصميم مي‌گيرد كه سايت ها را چگونه در خروجي‌اش مرتب كند.

براي اينكه سايت ها با هم مقايسه شوند و بر حسب ميزان ارتباط با موضوع جستجو شده، مرتب شوند، موتور جستجوگر، الگوريتم را بر مجموعه‌اي از پارامترها اعمال مي‌كند. پارامترهاي مورد توجه موتور جستجوگر نيز همانند الگوريتم آن ها ناشناخته مي‌باشد و اين ناشناخته ها جذابيت دنياي موتورهاي جستجوگر را دوچندان مي‌كنند.

به اهميت موتورهاي جستجوگر از ديدگاه کاربران وب و جستجوکنندگان اطلاعات اشاره شد. آيا موتورهاي جستجوگر از ديدگاه تجاري و ديدگاه يک مدير سايت نيز مهم مي باشند؟
فعالان عرصه تجارت الكترونيك، آوردن بيننده به سايت را برای موفقيت در دنياي وب و تجارت آنلاين ضروري مي دانند. فرقي نمي‌كند كه سايت چه مي‌فروشد و چه خدماتي ارايه مي دهد: اگر سايتي به دنبال فروش كالا يا خدمات و كسب درآمد يا محبوبيت است، بايد بيننده داشته باشد.
تعداد بينندگان يک سايت، برگ برنده آن براي كسب موفقيت در دنياي وب مي‌باشد. سايتي كه بيننده ندارد، بدون شك مرگي آنلاين را تجربه مي‌كند و چه بسيارند سايتهايي که هر روزه از چرخه زندگی در وب خارج می شوند!

مديران و طراحان خبره وب به خوبي مي دانند كه فقط طراحي يك وب سايت تضميني براي آمدن بيننده به آن نيست بلکه بايد بينندگان را به طريقی به سايت جذب کرد. بينندگان تنها به دنبال رفع نيازهای اطلاعاتی خود می باشند و وظيفه ندارند به هر قيمتی که شده سايت شما را بيابند.
براي دعوت بينندگان به وب سايتتان چه تدابيري انديشيده ايد؟ چگونه ديگران بدانند كه شما سايت پر محتوا و جذابي داريد؟ خود شما چگونه سايتهاي ديگر را مي يابيد؟
بدون هيچ گونه ترديدي بايد گفت كه ما در اغلب موارد به كمك موتورهاي جستجوگر به آنچه كه مي خواهيم، دست مي يابيم.
اگر ما اينكار را انجام مي دهيم، ديگران نيز دقيقا همين كار را مي كنند.

جستجوي چند عبارت در يكي از موتورهاي جستجوگر و مراجعه به يكي از وب سايتها. ببينيم آمارها چه مي گويند:

• 82 درصد كاربران اينترنت، موتورهاي جستجوگر را ابزار اصلي خود براي يافتن وب سايتها عنوان كرده اند.
• 57 درصد از كاربران اينترنت، هر روز جستجو مي‌كنند و 46 درصد اين جستجوها براي كالا يا خدمات است. (منبع: SRI )
• 85 درصد ترافيك هدفمند در اينترنت را موتورهاي جستجوگر باعث مي‌شوند.

همان گونه كه آمارها نشان مي‌دهند موتورهاي جستجوگر ابزار مناسبي هستند كه خريداران به كمك آنها، كالا يا خدمات مورد نياز خود را مي‌يابند.
البته تنها رده هاي بالاي نتايج جستجو هستند كه مورد توجه كاربران قرار مي گيرند و آنها به سايت‌هاي ليست شده در اين رتبه‌ها مراجعه مي كنند.
نمودار زير نشان مي دهد كه كاربران چگونه كالاهاي مورد نياز خود را مي يابند:

بسياري از كاربران دريافته اند كه در اغلب موارد 10 رتبه اول نتايج جستجو مي تواند خواسته آنها را برآورده كند و هنوز هم علاقه دارند كه تنها 10 سايت اول در نتايج جستجو را مرور كنند. اما آمارها چه می گويند:

• 70 درصد از کاربران به هنگام جستجو حتما يكي از سه سايت ابتداي نتايج جستجو را كليك مي كنند.
• تنها 7 درصد از آنها سايتهاي قرار گرفته در رتبه هاي بيستم به بعد را كليك مي كنند.
• 85 درصد از آنها اگر جوابي براي جستجوي خود در بيست نتيجه اول نتايج جستجو نيابند، موتور جستجوگر مورد استفاده خود را عوض مي كنند.
• 33 درصد كاربران وب فكر مي كنند سايتي كه در ابتداي نتايج جستجو قرار دارد، در موضوع جستجو شده سرآمدتر از رقباي خود است و در آن موضوع پيشرو مي باشد.
با دقت در اين آمارها، اهميت كسب رتبه‌هاي بالا در موتورهاي جستجوگر روشن تر مي‌شود. نكته مهم ديگر اين است كه بينندگاني كه موتورهاي جستجوگر روانه سايت‌ها مي‌كنند، به احتمال زياد مخاطبان اصلی سايت مورد نظر مي‌باشند و اين در حالي است كه هزينه چنداني نيز صرف آوردن آنان به سايت نشده است.
البته تنها رتبه های بالای نتایج جستجو است که مورد توجه کاربران قرار دارد و آنها به سایتهای لیست شده در این رتبه ها مراجعه می کنند. کاربران هنوز هم علاقه دارند که ده سایت اول در نتایج جستجو را مرور کرده، از بقیه سایتها صرفنظر کنند. این رفتار کاربران پیام بسیار واضحی دارد:
سایتهایی که در رتبه های بالا قرار نمی گیرند، بینندگان چندانی هم نخواهند داشت.

يک سايت ممکن است هزاران بيننده داشته باشد اما تعداد بينندگان گروه مخاطب آن است که موفقيت سايت را رقم می زند. زيرا در اغلب موارد اين بينندگان مخاطب سايت هستند که از سايت چيزی بيشتر از اطلاعات رايگان ارايه شده می خواهند.

امروزه تجارت الکترونيک خود را با مسئله رتبه بندي در موتورهاي جستجوگر هماهنگ کرده است زيرا رتبه هاي بالاتر مستقيما به فروش بيشتر، تعبير مي شوند. طبق آمارهاي ارايه شده در ابتداي سال جديد ميلادي (2003) نزديك به 93 درصد بينندگان سايت هاي فعال در زمينه ارايه هداياي كريسمس را موتورهاي جستجوگر فراهم كرده اند كه در اين بين گوگل با 27 درصد در صدر ايستاده است و پس از آن ياهو با 25 درصد در رده دوم قرار گرفته است.
شم بازاريابي حكم مي كند كه همواره در جايي حضور داشته باشيم كه مشتري ما آنجاست. اگر ما آنجا نباشيم، رقيب ما آنجا خواهد بود. به عبارت ديگر كسيكه قرار است از ما خريد كند، از رقيب ما خريد مي كند:

رقيب ما هر روز چاق تر و چاق تر مي شود و ما نحيف و نحيف تر. بازاريابي با موتورهاي جستجوگر (Search Engine Marketing) نيز دو هدف عمده زير را دنبال مي كند:

1- حضور در جاهايي كه خريداران ما آنجا هستند.
2- بالاتر بودن از رقبا ( كسب وضعيت بهتر نسبت به رقبا).
اينگونه از بازاريابی شامل فعاليتهای مختلفی می باشد که از مهمترين فعاليتهای آن، بهينه سازی سايت (Search Engine Optimization) می باشد. در حقيقت موتورهاي جستجوگر از مهمترين بينندگان هر سايتي هستند. اگر سايت شما تنها براي مرورگرها، بهينه سازي شده است، كمي تامل كنيد: سايت شما بايد براي موتورهاي جستجوگر هم بهينه سازي گردد.
به عنوان مثال مرورگرها می توانند صفحات را با وجود بعضی از خطاها در کدهای آنها، به کاربران نمايش دهند اما موتورهای جستجوگر تا اين حد مهربان نيستند. خوشبختانه توجه به موتورهاي جستجوگر در طراحي سايت، آنرا براي كاربران سايت هم قابل استفاده تر مي كند.

بهينه سازي سايت به معناي به كارگيري ترفندهاي پيچيده نيست بلكه در اغلب موارد به كارگيري و اعمال تغييرات كوچك و ساده در سايت است كه معمولا تاثير فوق العاده اي در بالا بردن ضريب نفوذ سايت شما در موتورهاي جستجوگر دارند.
ضريب نفوذ مناسب به معناي حضور در موتورهاي جستجوگر مهم و عمده، بايگاني شدن هر چه بيشتر صفحات سايت در پايگاه داده آنها و قرار گرفتن در صفحه هاي اول تا پنجم نتايج جستجوي آنهاست.

متخصصين بسياري در تلاش‌اند تا الگوريتم و پارامترهاي مورد توجه موتورهاي جستجوگر را شناسايي كنند تا بتوانند به كمك آنها به رتبه‌هاي بالاتري دست يابند و شانس خود را در كسب درآمد بيشتر، افزايش دهند.
البته به موازات آنها، موتورهاي جستجوگر نيز روز به‌ روز الگوريتم هاي خود را هوشمند تر كرده و بر اقدامات امنيتي براي حفاظت از الگوريتم هايشان می افزايند.
چيزي که امروزه اين متخصصان با تاکيد بر آنها قصد بهبودي رتبه هاي سايت هاي خود را دارند، تنها تجربه است و نه يافته هاي علمي ثابت شده از اسرار بسيار موتورهاي جستجوگر.

خلاصه:

• موتور جستجوگر ابزاری است كه كاربران اينترنت به كمك آنها سايت ها را مي يابند.
• نتايج جستجوي تمام موتورهاي جستجوگر دقيق نيست.
• بسياري از كاربران دريافته اند كه در اغلب موارد 10 رتبه اول نتايج جستجوي موتورهاي جستجوگر مي تواند خواسته آنها را برآورده كند.
• راههاي بسياري براي دسترسي به سايتها وجود دارد اما موتورهاي جستجوگر همواره راهكار اساسي بوده اند.
• تجارت الكترونيك به شدت خود را با مسئله رتبه بندي در موتورهاي جستجوگر هماهنگ كرده است و همه سايت ها براي كسب رتبه هاي بالا تلاش مي كنند.
• اجراي يك برنامه موفق بازاريابي با موتورهاي جستجوگر، بدون يك ساختار و زيربناي مستحكم در خود سايت اصولا با شكست همراه مي باشد.

تعاریف

قبل از شروع گفتگو درباره هر موضوعي نياز به آن است كه مفاهيم اوليه و اصطلاحات رايج در آن موضوع، بيان شود تا طرفين گفتگو راحت تر به منظور يکديگر پی ببرند. ما نيز در اين بخش، بعضي از مفاهيم و اصطلاحاتي را كه در صفحه های ديگر سايت از آنها به كرات استفاده مي شود، شــرح مي دهيم.

Spider :
نرم افزاري است كه كار جمع آوري اطلاعات از صفحات مختلف را بر عهده دارد.

Crawler :
نرم افزاري كه مسير حركت اسپايدر را مشخص مي كند.

Directory :
فهرست، نوعي از موتورهاي جستجوگر كه پايگاه داده آن توسط ويراستاران تكميل مي گردد.

Keyword :
بــه واژه ها ي مهم (کليدی) هر صفحه گفته مي شود. اما غالبا منظور كلماتي است كه دوست داريم با آنها رتبه هاي مناسبي كسب كنيم.

Keyword Density :
چگالي كلمه، منظور تعداد دفعات تكرار واژه های كليدي در مقايسه با ساير كلمات متن است.
Keyword Staffing :
تكرار يك كلمه به دفعات و پشت سر هم به منظور بالا بردن چگالی کلمه. اين کار تقلب محسوب می شود.

Tinny Text :
نوشتن متن با اندازه ای (size) كوچكتر از اندازه معمولي صفحه، اگر متن اصلي با اندازه 3 نوشته شده باشد، متن هاي با اندازه 2 شامل اين گونه متن ها خواهند بود. نوشتن مطالب به اين صورت، تقلب محسوب است.

Spam :
تقلب، به تمام تلاش هايي گفته مي شود كه به كمك آن سعي مي شود از راه هاي غير معمول، رتبه هاي بالايي كسب شود. يا در اختيار گذاردن اطلاعاتي كه موتورهاي جستجوگر آنرا دوست ندارند (اطلاعات ناخواسته) مانند تكرار يك كلمه به دفعات و پشت سر هم، استفاده از متن هاي هم رنگ زمينه و ...