مقاله در مورد معرفی سایت به موتورهای جستجوگر

بخشی از مقاله

معرفي سايت به موتورهاي جستجوگر

بخش اول اشنايي با موتورهاي جستجوگر

• موتور جستجوگر چيست؟4…………………………………
• انواع موتورهاي جستجوگر6……………………………….
• مفاهيم پايه موتورهاي جستجوگر10…………………………
• يك موتور جستجوگر چگونه كار مي كند؟13…………………..

بخش دوم بهينه سازي موتورهاي جستجوگر

• بهينه سازي موتورهاي جستجوگر18………………………...
• اندازه گيري ترافيك سايت و تحليل ترافيك25…………………..
• محاسبه Page Rank گوگل28……………………………
• چطور طراحي يك سايت بر روي رتبه ان در موتور جستجو تاثير مي گذارد؟32…………………………………………….
• مشخصاتي كه يك وب سايت نبايد داشته باشد35……………….
• راه ورود موتور جستجو گر به سايت37……………………...

بخش سوم معرفي سايت به موتورهاي جستجوگر

• استفاده از سرويسهاي رايگان و يا ارزان قيمت39…………….
• خودتان معرفي كنيد40………….………………………….
• كمك گرفتن از افراد متخصص40………….…………………
• استفاده از نرم افزارها40……………….………………….
• معرفي به دايركتوري ها40…………………………………
• معرفي به موتورهاي جستجوگر45…………………………..
• چگونه مي توان كاري كرد كه سايت ما به سرعت در موتورهاي جستجوگر ثبت شود46…………………………………….
• چگونه سايت خود را چسبناك كنيم49………………………..
• چرا سايت ما در موتورهاي جستجوگر ثبت نمي شود؟50……….
• جلوگيري از ثبت صفحات شخصي در موتورهاي جستجوگر52…..



مقدمه:
همانطور كه ميدانيم شبكه جهاني اينترنت روز به روز در حال گسترش است و طراحان صفحات وب از يك طرف و استفاده كننده گان از طرف ديگر با اين شبكه ارتباط برقرار مي كند .در اين ميان افزايش روز افزون صفحات وب مشكل انتخاب صفحات مورد نياز را براي كاربران ايجاد ساخته است . پس از ان موتورهاي جستجو به كمك كاربران شتافته و ان ها را در بدست اوردن اطلاعات مورد نياز ياري مي دهند .
اين موتورهاي جستجو از يك طرف براي كاربران مهم است و از طرف ديگر براي طراحان و مديران .
اهميت موتورهاي جستجو براي كاربران به اين لحاظ است تا صفحات مفيد خود را بدست اورند و براي طراحان و مديران اين اهميت دارد كه سايت ان ها به كاربران از طرف موتورهاي جستجو معرفي شود.
در اين مقاله به كمك طراحان و مديران رفته و طي سه بخش ,اشنايي با موتورهاي جستجوگر , بهينه سازي موتورهاي جستجوگر و معرفي سايت به موتورهاي جستجوگر راه هاي مهينه سازي سايت خود و روش بالا كشيدن خود در موتورهاي جستجو را به ان ها نشان مي دهد.

بخش اول:
آشنايي با موتورهاي جستجوگر
موتور جستجوگر چيست؟
موتور جستجوگر ابزاری است که به ما کمک می کند، جستجو کنیم. ابزاری است که ما را از به خاطر سپردن آدرس سایتهای بسیار بی نیاز می کند. می توان گفت که موتور جستجوگر یک سایت است که به سوالات ما پاسخ می دهد. با مراجعه به یکی از آنها ابتدا می گوییم که چه می خواهیم بعد از آن است که موتور جستجوگر صدها، هزاران و شاید میلیونها پاسخ برای آن به ما ارایه می دهد.

عده ای اینگونه تصور می کنند که موتور جستجوگر برای پاسخ دادن به سوالات ما در همان لحظه تمام اینترنت را می گردد. این تصور درست نیست بلکه موتور جستجوگر برای سرعت دادن به فرایند پاسخ دهی به سوالات کاربران، ابتدا پایگاه داده ای از تمام سایتهای که می شناسد، تشکیل می دهد. سپس برای پاسخ دادن به سوالات از همین پایگاه داده کمک می گیرد.
موتور جستجوگر نرم افزاری دارد که لحظه به لحظه اطلاعات پایگاه داده اش را افزایش داده، به روز رسانی می کند. به هنگام پاسخ دادن به سوالات نیز موتور جستجوگر با مراجعه به این پایگاه داده پاسخها را می یابد و بهترین پاسخها را در ابتدای نتایج جستجوی خود قرار می دهد.

هر موتور جستجوگر برای تشخیص بهترین پاسخها از الگوریتمی مختص به خود کمک می گیرد. هر چه این الگوریتم بهتر عمل کند، پاسخهای داده شده بهتر خواهند بود و موتور جستجوگر محبوب تر می شود. محبوبیت گوگل نیز ناشی از در اختیار داشتن بهترین الگوریتم در ارایه نتایج جستجو است.

دقت پاسخها، تعداد پاسخها و جدیدتر بودن این پاسخها سه حوزه ای هستند که موتورهای جستجوگر در آن به جنگ یکدیگر می پردازند زیرا می دانند که کاربران دقیقا این سه مورد را می خواهند. این سه مورد پاسخ این سوال هستند که چرا همه موتورهای جستجوگر مانند گوگل و یاهو معروف نمی شوند؟
بیایید اینگونه فرض کنیم که موتور جستجوگر طراحی شده است که دقیقا به سوال کاربر پاسخ می گوید و دقیق ترین و جدیدترین پاسخ را به وی ارایه می دهد. آیا در این صورت همه می توانند 
متاسفانه پاسخ منفی است. زیرا رفتار کاربران نیز مهم است. ما اگر نتوانیم به موتور جستجوگر بگوییم که چه می خواهیم، آن نیز نمی تواند پاسخی درست به ما بدهد. "31 روز بعد از اول اسفند" برای گوگل همان "31 روز بعد از اول اسفند" است در حالیکه مقصود من "اول بهار" یا "اول فروردین ماه" بوده است!
آشنایی کاربران با تکنیکهای جستجو به آنها کمک میکند، بهتر و سریعتر به آنچه که می خواهند دست یابند. مقوله دیگری که در جستجوی اطلاعات باید مد نظر قرار داده شود، ارزیابی اطلاعات است. به عبارت دیگر آیا هر چه که در اینترنت وجود دارد، اطلاعات موثق و معتبری می باشد؟ پاسخ منفی است.
توجه به این موضوع بسیار مهم است. ما همواره به دنبال اطلاعاتی هستیم که نیاز ما را برآورده کند. شاید پاسخهای داده شده در یک جستجو، بسیار دقیق و معتبر باشند اما ممکن است فراتر از نیاز کاربر باشد. لذا کاربران باید هم با مقوله جستجو در اینترنت و کار با موتورهای جستجوگر آشنا باشند و هم با مقوله ارزیابی اطلاعات.
اطلاعات موجود در اینترنت را می توان از دیدگاه تجاری به سه دسته تقسیم بندی کرد:
الف – اطلاعات رایگان و پیدا
ب – اطلاعات رایگان و ناپیدا
ج – اطلاعات تجاری
موتور جستجوگر هر چقدر هم از پایگاه داده بزرگی برخوردار باشد نمی تواند تمام اطلاعات وب

را در خود داشته باشد. ماهیت تجاری بودن بسیاری از سایتها و همینطور محدودیتهای تکنولوژیکی موتور جستجوگر را از دسترسی به تمام اطلاعات وب دور می کند. گفته می شود اگر اطلاعات تمام موتورهای جستجوگر بر روی هم ریخته شود حداکثر 50 درصد وب را شامل می شود.
در حقیقت بخش اعظم وب از دسترسی موتورهای جستجوگر دور است که به آن وب پنهان گفته می شود. بنابراین برای یک جستجوی کامل نیاز به مراجعه به سایر ابزار جستجو نیز داریم. ابزاری

نظیر کتابخانه های مجازی و وبهای پنهان.
بازاریابی با موتورهای جستجوگر بدین معناست که کاری کنیم تا موتور جستجوگر سایت ما را در رتبه های بالاتر قرار دهد تا شانس مراجعه به سایت ما افزایش یابد. موتور جستجوگر ممکن است میلیونها سایت را در پاسخ به سوال کاربر نمایش دهد اما آیا کاربران تمام این سایتها را بازدید می کنند؟ خیر در اغلب موارد آنها نیاز اطلاعاتی خود را با مراجعه به سایتهای رتبه یک تا 30 برآورده می کنند. بنابراین نیازی به مراجعه به سایتهای دیگر نخواهند داشت.
امروزه جنگ موتورهای جستجوگر برای کسب سهم بیشتری از میزان جستجوهای کاربران وارد حوزه های دیگری شده است. در حال حاضر رقابت اصلی میان گوگل، یاهو و MSN است.
موتورهای جستجوگر هر روز هوشمندتر می شوند و ماهیت تجاری بیشتری می یابند. سوالی که شاید خیلی ها می پرسند این است که آیا گوگل نیز رتبه های عادی خود را خواهد فروخت؟ به عبارت دیگر آیا می توان با پرداخت هزینه، جایی در صدر نتایج عادی گوگل داشت؟
از دیدگاه کاربرانی که از موتورهای جستجوگر برای دسترسی به اطلاعات مورد نیاز استفاده می کنند، مهمترین مقوله های مورد توجه عبارتند از:
• استفاده از کدام ابزار جستجو
• تکنیکهای موثر جستجو برای صرفه جویی در وقت و هزینه
• تحلیل نتایج جستجو
• ارزیابی اطلاعات بدست آمده
از دیدگاه دارندگان سایتها و تجارت الکترونیک که موتور جستجوگر را ابزار نخست بازاریابی خود می دانند، مقوله های زیر مد نظر است:
• میزان وابستگی به رتبه ها تا چه میزان
• رتبه های بالا در کدام موتور جستجوگر

• رتبه های بالا در موتورهای جستجوگر پولی یا موتورهای جستجوگر رایگان
• چگونگی کسب رتبه های بالا
• رتبه های بالا با چه عباراتی
• تحلیل ترافیک سایت

برخی موضوعات مورد توجه از دیدگاه تکنولوژی های جستجو و موتورهای جستجوگر نیز عبارتند از:
• کسب درآمد بیشتر
• طراحی بهترین الگوریتم برای رتبه بندی صفحات
• راهکاری تشخیص تقلب در رتبه ها از سوی دارندگان سایتها
• نزدیک تر کردن جستجو به زبان محاوره کاربر
• فشرده سازی اطلاعات و بزرگتر کردن هر چه بیشتر پایگاه داده
• طراحی روشهای سریعتر بازیابی اطلاعات
• جستجوی بهتر در فایلهای صوتی و تصویری
انواع موتورهاي جستجوگر:
موتورهاي جستجوگر، با درجات متفاوتي از موفقيت، در واقع يك كار انجام مي دهند: فراهم آوردن يک وسيله جستجوی ساده برای كمك به كاربران در رسيدن به اطلاعات مورد نياز.
براي نيل به اين مهم، موتورهاي جستجوگر از اطلاعات موجود در پايگاه داده شان كمك مي گيرند. اطلاعات اين پايگاه داده نيز به روش هاي گوناگوني تامين مي شود با توجه به نوع جمع آوري اطلاعات، خدمات جستجويي که در وب ارايه می شود به دو گروه اصلی زير تقسيم بندی می گردد:

• موتور جستجوگر( Search Engine)
• فهرست( Directory )

تفاوت اصلی دو گروه اشاره شده در اين است که اطلاعات پايگاه داده گروه اول را نرم افزارها جمع آوری می کنند حال آنکه اين کار برای گروه دوم توسط انسانها انجام می شود.

الف Search Engine( يا موتور جستجوگر

در حالت كلي زماني كه صحبت از موتور جستجوگر مي شود، مقصود، اين نوع آن است. در اين نوع از موتورهاي جستجوگر، كار جمع آوري اطلاعات بر عهده اسپايدرها است. اسپايدر نرم افزاري است كه كار جمع آوري اطلاعات مورد نياز يك موتور جستجوگر را بر عهده دارد. پايگاه داده اين نوع از موتورهاي جستجوگر بزرگتر از ساير انواع است و اطلاعاتي را كه آنها ارايه مي دهند، معمولا" به روزتر مي باشد.

عمليات به روز رساني و گسترش اطلاعات پايگاه داده موتور جستجوگر از يک هفته تا چند ماه به طول مي انجامد. اسپايدرها، هيچ گاه از كار نمي ايستند و به طور مداوم به جمع آوري اطلاعات مشغول هستند. ممكن است اطلاعات جمع آوري شده توسط اسپايدرها از صفحات جديد باشد و يا اطلاعات به روز شده از صفحاتي باشد كه قبلا" هم به آنها مراجعه کرده اند.
زمانيکه صحبت از تكنيك هاي بهينه سازي سايت ها (SEO) به ميان می آيد در واقع تكنيك هايي مطرح اند كه براي كار با اين نوع از موتورهاي جستجوگر مؤثرند. بعضي از اين نوع موتورهاي جستجوگر عبارتند از :

Google, Yahoo, MSN, AllTheWeb, Gigablast, WiseNut, Teoma

ب) Directory يا فهرست
دايركتوري ها اطلاعات را در گروه هاي مختلف دسته بندي مي كنند. تفاوت اصلي دايركتوري با يك موتور جستجوگر در اين است كه دايركتوري اسپايدر ندارد. دارندگان سايت ها به دايركتوري مراجعه مي كنند، گروه مناسب براي سايت خود را در آن بر مي گزينند و سايت خود را به آن گروه معرفي مي كنند.

پس از آنكه اطلاعات سايت ها به گروه هاي مختلف ارسال شد، ويراستاران دايركتوري آن اطلاعات را بررسي مي كنند و در صورتي كه گروه درخواست شده، با زمينه فعاليت سايت معرفی شده يكي باشد و همچنين ساير قوانين دايركتوري نيز رعايت شده باشد، سايت را در گروه ياد شده مي پذيرند.
دايركتوري از وجود يک سايت مطلع نمي گردد مگر زماني كه آن سايت به دايركتوري معرفي شود. يكي از ايراداتي كه به دايركتوري ها وارد مي شود اين است كه سايت هاي مرده زيادي در خود دارند. به عبارت ديگر يك سايت بعد از آنكه در يکی از گروه های آن قرار گرفته، ديگر به فعاليت خود ادامه نداده است اما با اين حال هنوز هم دايركتوري آنرا به عنوان يك سايت فعال به كاربران معرفي مي كند.
البته دايركتوری هاي حرفه اي با استخدام ويراستاران خبره تلاش بسياري براي رفع اين نقص و نواقص مشابه مي نمايند. امكان دارد دايركتوري ها براي بررسي اين مورد از اسپايدرها هم كمك بگيرند. در اين مورد خاص، كار اسپايدر اين است كه بررسي كند كه آيا سايت هايي كه قبلا" در گروه ها قرار گرفته اند، هنوز هم فعال مي باشند؟ در مواردي هم امكان دارد كه اسپايدرها تغيير زمينه فعاليت سايت ها و يا فعال بودن پيوندهای درون صفحات سايت

ها را بررسی کنند.
قرار گرفتن در پايگاه داده دايركتورهاي عمده، نقش مهمي در کسب رتبه های بالا در موتورهاي جستجوگر(نوع اول) دارد. دايركتوري هاي عمده عبارتند از:
Yahoo, Look Smart , Dmoz
بعضی از ارايه دهندگان خدمات جستجو در واقع تلفيقی از هر دو گروبخش فهرست خود کمک گرفته است.
اما زيرگروههايي برای دو گروه اصلی خدمات جستجو وجود دارد که هم از ديدگاه کاربران وب و هم از ديدگاه مديران سايتها حايز اهميت می باشند. اين خدمات جستجو عبارتند از:
•ابر جستجوگر( Meta Search Engine )
• رتبه بازای پول Pay Per Click Search Engine))
• موتور جستجوگر خاص( Spcialty Search Engine)

Meta Search Engine يا ابر جستجوگر:

ابرجستجوگر از نتايج ساير موتورهاي جستجوگر استفاده مي كند. كار آن بدين صورت است كه سوال كاربر را همزمان به موتورهاي جستجوگر مختلفي ارسال می کند. پس از دريافت نتايج جستجوی آنها به بررسی نتايج دريافت شده می پردازد و در نهايت ترکيبی از رتبه هاي بالاي آنها را طبق الگوريتم خود بعنوان نتايج جستجو به کاربر نشان مي دهد. ابر جستجوگر اسپايدر و پايگاه داده ندارد. برخی از آنها عبارتند از:
Vivisimo, Mamma, IXQuick, WebCrawler, Kartoo, DogPile

Pay-per-Click Search engine يا موتورهای جستجوگر رتبه به ازای پول!

کار آنها بسيار شبيه يك مزايده است: با توجه به واژه كليدي انتخابي، براي بالاترين رتبه، بايد بالاترين قيمت نسبت به ساير متقاضيان پرداخت شود.

در واقع نحوه ارائه نتايج جستجو در PPC به اين ترتيب است كه اگر سايتي خواهان بالاترين رتبه (رده اول)‌ در نتايج جستجوي آن می باشد، بايد بالاترين رقم به ازاي هركليك را نسبت به تمام رقبا بپردازد.
به عنوان مثال اگر سايتي مكان اول را براي عبارت Persian Carpet به قيمت 10 ريال خريده باشد، هر بار كه عبارت ياد شده جستجو گردد و بيننده‌اي با دنبال كردن پيوند ارائه

شده در نتايج جستجو به سايت مورد نظر برود، دارندگان آن سايت بايد 10 ريال به موتور جستجوگر بپردازند. اگر 1000 بيننده اين كار را انجام دهند، آن گاه بايد 1000×10 ريال، پرداخته شود.

البته اين گونه نيست كه PPC فقط سايت هايي را ليست مي‌كند كه با آنها قرارداد تجاري بسته است. بلكه ابتدا كليه سايت هاي طرف قرارداد خود را براي عبارات‌ مورد نظر آن سايت ها ليست مي‌كند و سپس سايت هاي ديگر را كه معمولا از پايگاه داده ساير موتورهاي جستجوگر است، ليست مي‌كند. نمونه ای از روش ارايه نتايج جستجوي اين نوع از موتورهاي جستجوگر را در شكل زیر نشان داده شده است.

شكل- نمونه اي از روش ارايه نتايج جستجو در موتورهاي جستجوگر PPC

سايت های رده 110 و 111 برای عبارت free stuff هزينه می پردازند که بالاتر از سايت های قرار گرفته در رتبه هاي 112 و 113 ايستاده اند.
به عبارت های sponsored listing و additional listing توجه نماييد. در اين مورد مي‌توان به Overture و Findwhat اشاره كرد.

فوايد آنها:
(1 دارنده سايت تنها زماني پول مي پردازد كه واقعا" بيننده اي به سايت او بيايد.

(2 سايت تقريبا" در عرض چند ساعت و يا حداكثر يك هفته در نتايج جستجو قرار مي گيرد و ديگر نيازي به چندين ماه انتظار نيست تا در نتايج جستجوي ساير موتورهای جستجوگر قرار گيرد که آن هم معلوم نيست دارای چه رتبه اي خواهند بود
(3 سايتی اگر بالاترين رتبه را مي خواهد، كافي است که بالاترين قيمت را بپردازد و ديگر نيازي به كاربرد تكنيك هاي رايج براي كسب رتبه های بالا نيست.

(4 چون اينگونه سايتها معمولا به صورت شبکه ای از سايتها فعاليت می کنند، يک سايت با استفاده از سيستم آنها در نتايج جستجوی موتورهاي جستجوگر ديگر كه داراي شراكت

تجاري با آنها هستند هم قرار می گيرد. به عنوان مثال اورچر، ياهو و آلتاويستا در يک شبکه هستند.

: Specialty Search Engine يا موتورهای جستجوگر خاص
اين نوع از موتورهاي جستجوگر بر موضوعي خاص تمركز دارند و تنها سايت هاي مرتبط با آن موضوع را در پايگاه داده خود قرار مي دهند. به عنوان مثال يكي از آنها ممكن است تنها سايت هاي ايراني را بپذيرد و موضوع فعاليتش سايت هاي ايراني باشد.
اين موتور‌هاي جستجوگر اطلاعات تخصصي‌تري را ارائه مي‌دهند زيرا معمولا توسط افراد متخصص در آن زمينه اداره مي شوند. موتورهای جستجوگر منطقه ای و موضوعی به اين دسته تعلق دارند. در اين مورد مي توان به مواردی نظير ChemicalSearch وIndustrySearch اشاره كرد.

مفاهيم پايه موتورهاي جستجو:
قبل از شروع گفتگو درباره هر موضوعي نياز به آن است كه مفاهيم اوليه و اصطلاحات رايج در آن موضوع، بيان شود تا طرفين گفتگو راحت تر به منظور يکديگر پی ببرند. ما نيز در اين بخش، بعضي از مفاهيم و اصطلاحاتي را كه در صفحه های ديگر سايت از آنها به كرات استفاده مي شود، شــرح داده شده است.
Spider:
نرم افزاري است كه كار جمع آوري اطلاعات از صفحات مختلف را بر عهده دارد.

Crawler:
نرم افزاري كه مسير حركت اسپايدر را مشخص مي كند.
Directory :
فهرست. نوعي از موتورهاي جستجوگر كه پايگاه داده آن توسط ويراستاران تكميل مي گردد.

Keyword:
بــه واژه ها ي مهم (کليدی) هر صفحه گفته مي شود. اما غالبا" منظور كلماتي است كه دوست داريم با آنها رتبه هاي مناسبي كسب كنيم.

Keyword Density:
چگالي كلمه، منظور تعداد دفعات تكرار واژه های كليدي در مقايسه با ساير كلمات متن است.

Keyword Staffing:

تكرار يك كلمه به دفعات و پشت سر هم به منظور بالا بردن چگالی کلمه. اين کار تقلب محسوب می شود.

:Tinny Text
نوشتن متن با اندازه های بسیار کوچک و ریز به گونه ای که کلمات بسیاری بدین ترتیب در یک خط قرار داده می شود و به سختی نیز در صفحه قابل رویت هستند. نوشتن مطالب به اين صورت، تقلب محسوب است.

Invisible Text:
متن نامرئی. منظور استفاده از متن هاي همرنگ با پس زمينه صفحه است. متن هايی که از ديد کاربران مخفی می ماند. به عنوان مثال اگر پس زمينه يك صفحه سياه است، متن صفحه نيز با رنگ سياه نوشته می شود تا ديده نشود . اين نوع متن ها از مصاديق تقلب می باشند.

Spam:
تقلب، به تمام تلاش هايي گفته مي شود كه به كمك آن سعي مي شود از راه هاي غير معمول، رتبه هاي بالايي كسب شود. يا در اختيار گذاردن اطلاعاتي كه موتورهاي جستجوگر آنرا دوست ندارند (اطلاعات ناخواسته) مانند تكرار يك كلمه به دفعات و پشت سر هم، استفاده از متن هاي هم رنگ زمينه و ...

ALT tag:
محتواي اين شناسه، متني است كه يك عكس را توضيح مي دهد.

Deep Crawl:
به معناي اين است كه موتور جستجوگر، مي تواندصفحات زيادي از يك سايت را در پايگاه داده اش قرار دهد. موتور جستجوگر هرچه پايگاه داده اش بزرگتر باشد، صفحات بيشتري از يك سايت را می تواند در پايگاه داده اش قرار دهد. همه موتورهاي جستجوگر داراي اين ويژگي نمي باشند.

Robots.txt:
با اين فايل متني و ساده، ميزان دسترسي موتور جستجوگر به محتواي يك "سايت" را مي توان كنترل كرد.

:META robots tag
به كمك اين شناسه ميزان دسترسي موتور جستجوگر به محتواي يك "صفحه" را مي توان كنترل كرد.

Link:
پيوند. در واقع پلی بين دو صفحه است. به کمک آن می توان از يک صفحه به صفحه ديگر رفت.

:Link Popularity
مقصود اين است که چه تعداد از سايت هاي ديگر به سايتي مشخص لينك کرده اند يا اينكه از چند سايت ديگر می توان به کمک پيوندها به سايتی مشخص رفت.

Link Reputation:

اشاره به اين دارد كه ساير سايتها درباره سايتي كه بدان لينك داده اند، چه مي گويند. عموما در اين موارد عنوان، متن لينك و كلمات اطراف لينك در سايت مقصد، بررسي مي شوند.

Learn Frequency:
بعضي از موتورهای جستجوگر مي توانند تشخيص دهند كه محتواي صفحات پس

از چه مدتی تغيير مي كند (به روز می گردد) و بعد از آن مدت به آن صفحات مراجعه می کنند.

URL-Uniform Resource Locator:
به آدرس منحصر به فرد هر منبع موجود در اينترنت گفته می شود. اين منبع می تواند يک صفحه وب، يک فايل متنی و... باشد

Stop Word:
به کلماتی گفته می شود که در کل اینترنت از آنها بسيار استفاده شده است. کلماتی نظير the, a, an, web, www, home page و ...

Meta tags:
به كمك اين شناسه ها، اطلاعاتي از صفحه در اختيار بينندگان (موتور جستجوگر، مرورگرها و ...) قرار داده مي شود.

META Keywords:
به كمك آن، كلمات کليدی صفحه در اختيار موتورهاي جستجوگر قرار داده می شود.

META Description
به كمك آن، توضيحي مختصر از صفحه در اختيار موتورهاي جستجوگر قرار داده می شود.

Stemming:
به معناي اين است كه موتور جستجوگر مي تواند صورت هاي مختلف يک كلمه را جستجو كند. به عنوان مثال با جستجوي swim موتور جستجوگر به دنبال swimmer ، swimming نيز مي گردد. همه موتورهاي جستجوگر داراي اين ويژگي نمي باشند.

Rank:
رتبه يك صفحه در نتايج جستجو است زماني كه جستجويي مرتبط با محتواي آن صفحه انجام مي شود.

Spamdexing:

مختصر شده spam indexing است. منظور طراحی و معرفي صفحاتي به موتورهاي جستجوگر است كه كيفيت نتايج جستجو را پايين مي آورند. موتورهای جستجوگر تمايل دارند که كاربران بارها و بارها به آنها مراجعه كنند و كيفيت بالاي نتايج مي تواند اين روند را تضمين كند. لذا آنها هركدام به نوعي سعي در تشخيص صفحاتي دارند كه كيفيت نتايج جستجو را پايين مي آورد. برخی از اين موارد عبارتند از: ساختن صفحاتي كه همگي داراي محتواي يكساني اند، تكرار يك ك

لمه بيش از حد و ...

Comment:
توضيحاتي است كه طراحان سايت در لا به لاي كدهاي HTML مي گنجانند تا برای فهميدن وظيفه بخش هاي متفاوت كدهای HTML در مراجعات آتی نيازی به صرف وقت بسيار نداشته باشند.
موتور جستجوگرچگونه كار مي كند:

وقتي جستجويي در يک موتور جستجوگر انجام و نتايج جستجو ارايه مي شود، كاربران در واقع نتيجه كار بخش هاي متفاوت موتور جستجوگر را مي بينند. موتور جستجوگر قبلا" پايگاه داده اش را آماده كرده است و اين گونه نيست كه درست در همان لحظه جستجو، تمام وب را بگردد. بسياري از خود مي پرسند كه چگونه امكان دارد گوگل در كمتر از يك ثانيه تمام سايت های وب را بگردد و ميليون ها صفحه را در نتايج جستجوی خود ارايه كند؟
نه گوگل و نه هيچ موتور جستجوگر ديگري توانايي انجام اين كار را ندارند. همه آنها در زمان پاسخ گويي به كاربران، تنها در پايگاه داده اي كه در اختيار دارند به جستجو مي پردازند و نه در وب!
موتور جستجوگر به كمك بخش های متفاوت خود، اطلاعات مورد نياز را قبلا" جمع آوري، تجزيه و تحليل مي كند و آنرا در پايگاه داده اش ذخيره مي نمايد و به هنگام جستجوی کاربر تنها در همين پايگاه داده می گردد.
بخش هاي مجزاي يك موتور جستجوگر عبارتند از:
Spider• يا عنکبوت
Crawler• يا خزنده
Indexer• يا بايگانی کننده
Database• يا پايگاه داده
Ranker• يا سيستم رتبه بندی

الف )Spider (عنکبوت(
اسپايدر يا روبوت (Robot)، نرم افزاري است كه كار جمع آوري اطلاعات مورد نياز

يك موتور جستجوگر را بر عهده دارد. اسپايدر به صفحات مختلف سر مي زند، محتواي آنها را مي خواند، اطلاعات مورد نياز را جمع آوري مي كند و آنرا در اختيار ساير بخش هاي موتور جستجوگر قرار مي دهد.

كار يك اسپايدر، بسيار شبيه كار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازديد مي كنند، اسپايدر هم درست اين كار را انجام مي دهد با اين تفاوت كه اسپايدر كدهاي HTML صفحات را مي بيند اما كاربران نتيجه حاصل از كنار هم قرار گرفتن اين كدها را.

Index.html صفحه اي است كه كاربران آنرا به صورت شكل (1) مي بينند:

اما يک اسپايدر آنرا چگونه می بيند؟
براي اين كه شما هم بتوانيد دنياي وب را از ديدگاه يك اسپايدر ببينيد، كافي است كه كدهاي HTML صفحات را مشاهده کنيد. براي اين كار در مرورگر مورد استفاده خود، مسير نشان داده شده در شكل را دنبال کنيد.

با انجام اين کار فايل متنی شكل به شما نشان داده می شود:

آيا اين دنياي متني برای شما جذاب است؟
اسپايدر، به هنگام مشاهده صفحات، از خود بر روي سرورها رد پا برجای مي گذارد. شما اگر اجازه دسترسي به آمار ديد و بازديدهاي صورت گرفته از يک سايت و اتفاقات انجام شده در آنرا داشته باشيد، مي توانيد مشخص كنيد كه اسپايدر كدام يک از موتورهاي جستجوگر صفحات سايت را مورد بازديد قرار داده اند.

اسپايدرها كاربردهاي ديگري نيز دارند، به عنوان مثال عده اي از آنها به سايت هاي مختلف مراجعه مي كنند و فقط به بررسي فعال بودن لينك هاي آنها مي پردازند و يا به دنبال آدرس پست الكترونيكي (Email) مي گردند.

ب) Crawler (خزنده (
كراولر، نرم افزاري است كه به عنوان يك فرمانده براي اسپايدر عمل مي كند. آن مشخص مي كند که اسپايدر كدام صفحات را مورد بازديد قرار دهد. در واقع کراولر تصميم مي گيرد كه كدام يك از لينك های صفحه ای كه اسپايدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضي ها را دنبال كند و يا هيچ كدام را دنبال نكند.
کراولر، ممكن است قبلا" برنامه ريزي شده باشد که آدرس های خاصی را طبق برنامه، در اختيار اسپايدر قرار دهد تا از آنها ديدن کند. دنبال كردن لينك های يک صفحه به اين بستگي دارد كه موتور جستجوگر چه حجمي از اطلاعات يک سايت را مي تواند در پايگاه داده اش ذخيره كند و همچنين ممكن است اجازه دسترسي به بعضي از صفحات به موتورهاي جستجوگر

داده نشده باشد.

شما به عنوان دارنده سايت، همان طور كه دوست داريد موتورهاي جستجوگر اطلاعات سايت شما را با خود ببرند، مي توانيد آنها را از بعضي از صفحات سايت تان دور كنيد و اجازه دسترسي به محتواي آن صفحات را به آنها ندهيد. تنظيم ميزان دسترسي موتورهاي جستجوگر به محتوای يک سايت توسط پروتكل Robots انجام مي شود. به عمل کراولر ، خزش (Crawling) مي گويند.
ج)Indexer (بايگانی كننده(گيرد. در اين بخش اطلاعات ارسالي مورد تجزيه و تحليل قرار مي گيرند و به بخش هاي متفاوتي تقسيم مي شوند. تجزيه و تحليل بدين معني است كه مشخص می شود اطلاعات از كدام صفحه ارسال شده است، چه حجمي دارد، كلمات موجود در آن كدام است، کلمات چندبار تكرار شده است، كلمات در كجاي صفحه قرار دارند و ... .
در حقيقت ايندکسر، صفحه را به پارامترهای آن خرد می کند و تمام اين پارامترها را به يک مقياس عددی تبديل می کند تا سيستم رتبه بندي بتواند پارامترهای صفحات مختلف را با هم مقايسه کند.
در زمان تجزيه و تحليل اطلاعات، ايندکسر براي كاهش حجم داده ها از بعضي كلمات كه بسيار رايج هستند صرفنظر مي کند. كلماتي نظير a ، an ، the ، www ، is و ... . از اين گونه كلمات هستند.

د ) DataBase (پايگاه داده)
تمام داده هاي تجزيه و تحليل شده در ايندکسر، به پايگاه داده ارسال مي گردد. در اين بخش داده ها گروه بندي، كدگذاري و ذخيره مي شود. همچنين داده ها قبل از آنكه ذخيره شوند، طبق تکنيکهای خاصی فشرده مي شوند تا حجم كمي ُُاز پايگاه داده را اشغال كنند.
يك موتور جستجوگر بايد پايگاده داده عظيمي داشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعات قديمي را هم به روز رسانی نمايد. بزرگي و به روز بودن پايگاه داده يك موتور جستجوگر براي آن امتياز محسوب مي گردد. يكي از تفاوتهاي اصلي موتورهاي جستجوگر در حجم پايگاه داده آنها و همچنين روش ذخيره سازي داده ها در پايگاه داده است.

در شكل (4) حجم پايگاه داده چند موتور جستجوگر با هم مقايسه شده است.

شكل 4- مقايسه حجم پايگاه داده چند موتور جستجوگر در دسامبر 2001
GG= Google, AV= Altavista, Fast= AllTheWeb
INK= Inktomi, NL= NorthernLight

و) Ranker (سيستم رتبه بندی(
بعد از آنكه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گويي به سوالات كاربران است. كاربران چند كلمه را در جعبه جستجوي (Search Box) آن وارد مي كنند و

سپس با فشردن Enter منتظر پــاسخ مي مانند.
برای پاسخگويي به درخواست کاربر، ابتدا تمام صفحات موجود در پايگاه داده كه به موضوع جستجو شده، مرتبط هستند، مشخص مي شوند. پس از آن سيستم رتبه بندي وارد عمل شده، آنها را از بيشترين ارتباط تا كمترين ارتباط مرتب مي كند و به عنوان نتايج جستجو به كاربر نمايش می دهد.
سيستم رتبه بندي براي پاسخ گويي به سوالات كاربران، پارامترهاي بسياري را در نظر مي گيرد تا بتواند بهترين پاسخ ها را در اختيار آنها قرار دارد. حرفه اي هاي دنياي SEM به طور خلاصه از آن به) Algo الگوريتم) ياد مي كنند.