بخشی از پاورپوینت
اسلاید 1 :
Invisible Web
وب نامرئی
وب عمیق
اسلاید 2 :
مقدمه
مرور نوشتارها حاكي از آن است كه به احتمال قريب به يقين عبارت «وب نامرئي» نخستين بار درسال 1994 توسط «ژيل السورث»ابداع شده است. البته معدودي از منابع نيز شخص ديگري به نام «متيوكل» را به عنوان مبدع اين اصطلاح معرفي ميكنند.
در خصوص وب نامرئي كلماتي نظير وب پنهان، وب عميق، وب تاريك، به طور مترادف در متون مختلف به كار برده شدهاند. اما اينها در حقيقت معادل يكديگر نيستند و هر يك به جنبهاي از نامرئي بودن اشاره ميكنند.
اسلاید 3 :
وب نامرئی
یکی از اصطلاحاتی که اخیرا از آن یاد میشود وب نامرئی یا invisible web است که البته اسم دیگرش deep وب هست. صفحات اینترنتی ای که ما به طور عادی می بینیم، وب سطحی نام دارند. افراد قبل از هر مرجع دیگری از وب برای جستجوی تحقیقاتشان استفاده می کنند. اما موتورهای جستجو لزوما بهترین نتایج را نمایش نمی دهند. آنها اطلاعات مخفی یا عمیق موجود در اینترنت را نمایش نمی دهند.
اسلاید 4 :
اصطلاح وب نامرئی یا وب “ژرف” به مخزن عظیمی از اطلاعات اطلاق می شود که موتورهای جستجو به آنها دسترسی مستقیم ندارند به طور مثال پایگاه داده کتابخانه های دانشگاهها، سایتهایی که برای مشاهده آنها نیاز به رمز عبور داریم و سایتهایی که به هر دلیل، موتورهای جستجو از فهرست بندی آنها، منع شده اند. بر خلاف صفحات قابل مشاهده (یعنی همین وبی که می توانید توسط موتورهای جستجو ببینید) اطلاعاتی در پایگاههای داده موجود است که اسپایدرها و رباتهای خزنده بدانها دسترسی ندارند. بعنوان نمونه، اغلب مردم گوگل را بعنوان دارنده بزرگترین پایگاه داده جستجو تصور می کنند که حدودا ۸ بیلیون صفحه را فهرست بندی کرده است. این رقم بزرگ است ولی اگر وب مخفی را در نظر بگیریم این رقم را بایستی در ۵۰۰ ضرب کنیم. بعلاوه گوگل فقط صفحات قابل جستجو را که حدودا ۲۵۰ بیلیون است ذخیره کرده است ولی از رقم دقیق صفحات غیر قابل جستجو خبری نیست.
وب ژرف چیست؟
اسلاید 5 :
آمارهای جالب:
– اطلاعات موجود در وب ژرف، بین ۴۰۰ تا ۵۵۰ برابر وب عمومی هستند که ما می بینیم
– وب ژرف حاوی ۷۵۰۰ ترابایت اطلاعات است، در مقابل وب سطحی ۱۹ ترابایت ذخیره کرده است
– وب ژرف دارای نزدیک به ۵۵۰ بیلیون مستند می باشد در حالیکه این رقم برای وب سطحی ۱ بیلیون است
– بیش از ۲۰۰ هزار وب سایت ژرف وجود دارند
– جالب است بدانید که بیش از نیمی از محتوای وب عمیق در عنوان سایتهایشان از کلمه Database استفاده کرده اند و اگر این کلمه را در جستجوهایتان بکار برید، امکان دسترسی تان را به این سایتها افزایش می دهید.
اسلاید 6 :
دسترسی به وب عمیق
دسترسی به آنچه که در لایه های پایین وب می گذرد زیاد ساده نیست. چرا که بیشتر ارتباط ها و خرید و فروش های اصلی توسط لینک ارتباطی امن بین طرفین برقرار می شود. ارتباطی که از نظرگاه همه موتورهای جستجوگر فرسنگ ها فاصله دارد. ولی وب سایت هایی هم هستند که عموم مردم را مورد هدف قرار می دهند. این وب سایت ها بر روی سرورهای TOR راه اندازی شده اند و از طریق مرورگرهای معمولی قابل دستیابی نیستند. root name این وب سایت ها اغلب onion. است که در DNS های root ثبت نشده و فقط بر روی سرورهای TOR تعریف شده است. همچنین URL آنها، بسادگی به یاد سپردنی نیست و هرچند وقت یکبار به کل تغییر می کند. اغلب این وبسایتها دارای صفحات سیاه رنگی حاوی چند متن مختصر هستند. یکی از مراجعی که اطلاعات دسته بندی شده این وب سایت ها را در اختیار کاربران میگذارد HiddenWiki است.
اسلاید 7 :
همه چیز درباره وب عمیق یا پنهان
منظور از وب عمیق یا وب پنهان بخشی از شبکه جهان گستر وب است که منابع موجود در آن، خارج از حوزه جستجو و بازیابی مقدماتی موتورهای جستجوی عمومی قراردارد و بازیابی اطلاعات موجود در این بخش از محیط وب، با استفاده و جستجوی مستقیم از این موتورها میسر نیست. به عبارت دیگر امکان بازیابی منابع اطلاعاتی وب پنهان یا از نظر فنی برای موتورهای جستجو مقدور نیست و یا آنها به دلیل محدودیت های دیگر از دسترسی و ایندکس گذاری این منابع بازمانده اند.
اسلاید 8 :
برخی از دلایل عدم دسترسی به وب عمیق یا پنهان
۱- نقاطی از وب هستند که به خاطر احتیاج به نام کاربری و رمز عبور امکان دسترسی به آنها وجود ندارد.
۲- برخی اطلاعات در صورتی قابل مشاهده می گردند که خریداری شوند، این بخش که به وب ملکی شهرت دارد نیز از دید موتورهای جستجوگر پنهان است.
۳- بخش دیگری از وب نامرئی، به مجموعه ای از اطلاعات الکترونیکی پیوسته اطلاق میشود که آنها معمولا خارج از حوزه جستجوی موتورهای جستجوگر قرار دارند هریک از این پایگاه ها صفحه جستجوی مبتنی بر وب دارند، که امکان جستجو در آنها برای کاربران را فراهم می کند، اما خزنده های موتورهای جستجو توان ورود به آن ها را ندارند و در نتیجه حجم انبوهی از اطلاعات، نمایه نشده باقی می ماند.
۴- منابع اطلاعاتی غیرمتنی نیز جزء وب پنهان بشمار میروند چون موتورهای جستجوگر برای ایندکس گذاری منابع ابرمتن Hypertext طراحی شده اند درحالیکه بسیاری از منابع موجود در وب در قالب های دیگر و معمولا غیرمتنی (تصویر، منابع دیداری شنیداری و …) ظاهر می شوند و امکان ایندکس گذاری آنها در موتورهای جستجوگر وجود ندارد.
۵- با توجه به استفاده اغلب موتورهای جستجوگر از الگوریتم عنکبوتی، در صورتی که صفحه وبی به هیچ جا متصل نشده باشد، دسترسی به آن از طریق موتورهای جستجو غیرممکن است.
اسلاید 9 :
اهمیت وب عمیق
به دو دلیل می توان گفت که وب پنهان اهمیت دارد. نخست از نظر کمی باید گفت که حجم اطلاعات موجود در این بخش خیلی بیشتر از سطح آشکار است.
بهترین موتورهای جستجو فقط قادر هستند که حدود ۱۶ درصد از اطلاعات موجود در وب را بازیابی کنند و بنابراین ۸۴ درصد آنها جزء وب پنهان به حساب میآیند.
اندازه وب نامرئی تقریباً ۵۰۰ برابر وب مرئی است. وب نامرئی ۵۵۰ میلیون سند و وب مرئی تقریباً یک میلیون سند را دارا می باشد. هر چند مطالعات انجام شده در این باره با یکدیگر متفاوتند اما بر اساس همه آنها دیپ وب از نظر داده ها بسیار غنی تر از وب معمولی یا وبی است که ما میشناسیم. میتوان گفت که کل وب یک کوه یخی است که دیپ وب قسمتی از آن است که در زیر آبها پنهان و قسمت دیگر که در سطح آب نمایان است همان وبی است که ایندکس شده است.
و از منظر کیفی باید گفت:
اطلاعات بخشهای مختلف این مجموعه به ویژه منابع اطلاعاتی موجود در وب عمیق، معمولاً منابع ارزشمند و مفیدی هستند و در بسیاری از موارد ﭘﺎسخگوی نیاز کاربران می باشند. تقریباً بیش از نیمی از وب نامرئی را ﭘﺎیگاه های اطلاعاتی موضوعی تشکیل میدهند.
اسلاید 10 :
نمونه ای از اعمال غیرقانونی در وب عمیق
از آنجایی که وب عمیق از دید بسیاری پنهان است، مکان خوبی برای کارهای مشکوک به حساب میآید و بسیاری از مجرمان اینترنتی در فورومهایی با دسترسی محدود گرد هم میآیند.
شاید وقتی صحبت از بخش تاریک اینترنت به میان بیاید، چیزهایی از قبیل خرید سی دی های غیر مجاز، خرید دارو بدون نسخه و چیزهایی از این قبیل به ذهن ما بیایند اما وب عمیق بسیار بسیار فراتر از اینهاست.
پورنوگرافی کودک، تجارت اسلحه، خرید و فروش مواد مخدر، قاتلین اجارهای و تروریسم بخشی از محتوای ناخوشایند وب عمیق محسوب میشوند که آنرا به بزرگترین بازار سیاه موجود تبدیل کردهاند. در وب عمیق میتوانید سایتهایی را ببینید که در آنها کارتهای اعتباری دزدی و مواد مخدر براحتی بفروش میرسند.
اسلاید 11 :
بخشهاي مختلف وب نامرئي
1- وب مات يا تاريك Opaque Web ))
بخشي از فضاي وب نامرئي به وب مات موسوم گرديده كه ميتوانسته مورد استفاده كاربران قرار گيرد، اما به دلايل زير اين اطلاعات در خارج از دسترس كاربران قرار گرفته و موتورهاي كاوش نميتوانند آنها را بازيابي كنند:
- از آنجا كه اولاً محيط وب دائماً در تغيير است و هر روز منابع و اطلاعات جديد به آن افزوده ميگردد و ثانياً صفحاتي در وب وجود دارند كه هيچ پيوندي بين آنها با منابع ديگر برقرار نشده، خزندههاي موتورهاي جستجو قادر به يافتن اين صفحات و همگام نمودن خود با اين حجم عظيم اطلاعات نيستند.
- به دليل محدوديت توانايي، نرمافزارهاي خزنده فرصت كافي براي روزآمدسازي صفحات جديد وب را ندارند. موتورهاي كاوش نيز امكان روزآمدسازي حجم عظيمي از اطلاعات و منابع جديد را ندارند و به همين دليل بسياري از اين اطلاعات از حوزه موتورهاي كاوش دور ميمانند .
- محدوديت توان مالي بسياري از موتورهاي كاوش سبب گرديده كه موتورهاي كاوش نتوانند تمام صفحات وب سايتها را نمايهسازي كنند، چرا كه براي آنها هزينههاي زيادي دارد و بنابراين موتورهاي كاوش بنا بر سياستهاي خودشان، تنها بخشي از وب سايتها يا لايههاي بيروني آنها را نمايهسازي ميكنند. بنابراين هميشه بخش عظيم لايههاي دروني وب سايتها پنهان ميمانند.
اسلاید 12 :
2- وب عميق
بخش ديگري از وب نامرئي، به مجموعهاي از اطلاعات الكترونيكي پيوسته اطلاق ميشود كه بسياري از پايگاههاي اطلاعرساني، آنها را از طريق شبكه جهان گستر وب در دسترس عموم قرار دادهاند. برخي اين اطلاعات را به رايگان، و برخي ديگر را با دريافت هزينه در دسترس عموم قرار ميدهند. مندرجات اين پايگاهها معمولاً خارج از حوزه جستجوي موتورهاي كاوش قرار دارند هريك از اين پايگاهها صفحه جستجوي مبتني بر وب دارند. كه امكان جستجو در آنها براي كاربران را فراهم ميكند، اما خزندههاي موتورهاي جستجو توان ورود به آنها را ندارند و در نتيجه حجم انبوهي از اطلاعات، نمايه نشده باقي ميماند. به عنوان نمونه اگر يك متخصص موضوعي (مثلاً يك دانشجوي رشته پزشكي) بخواهد خود را به موتورهاي كاوش معمولي محدود كند و نتواند به پايگاههاي اطلاعاتي تخصصي مراجعه نمايد يا از وجود آنها آگاه نباشد، از دسترسي به حجم انبوهي از اطلاعات محروم خواهد ماند. بنابراين كاربر بايد در اين موارد از طريق موتورهاي جستجو، پايگاههاي مرتبط با موضوع خود را شناسايي كند و سپس، جداگانه به جستجو در آنها بپردازد تا از دسترسي به وب عميق باز نماند.
اسلاید 13 :
3 - وب خصوصي Private Web )) و وب ملكی Proprietary Web))
بخشي ديگر از وب نامرئي وجود دارد كه چون اطلاعات موجود در آن جزو داراييهاي شخصي يا خصوصي سازمانها يا افراد ميباشد، از حوزه دسترسي موتورهاي جستجو پنهان است. مثلاً در برخي از سازمانها و مؤسسات خصوصي يا دولتي، به دلايل امنيتي از اطلاعات مربوط به مسائل كاري و سازماني و پرسنلي خود حفاظت ميكنند اجازه دسترسي به آنها را به ديگران نميدهند و فقط كساني كه داراي اسم كاربر و گذرواژه هستند ميتوانند از آنها استفاده كنند؛ اين بخش، وب خصوصي محسوب ميگردد . بخش ديگر، منابع اطلاعاتي از قبيل نشريات الكترونيكي مبتني بر وب ميباشند كه دسترسي به آنها از طريق پرداخت حق اشتراك و خريد محصولات اطلاعاتي شركتهاي مختلف صورت ميگيرد «وب ملكي» ناميده ميشود.
اسلاید 14 :
4 - وب واقعا پنهان Truly Invisible Web))
بخش ديگري از وب پنهان وجود دارد كه بنا به مسائل فني و ناكارآمدي ابزارهاي جستجو، از دسترسي كاربران دورمانده است. بسياري از موتورهاي جستجو قادر به بازيابي اطلاعات متني اچتيامال هستند، ولي توانايي بازيابي فايلهاي پيدياف را ندارند، يا به دليل كمبود منابع مالي و فني از جستجوي فايلهاي غيرمتني صرفنظر كردهاند. بنابراين منابع اطلاعاتي متنوعي نيز در وب وجود دارند كه تنها به دليل محدوديتهاي فناورانه يا مالي موتورهاي جست وجو، از حوزه كاوش آنها و در نتيجه از دسترس كاربران دور ماندهاند.
اسلاید 15 :
شيوههاي کسب اطلاعات در وب نامرئي
در حال حاضر ابزارهايي به وجود آمدهاند كه منابع وب نامرئي را شناسايي، و كاربران را به سايتهاي مناسب راهنمايي ميكنند. اين رويكرد توسط بزرگراههاي اطلاعاتي و كتابخانههاي مجازي پذيرفته شده است؛ بطوري كه فقط توصيفي از پايگاههاي اطلاعاتي و مجلات نامرئي را ارائه ميكنند؛ مثل سايت« Invisible web» كه فهرستي از منابع نامرئي و سايت Complete plaset كه فهرستي از تقريباً 40000 پايگاه اطلاعاتي وب نامرئي را ارائه ميدهند. برخی ديگر از ابزارهاي اطلاعيابي نيز وجود دارند که با یک جستجو در اینترنت می توانید به آنها دسترسی داشته باشید.
اسلاید 16 :
خلاصه و نتیجه گیری
افزايش روز افزون منابع اطلاعاتي در اينترنت و مشكلات فني و غيرفني موتورهاي كاوش باعث گرديده كه حجم زيادي از اين اطلاعات از ديد كاربران پنهان بماند و به عنوان وب نامرئي مورد بحث بسياري از متخصصان اطلاعرساني قرار گيرد.
همانطوري كه ميدانيم امروزه گرايش بسياري از كتابخانهها و مراكز اطلاعرساني و محققان به سوي ديجيتالي كردن منابع و قراردادن آنها در محيط اينترنت ميباشد. چنانچه دسترسي مطلوب به منابع ذخيرهشده در اينترنت وجود نداشته باشد بسياري از ميراثهاي علمي، پژوهشي، فكري و فرهنگي بشر به هيچ وجه مورد استفاده حال و آينده قرار نخواهد گرفت. در اين ميان كتابداران و اطلاعرسانان نيز با آگاهكردن كاربران از وجود وب نامرئي و شيوههاي دستيابي و اطلاعيابي كاربران از اين اطلاعات ميتوانند نقش مهمي را در كاستن سطح نامرئي اطلاعات بر عهده بگيرند.
البته بايد يادآور شد كه به دليل پژوهشها و پيشرفتهاي اخير در حوزه بازيابي اطلاعات چه در بعد فني و چه از نظر رويكرد كاربرمدار، آينده روشنتري در بازيابي اطلاعات در محيط وب پيشبيني ميشود . به طوركلي پيشبيني ميشود كه با پيشرفت ابزارهاي بازيابي اطلاعات در وب و بهبود سواد اطلاعاتي كاربران، به تدريج از سطح ناپيدايي اطلاعات در محيط وب كاسته شود.
اسلاید 17 :
در پایان
اما لازم به توضیح است که دیپ وب مقدار محتوای بسیاری نیز دارد که به هیچ وجه جالب توجه نیست و یک دلیل ایندکس نشدن این محتواها نیز همین امر است. اما محتوایی که عمدا روی دیپ وب قرار داده شده می تواند فوق العاده جالب توجه باشد. مثلا محتوای کامل ویکی لیکس روی دیپ وب است. فرومهای انفورماتیک بسیار پیشرفته و همینطور سایتهای مشتاقان دستکاری ها و ساخت و ساز از هر نوع نظیر امواج رادیوئی و اسناد بسیار حساس بعضی دولتها روی دیپ وب هستند. اما لازم است توضیح داده شود که با اینهمه باید محتاط بود و هر محتوائی را که روی دیپ وب یافت می شود نباید دانلود کرد چراکه می توانند بسیار دروغین و خطرناک باشند. دیپ وب خیلی مورد توجه انونیموس نیز هست. روی وب عمیق همانقدر که میتوان محتوای فوق العاده جالب یافت همانقدر هم محتوای غیر قانونی وجود دارد که دسترسی به انها میتواند تولید دردسر کند. علاوه بر این دیپ وب خالی از خطر انواع ویروس و الودگی نیست.
