بخشی از پاورپوینت
اسلاید 1 :
Big Data
به نام خدا
اسلاید 2 :
نگاه کلی به بحث Big Data:
مجموعه داده هایی که حجم و سرعت تولید آنها بیش از ظرفیت و امکانات بانک های اطلاعاتی مرسوم برای ضبط ، ذخیره سازی ، مدیریت و تحلیل داده است و نتوان آنها را با یک پردازشگر معمولی پردازش کرد.
اسلاید 3 :
Big data اصطلاحی است برای مجموعه داده های حجیم که بزرگ، متنوع، با ساختار پیچیده و با دشواریهایی برای ذخیره سازی، تحلیل و تصویرسازی (نمایش)، پردازشهای بیشتر یا نتایج میباشد. پروسه تحقیق بر روی داده های حجیم جهت آشکارسازی الگوهای مخفی و راز همبستگی ها، تجزیه و تحلیل big data نامیده میشود.
این اطلاعات مفید برای سازمانها وشرکتها در جهت کسب بینش غنی تر و عمیق تر و موفقیت در رقابت کمک میکند. به همین دلیل اجراهای big data نیاز دارند تا در صورت امکان، تحلیل شوند و به طور دقیق اجرا شوند.
چیست؟ Big Data
اسلاید 4 :
این داده های حجیم چه نوع اطلاعاتی هستند؟
تراکنش های online
ایمیل ها
ویدیو ها و صوت ها
کلیک کردن ها
درخواست های جستجو
تعاملات شبکه های اجتماعی
داده های علمی
سنسورها
تلفن های همراه
برنامه های کاربردی
اسلاید 5 :
چرا Big Data باید برای شما مهم باشد؟
مسئله واقعی این نیست که مقدار زیادی داده به دست آورید؛ این است که با آن چه می کنید. دیدگاه امیدوارانه این است که سازمان ها قادر به تحصیل داده از هر منبعی بوده، داده های مرتبط را تهیه کرده و آن را تحلیل کنند تا پاسخ سؤالاتی را بیابند که
1)کاهش هزینه ها
2)کاهش زمان
3)توسعه محصولات جدید و پیشنهادات جدید
4)تصمیم گیری هوشمندانه تر کسب وکار را مقدور می سازند.
اسلاید 6 :
برای مثال، با ترکیب Big Data و تحلیل های قوی، این امکان وجود دارد تا:
علت های اصلی شکست ها، مسائل و نقوص را در لحظه تعیین کرد تا سالانه تا میلیاردها دلار صرفه جویی کرد.
مسیر وسیله های حمل بسته های تحویلی را زمانی که هنوز در جاده هستند، بهینه کرد.
سریعاً مشتریانی که بیشترین اهمیت را دارند، شناسایی کرد.
اسلاید 7 :
واضح است که چنین حجمی از داده نیازمندیهای خاص خود را داشته و ابزارهای مختص بهخود را میطلبد.
با مشارکت شرکتهایقابل احترامی مانند یاهو و بنیاد آپاچی پروژههایی مانند Hadoop، Mango DB، Cassandra، Couch DB و بسیاری از پروژههاي دیگر، در جهت حل مسائل مرتبط با «داده بزرگ» پا به عرصه حیات بگذارند.
اسلاید 8 :
Big Data یک واژه ی پرکاربرد برای توصیف رشد نجومی داده است و ممکن است همچون اینترنت، برای کسب وکار و حتی جامعه با اهمیت گردد. در واقع بیگ دیتا می تواند توسط هرشخص یا رسانه های جمعی و در هر زمان و طی هر فرآیند دیجیتال تولید شود و از طریق سیستم ها، حسگر ها و … منتقل گردد. این داده ها در سرعت، حجم و نوع های مختلف و از منابع گوناگون ارسالمی گردند، در نتیجه برای دریافت و استخراج و تحلیل آن ها نیاز به قدرت پردازش زیاد و توانایی تحلیل بالا می باشد.
Big data و تجزیه و تحلیلش در مرکز علوم و تجارتهای مدرن هستند. این داده ها از تراکنشهای online email ها، ویدئوها، صوتها، کلیک کردن ها، log ها و ارسالها، درخواستهای جستجو، یادداشتهای درست، تعاملات شبکه های اجتماعی، داده های علمی، سنسورها و تلفنهای همراه و برنامه های کاربردی آنها تولید میشوند. آنها بر روی پایگاه داده ها که به شکل حجیم رشد میکنند، ذخیره میشوند و ضبط، شکل دهی، ذخیره سازی، مدیریت، به اشتراک گذاری، تحلیل و نمایش آنها از طریق ابزارهای نوعی نرم افزار پایگاه داده ها، دشوار میشود.
پنج اگزا بایت (10 به توان 18 بایت) دیتا تا سال 2003 به وسیله انسان به وجود آمده است. امروزه این مقدار اطلاعات در دو روز تولید میشود. در سال 2012 داده های دنیای دیجیتال به 2.72 زتا بایت ( 10 به توان 21 بایت) توسعه پیدا کرد. این مقدار هر دو سال ، دو برابر می شود وبه حدود 8 زتا بایت داده در سال 2015 رسیده ایم.
اسلاید 9 :
از آنجا که بارگذاری Big Data در پایگاه های داده ی عادی برای تحلیل، نیاز مند زمان و هزینه ی زیادی می باشد، رویکرد های نوین، به سمت ذخیره سازی و تحلیل داده ها با اتکای کمتر به نوع و طرح داده، حرکت کرده است. به طوری که داده های خام در تجمیع با ابرداده ها برای یافتن الگو های مشخص، توسط برنامه های هوش مصنوعی و با استفاده از الگوریتم های پیچیده، مورد جستجو قرار خواهند گرفت.
اسلاید 10 :
نمونه هایی از شبکه های Big Data
بیش از یک ملیارد حساب کاربری با 70 زبان
بیش از 300 پتابایت داده
50ترابایت داده در روز
35درصد ازکل تصاویر دنیای مجازی
140میلیارد تصویر اپلود شده
125ملیارد اتصالات دوست هاو.
حدود 7.2 میلیارد جستوجو در روز
بیش از 100پتابایت داده(1000میلیارد صفحه وب)
ترجمه 20 پتابایت داده در روز به66 زبان دنیا
اسلاید 11 :
بیش از یک اگزابایت داده
بیش از 4میلیارد بازدید کاربران در ماه
اضافه شدن 100 ساعت فیلم در دقیقه
80 درصد ترافیک خارج از امریکا
حدود یک میلیارد کاربر
بیش از 134 ملیارد توییت در سال
حدود 4500 توییت در ثانیه
اسلاید 12 :
سیستم های نظارتی پیشرفته برای تجزیه وتحلیل داده های دارای ارزش بالا
کنترل های فعال از قبیل:نیاز تصدیق کاربر سنتی ,مسدود کردن انتقال داده ها
درجه های بالایی از یکپارچگی از طریق امنیت وابزار های مدیریت خطا
عدم نگه داری داده ها در یک انبار ومکان مشخص
یک فریم ورک ارتباطی امن برای تضمین تصدیق
استفاده از متد های دسترسی امنیتی برای اتصال مدیران
دیگر روش های امنیتی نیاز به ضبط و تجزیه و تحلیل ترافیک شبکه دارند
مسائل حفظ حریم خصوصی وامنیت
اسلاید 13 :
اهمیت استفاده از داده های عظیم
ایجاد شفافیت
بکارگیری تجارب به منظور تشخیص نیازها ، ارایه تنوع و بهبود عملکرد
بخش بندی جامعه هدف به منظور ارایه سرویس های کاملا سفارشی
جایگزینی تصمیم گیری انسانی با الگوریتم های اتوماتیک
نوآوری جدید در خصوص مدل های کسب و کار ، محصولات و سرویس ها
اسلاید 15 :
Variety :تنوع یا گوناگونی
Velocity :سرعت
Volume :حجم
Veracity :صحت وقابلیت اطمینان
Big Dataویژگی های
اسلاید 16 :
مشخصات:
Big Dataیا داده های عظیم بر اساس مشخصه های زیر می تواند تعریف گردد:
حجم (Volume) :مقدار دادههای تولید شده در این زمینه بسیار مهم است. در واقع با توجه به حجم داده است که می توان گفت، Big data محسوب می شود یا خیر.
تنوع (Variety) :دومین مشخصه ی با اهمیت Big Data، تنوع می باشد. در حقیقت همین تنوع است که باعث تحلیل بهتر داده ها و حمایت کاربران از Big Data می شود. از طرفی همین مشخصه باعث می شود که داده ها به راحتی قابل ادغام با یکدیگر نباشند.
نرخ تولید (Velocity) :واژه ی “نرخ تولید” در این بحث به سرعت تولید و پردازش داده ها اشاره دارد.
صحت وقابلیت اطمینان (Veracity) : از دیگر مشخصه های Big Data می توان تغییرپذیری، پیچیدگی و صحت داده را نام برد.
اسلاید 17 :
اعتبار(validity) :بافرض اینکه دیتا صحیح باشد,ممکن است برای برخی کاربرد ها مناسب نباشد یا به اعتبار دیگر از اعبارکافی برای استفاده در برخی کاربرد ها برخوردار نباشد.
نوسان (volatility) :سرعت تغییرارزش داده های مختلف درطول زمان
نمایش (visualization) :یکی از کارهای مشکل در حوزه ی کلان داده ,نمایش اطلاعات است
ارزش (value) :این موضوع دلالت براین دارد که از نظراطلاعاتی برای تصمیم گیری چقدر داده حائز ارزش است. به عبارت دیگر ایاهزینه ای که برای نگهداری داده ها و پردازش انها میشود,ارزش ان را از نظرتصمیم گیری دارد یا نه.
اسلاید 18 :
Variety
ساخت یافته: structured
نیمه ساخت یافته:Semi structured
بدون ساخت : unstructured
داده های پایگاه های داده گروه بندی شده به صورت سطری وستونی
شکلی از داده های ساخت یافته با تفاوت در ساختار رسمی
داده هایی مثل صوت و ویدیو ایمیل هاو..
اسلاید 20 :
حجم کل داده ها تا سال 2003 , 5 اگزابایت اما امروزه هر دو روز 5 اگزابایت
volume
