بخشی از پاورپوینت
اسلاید 1 :
Big data
اسلاید 3 :
Big data
عبارت Big Data مدتها است که برای اشاره به حجمهای عظیمی از دادهها که توسط سازمانهای بزرگی مانند گوگل یا ناسا ذخیره و تحلیل میشوند مورد استفاده قرار میگیرد؛ اما به تازگی، این عبارت بیشتر برای اشاره به مجموعههای دادهای بزرگی استفاده میشود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاههای داده سنتی و معمولی قابل مدیریت نیستند. مشکلات اصلی در کار با این نوع دادهها مربوط به برداشت و جمعآوری، ذخیرهسازی، جستوجو، اشتراکگذاری، تحلیل و نمایش آنها است.
مقدمه:
اسلاید 4 :
پيشگفتار:
این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا میکند که با استفاده از تحلیل حجمهای بیشتری از دادهها، میتوان تحلیلهای بهتر و پیشرفتهتری را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی و امنیتی، انجام داد و نتایج مناسبتری را دریافت کرد. بیشتر تحلیلهای مورد نیاز در پردازش دادههای عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، شبیهسازیهای پیچیده فیزیک، تحقیقات زیستشناسی و محیطی، جستوجوی اینترنت، تحلیلهای اقتصادی و مالی و تجاری مورد استفاده قرار میگیرد.
حجم دادههای ذخیرهشده در مجموعههای دادهای Big Data، عموماً به خاطر تولید و جمعآوری دادهها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشیهای موبایل، حسگرهای محیطی، لاگ نرمافزارهای مختلف، دوربینها، میکروفونها، دستگاههای تشخیص RFID، شبکههای حسگر بیسیم و غیره با سرعت خیرهکنندهای در حال افزایش است.
اسلاید 5 :
چالشهای حوزه کلان داده
اسلاید 6 :
تاکنون چالشهای زیادی در حوزه کلان داده مطرح شده است که تا حدودی از جنبه تئوری ابعاد مختلفی از مشکلات این حوزه را بیان میکنند. این چالشها در ابتدا سه بعد اصلی حجم داده، نرخ تولید و تنوع بهعنوان 3V’s مطرح شدند ولی در ادامه چالشهای بیشتری در ادبیات موضوع توسط محققان مطرح شده است:
نرخ تولید (Velocity) : دادهها از طریق برنامههای کاربردی و سنسورهای بسیار زیادی که در محیط وجود دارند با سرعت بسیار زیاد و بهصورت بلادرنگ تولید میشوند. بسیاری از کاربردها نیاز دارند بهمحض ورود داده به درخواست کاربر پاسخ دهند. ممکن است در برخی موارد نتوانیم به اندازه کافی صبر کنیم تا مثلاً یک گزارش در سیستم برای مدت طولانی پردازش شود.
چالشهای حوزه کلان داده
حجم داده (Volume) : حجم دادهها بهصورت نمایی در حال رشد است. منابع مختلفی نظیر شبکههای اجتماعی، لاگ سرورهای وب، جریانهای ترافیک، تصاویر ماهوارهای، جریانهای صوتی، تراکنشهای بانکی، محتوای صفحات وب، اسناد دولتی و … وجود دارد که حجم داده بسیار زیادی تولید میکنند.
اسلاید 7 :
چالشهای حوزه کلان داده
تنوع (Variety) : انواع منابع داده و تنوع در نوع داده بسیار زیاد است که در نتیجه ساختارهای دادهای بسیار زیادی وجود دارد. مثلاً در وب، افراد از نرمافزارها و مرورگرهای مختلفی برای ارسال اطلاعات استفاده میکنند. بسیاری از اطلاعات مستقیماً از انسان دریافت میشود و بنابراین وجود خطا اجتنابناپذیر است. این تنوع سبب میشود جامعیت داده تحت تأثیر قرار بگیرد؛ زیرا هرچه تنوع بیشتری وجود داشته باشد، احتمال بروز خطای بیشتری نیز وجود خواهد داشت.
صحت (Veracity) : با توجه به اینکه دادهها از منابع مختلف دریافت میشوند، ممکن است نتوان به همه آنها اعتماد کرد. مثلاً در یک شبکه اجتماعی، ممکن است نظرهای زیادی در خصوص یک موضوع خاص ارائه شود. اما اینکه آیا همه آنها صحیح و قابل اطمینان هستند، موضوعی است که نمیتوان بهسادگی از کنار آن در حجم بسیار زیادی از اطلاعات گذشت. البته بعضی از تحقیقات این چالش را به معنای حفظ همه مشخصههای داده اصلی بیان کردهاند که باید حفظ شود تا بتوان کیفیت و صحت داده را تضمین کرد. البته تعریف دوم در مولدهای کلان داده صدق میکند تا بتوان دادهای تولید کرد که نشاندهنده ویژگیهای داده اصلی باشد.
اسلاید 8 :
چالشهای حوزه کلان داده
اعتبار (Validity) : با فرض اینکه دیتا صحیح باشد، ممکن است برای برخی کاربردها مناسب نباشد یا بهعبارتدیگر از اعتبار کافی برای استفاده در برخی از کاربردها برخوردار نباشد.
نوسان (Volatility) : سرعت تغییر ارزش دادههای مختلف در طول زمان میتواند متفاوت باشد. در یک سیستم معمولی تجارت الکترونیک، سرعت نوسان دادهها زیاد نیست و ممکن است دادههای موجود مثلاً برای یک سال ارزش خود را حفظ کنند، اما در کاربردهایی نظیر تحلیل ارز و بورس، داده با نوسان زیادی مواجه هستند و دادهها به سرعت ارزش خود را از دست میدهند و مقادیر جدیدی به خود میگیرند. اگرچه نگهداری اطلاعات در زمان طولانی بهمنظور تحلیل تغییرات و نوسان دادهها حائز اهمیت است. افزایش دوره نگهداری اطلاعات، مسلماً هزینههای پیادهسازی زیادی را دربر خواهد داشت که باید در نظر گرفته شود.
اسلاید 9 :
چالشهای حوزه کلان داده
ارزش (Value) : این موضوع دلالت بر این دارد که از نظر اطلاعاتی برای تصمیمگیری چقدر داده حائز ارزش است. بهعبارتدیگر آیا هزینهای که برای نگهداری داده و پردازش آنها میشود، ارزش آن را از نظر تصمیمگیری دارد یا نه. معمولاً دادهها میتوانند در لایههای مختلف جابجا شوند. لایههای بالاتر به معنای ارزش بیشتر داده میباشند. بنابراین برخی از سازمانها میتوانند هزینه بالای نگهداری مربوط به لایههای بالاتر را قبول کنند.
اسلاید 10 :
بطور خلاصه میتوان اعلام نمود، در هر Business Problemی که مقیاس پذیری، پردازش و ذخیرهسازی سریع و به لحظه برای انبوهی از دادهها یا منابع اطلاعاتی، تحمل خطا، قدرت محاسبات بالا، و انعطافپذیری، مشکلزا یا (به اندازه غیرمتعارف) هزینهزایی نمود، سازمان با یکی از انواع Big Data Problem برخورد کرده است.
پس نتيجه ميگيريم:
چالشهای حوزه کلان داده
اسلاید 11 :
خدمات کلان دادههای گروه فرابر
اسلاید 12 :
گستره خدمات کلان دادهها (مه داده) گروه بیگ دیتا فرابر عبارتاند از
نصب، راهاندازی و تنظیمات زیرساختهای بیگ دیتا (Hadoop و YARN)
طراحی و مدیریت انواع پایگاههای دادهای Key Value، Graph، Columnar، Document Store و in Memory از قبیل: Redis، mongoDB، Cassandra،HBase ، Neo4j، Riak
انجام محاسبات و یادگیری ماشین با TensorFlow، Apache Hama، Apache Mahout، MLLib، GraphX
پردازش جریان دادهها با Apache Storm، Apache samza، Apache Spark، Apache Flink
اسلاید 13 :
گستره خدمات کلان دادهها (مه داده) گروه بیگ دیتا فرابر عبارتاند از
بهکارگیری انواع واسط SQL از قبیل Hive، Impala، Spark SQL، Drill
انتقال دادهها با Apache Flume ، Apache sqoop و ….
پیامرسانی و مدیریت صف با Apache Kafka، ZeroMQو ….
طراحی و مدیریت جستجو و Index گذاری با elasticserach، SolR و ….
مدیریت Log File ها با Fluentd، Logstash، ELK و ….
اسلاید 14 :
کاربردهای مه داده
یکی از مهمترین کارکردهای فناوری های Big Data، افزایش ضریب هوشمندی بنگاههای اقتصادی است. این فناوریها بعد از تغذیه، گردآوری و پردازش دادهها، اقدام به تحلیلهای هوشمند دادهها با هدف بهرهبرداری در هوش تجاری (هوشمندی کسبوکار) سازمان، دادهکاوی و یادگیری ماشین، میکنند. این موارد میتوانند سازمانها، سیستمهای اطلاعاتی و تصمیمات آن را با شرایط پیرامونی تطبیقپذیر (Adaptive) و پیشدستانه (Proactive) نماید.
اسلاید 15 :
چه صنایعی از بیگ دیتا استفاده میکنند؟
صنعت بانکداری، بورس و اوراق بهادار
صنعت بیمه
تجارت خرده فروشی و عمده فروشی
بنگاههای خدماتی
ارائهدهندگان خدمات بهداشتی، درمانی و سلامت
صنایع مخابرات، ارتباطات و اپراتورهای مخابراتی
صنعت رسانهها و سرگرمی
بنگاههای آموزشی
صنایع تولیدی و پخش
دولت و خدمات دولتی
صنعت حملونقل
صنایع انرژی، آب، برق و گاز
اسلاید 16 :
اهداف استفاده از Big Data
متمایز شدن از رقبا
به دست آوردن سهم بازار بیشتر
افزایش درآمد
درک بهتر مشتریان
سودآوری از طریق سرویسهای جدید نوآورانه
اسلاید 17 :
بهرهگیری از مزایای Big Data
تحویل سرویسهای هوشمندتری که منابع درآمدی جدیدی را تولید میکنند
تحول در عملیات برای دستیابی به برتری تجاری و سرویسدهی
ساخت زیرساختهای هوشمندتر برای هدایت و تقویت سازگاری و کیفیت تجربه مشتری
اسلاید 18 :
برخی از کاربردهای دادههای عظیم در صنایع:
تمرکز ویژه بر هر مشتری و خصوصیسازی خدمات هر مشتری، تحلیل ریسک اعتباری، تشخیص تقلب، تحلیل پورتفولیو، تحلیل ریزش مشتریان، تحلیلهای سودآوری، تحلیل احساسات مشتریان، سیستمهای پیشنهاد خدمات و محصولات و…
پیشبینی رفتار مشتریان، پیشبینی الگوهایی خرید و مصرف، اعتبارسنجی مشتریان، تحلیل ریزش مشتریان، تحلیلهای سودآوری، سیستمهای پیشنهاد خدمات و محصولات و …
طراحی و تحلیل پورتفلیو، تحلیل ریسک ، اعتبارسنجی مشتریان و تحلیل ریزش مشتریان و…
خردهفروشی
بانکداری و خدمات مالی
صنعت بیمه
مکانیابی و برنامهریزی دقیق سیر و سفر، ردیابی و بهینهسازی مسیرها، تعمیرات پیشگویانه، بهینهسازی مصرف سوخت، مصورسازی مسیرها و عملیات، کاهش آلودگی و پاکسازی محیط زیست، خدمات ارزش افزوده و…
صنعت حملونقل
اسلاید 19 :
Attachment #2
برخی از کاربردهای دادههای عظیم در صنایع
ارائه مرکز تماس پیشدستانه (Pro-active Call Center)، کمپینهای هوشمندتر (Smarter Campaigns)، تحلیل شبکه (Network analytics)، سرویسهای مبتنی بر مکان (Location-based Services) ، تحلیل ریسک اعتباری، تشخیص تقلب، تحلیل ریزش مشتریان، تحلیلهای سودآوری، تحلیل احساسات مشتریان، سیستمهای پیشنهاد خدمات و محصولات و…
صنایع مخابرات، ارتباطات و اپراتورهای مخابراتی
ارائهدهندگان خدمات بهداشتی، درمانی و سلامت
تعیین نوع رفتاردرمانی با بیماران، پیشگویی میزان موفقیت اعمال جراحی، تعیین میزان موفقیت روشهای درمانی در برخورد با بیماریهای سخت و خاص، تشخیص بیماریها بر اساس انواع اطلاعات (تصاویر پزشکی، مشخصات بیمار احتمالی)، تأثیر داروها بر روند بهبودی بیماران و بررسی الگوهای مختلف ایجادکننده امراض در افراد، کشف تقلب و تخلفات پزشکی، تحلیل سودآوری و…
