بخشی از پاورپوینت
اسلاید 1 :
بسم الله الرحمن الرحیم
موضوع : سیستم خبره دستگاه Kinect
اسلاید 2 :
KINECT
کینکت برای ایکس باکس ۳۶۰ ( به انگلیسی: Kinect for Xbox 360 )یا به طور ساده کینکت که به طور کلی نام پروژهاش پروژه ناتال ( به انگلیسی: Project Natal ) نام داشته نام وسیله ایست که منجر به استفاده از بازیهای رایانهای بدون استفاده از هیچگونه کنترلگری میشود. البته تنها استفاده آن در مورد بازیهای رایانهای نبوده بلکه میتوان از آن در تمامی موارد سرگرمی همانند تماشای فیلم و گوش دادن به موسیقی استفاده نمود. این وسیله توسط شرکت آمریکایی مایکروسافت ساخته شدهاست و بر روی دستگاه بازی ایکس باکس ۳۶۰ قابل استفادهاست.
اسلاید 3 :
Kinect چطور کار می کند ؟
Kinect دارای یک دوربین RGB، یک سنسور تشخیص عمق که حرکت شما را تشخیص می دهد و یک میکروفن است. Kinect موقعیت 48 نقطه کلیدی در اناتومی بدن را می سنجد و با تشخیص و دنبال کردن حرکات این نقاط، موقعیت دقیق بدن انسان را بدست می آورد. علاوه بر این به کمک سنسور تشخیص عمق و دوربین RGB موقعیت بصورت سه بعدی بدست می آید.
به کمک میکروفن داخلی Kinect دستورات صوتی نیز قابل پردازش خواهند بود و بعنوان مثال شما می توانید کنسول Xbox 360 خود را با دستورات صوتی هدایت کنید.
اسلاید 5 :
آیا کینکت یک دوربین است؟
اگر به طور ساده به کینکت نگاه کنیم این دستگاه می تواند یک دوربین باشد که برای کنسول بازی اکس باکس طراحی شده است و مانند یک وب کم که به کامپیوتر متصل می گردد کینکت نیز به کنسول بازی اکس باکس متصل می شود اما با توجه به کلیه قابلیت های کینکت امروزه این دستگاه کاربرد های وسیعی تری پیدا کرده است.
کینکت از اشعه مادون قرمز برای چه منظوری استفاده می کند؟
کینکت از اشعه مادون قرمز برای ردیابی حرکات استفاده می کند به همین خاطر این دستگاه از وب کمی که برای کامپیوتر تان می خرید کمی باهوش تر است. این دوربین گستره دید وسیعی دارد و وقتی آن را بالای نمایش گر قرار می دهید بیشتر محیط اتاق را می بیند. با استفاده از قابلیت های اشعه مادون قرمز و نرم افزارهایی که برا ی آن طراحی شده است می تواند شما را به همراه ۴۸ نقطه مختلف از بدن شناسایی نموده و حرکات را تشخیص بدهد تا با حرکت دادن بدن بتوانید بازی کنید.
اسلاید 6 :
کینکت فقط دوربین مادون قرمز نیست!
درون حسگر کینکت یک جفت میکروفن نیز تعبیه شده است بنابراین شما می توانید با آن صحبت کنید و به آن فرمان بدهید. ضمنا این دستگاه تنها شما را با امواج مادون قرمز نمی بیند بلکه دوربین کینکت می تواند به صورت رنگی نیز فیلم برداری کند و قابلیت تشخیص چهره را نیز دارد از این رو است که می تواند قیافه کاربران خودش را شناسایی کند کافی است در مقابل آن قرار بگیرید تا شما را به خاطر بیاورد و پروفایل شما را بارگذاری گردد
کینکت منو های منحصر به فرد خودش را دارد. برای اینکه کنترل صوتی اش راحت باشد مایکروسافت یک رابط کاربری جدید برای آن طراحی کرده که مجزا از رابط کنسول بازی اکس باکس است.
امکان چت ویدیویی از مزایای دیگر کینکت است. نرم افزاری شبیه اسکایپ به نام ویدیوکینکت توسط مایکروسافت ساخته شده است تا بتوانید با دوستانتان روی اکس باکس، اکانت لایو یا لایو مسنجر کنفرانس ویدیویی داشته باشید. ضمنا شما می توانید با دوستانتان از این طریق ویدیو را به طور مشترک نگاه کنید.
اسلاید 7 :
کینکت، فراتر از دنیای بازیهای رایانهای
جیمی شاتن از مرکز تحقیقات مایکروسافت در کمبریج، انگلستان میگوید : «این فناوری میتواند در سیستم امنیتی خانهها مورد استفاده قرار بگیرد. کینکت میتواند دوستان خانوادگی یا حرکت حیوانات را از یک فرد ناآشنا کاملا تشخیص بدهد. این ابزار علاوه بر این میتواند به عنوان یک سیستم نظارت از راه دور برای مراقبت از سالمندان مورد استفاده قرار گیرد یا با به کارگیری کمی اطلاعات اولیه شرایط فرد را از لحاظ حرکتی و سطح فعالیت ارزیابی کند».
« ما به یک الگوریتم برای توسعه برنامههای کاربردی کینکت نیاز داریم اما مسئله دیگری هم وجود دارد، اینکه چقدر داشتن دوربینی که روی افراد نظارت دائمی دارد از از لحاظ اجتماعی قابلقبول است».
اسلاید 8 :
با دقتی در حد میلیمتر
الگوریتمهای شناسایی بخشهای گوناگون بدن فرد و حرکات آنها در کینکت به کمک میلیونها تصویر واقعی و کامپیوتری بهبود پیدا کرده اند. تمرکز فعلی این الگوریتمها روی حرکات و اجزایی از بدن است که بیشتر در بازیها کاربرد دارند اما این الگوریتمها قابلیت شناخت وضعیتهای جدید و حرکات تازه را نیز دارند.
شاتن میگوید: «این ابزار امکان دستیابی توسعهدهندگان را به 20 مفصل اسکلتی در حالت سهبعدی فراهم میکند که میتواند برای هر یک وضعیتها یا حرکات گوناگونی تعریف شود».
کیفیت دوربین فعلی و محدودیتهای سخت افزاری دقت کینکت را محدود کردهاند اما شاتن امیدوراست با بهبود دوربینها و ابزارهای محاسباتی دقت تشخیص حرکتی کینکت به حد میلیمتر برسد و این ابزار بتواند موارد استفاده بیشتری را به خود اختصاص دهد. مطمئنا نمیشود اهمیت وضوح بالاتر را در چنین ابزار کنترلی زمانی که برای انجام کارهای حساس به کار گرفته میشود، نادیده گرفت.
جان اندرکافلر، محقق ارشد ابلانگ اینداستریز میگوید: «زمانی که فضا تبدیل به واسط کاربری میشود، هر حرکت کوچکی حائز اهمیت است». او معتقد است کینکت را میتوان بخشی از کامپیوترهای آینده به شمار آورد. رایانههایی که قادر به درک انسان و واکنش متقابل هستند. آنها میتوانند به خلق پروژههای حقیقییی در دنیای مجازی کمک کنند که هزاران انسان تنها با به کارگیری دستهایشان در آن مشارکت خواهند داشت، به کمک آنها کنترلها را کنار خواهیم گذاشت و بدون آسیبهای بدنی ناشی از کاربرد صفحه کلیدها و ماوسها به درک تازهای از فناوری خواهیم رسید.
اسلاید 9 :
۸ کاربرد برای کینکت
1 ـ رایانه شخصی
مایکروسافت، سازنده کنسول بازی ایکس باکس، با توجه به اهمیت ابزارهای لمسی ـ حرکتی قصد دارد برای ویندوز هم کینکت منتشر کند. نسخه کینکت ویندوز احتمالا با کینکت ایکس باکس متفاوت است و ویندوز ۸ و ابزارهای توسعه مایکروسافت مانند Net4.5 و ویژوال استودیو از آن پشتیبانی خواهند کرد. کینکت ایکس باکس می تواند حرکات را در فاصله چند متری تشخیص دهد، حال آن که کینکت رایانه شخصی به حدود ۵۰ سانتی متر محدود خواهد بود. تصور کنید چند وقت دیگر می توانید در خانه یا محل کار، حسگر کینکت را بالای نمایشگر نصب کنید، به این ترتیب در محیط نرم افزارها دیگر به موس احتیاج نخواهید داشت.
اسلاید 10 :
2 ـ اتاق جراحی
به تازگی در یکی از بیمارستانهای کانادا به نام بیمارستان سانیبروک، کینکت ایکس باکس مایکروسافت به اتاق عمل راه پیدا کرده است، البته نه برای گیم در حین عمل یا احیانا رفع سختگی پزشکان! بلکه برای کمک به آنها برای انجام اعمال جراحی.
گاهی در حین عمل جراحان نیاز پیدا میکنند که عکسهای سیتی یا MRI را مجددا مرور کنند، اما برای این کار آنها میبایست از کنار تخت جراحی دور بشوند، به اتاق مجاور بروند و تصاویر را روی کامپیوترها مشاهده کنند. برای بازگشت پای عمل جراحی، آنها مجبور میشوند که کجددا دست بشویند و همه مراحل لازم برای حفظ استریل بودن را تکرار کنند. این کارها بیست دقیقه و حتی گاهی یک ساعت بر زمان یک عمل میافزایند.اما با ابتکاری که در بیمارستان سانیبروک انجام شده است و تا به حل در شش
عمل جراحی اجرا شده است، با استفاده از کینکت جراحان میتوانند بدون ترک اتاق عمل، با یک سری فرامین حرکتی، تصاویر را روی نمایشگرهای اطراف ببینند و از تصویری به تصویر دیگر حرکت کنند و روی آنها زوم کنند. به این ترتیب تمرکز جراحان هم به هم نمیخورد.
جالب این که محققان دانشگاه علوم پزشکی مشهد نیز سامانه دسترسی به اطلاعات بیمار در حین عمل جراحی را با استفاده از فناوری کینکت طراحی کرده اند.
اسلاید 11 :
3ـ مدل سازی
چندی پیش موسسه فناوری ماساچوست(MIT) ویدئویی منتشر کرد که یکی از جالب ترین کاربردهای کینکت را نشان می داد. در این پروژه که INFORM نامیده شده، وقتی فرد دست های خود را حرکت می دهد، دوربین کینکت اطلاعات را به یک صفحه متحرک می فرستد و ستون های مربع تعبیه شده در آن همراه با حرکات بالا و پایین می شوند.
این ویدئو نشان می دهد ستون های متحرک می توانند یک توپ را تکان دهند؛ اما این فناوری می تواند حرکت های دیگری نیز ایجاد کند. پژوهشگران MIT معتقدند این فناوری می تواند کاربردهای عملی مانند اطلاعات مکانی ـ جغرافیایی از جمله نقشه، سیستم اطلاعاتی جغرافیایی GIS، مدل های زمینی و مدل های مهندسی داشته باشد.
4 ـ کنفرانس مجازی در خانه بنشینید و آواتارتان را به جلسات بفرستید. آواتار تصویری است که کاربران در اینترنت و بویژه تالار گفت وگو به عنوان نماد کاربری خود استفاده می کنند. کینکت حرکات و رفتارتان را شناسایی و آنها را به آواتار شما منتقل می کند. به این ترتیب شما در خانه یا هر جای دیگر می توانید جلسه تان برگزار کنید.
یک استفاده دیگر از فناوری کنفرانس ویدئویی کینکت، گفت وگوی تصویری با بیمارانی است که نمی توانند به کلینیک های پزشکی مراجعه کنند. در این پروژه، پزشکان به جای تصویر ویدئویی واقعی بیماران، آواتارهای کارتونی آنها را که شبیه آواتارهای ایکس باکس لایو هستند، مشاهده می کنند. با این حال پزشکان می توانند بیماری آنها را تشخیص دهند و از راه دور اقدامات و داروهای لازم را تجویز کنند.
اسلاید 12 :
5 ـ هوا فضا
حتما نام کیوریاسیتی، آخرین مریخ نورد ناسا را شنیده اید. نام عملیات فرود روی مریخ را «هفت دقیقه وحشت» گذاشته بودند، واقعا هم فرود یک ربات روی سیاره ای که ۵۳ میلیون کیلومتر از زمین فاصله دارد، وحشتناک است. اگر کوچک ترین اشکالی در فرود روی می داد، کیوریاسیتی ممکن بود بسوزد یا با برخورد به سطح مریخ متلاشی شود و حاصل ماه ها تلاش و برنامه ریزی به باد برود. بنابراین ناسا هم دست به دامن کینکت مایکروسافت شد. یک برنامه شبیه سازی شده از فرود هشت دقیقه ای کیوریاسیتی ساخته شد که کنترل آن به طور کامل توسط کینکت انجام می شد. ناسا بارها این پروژه را امتحان کرد تا بتواند بهترین عکس العمل ممکن را برای پایان دادن به مسافرت هشت ماهه کیوریاسیتی به دست آورد. این طرح مشترک ناسا و مایکروسافت، Mars Rover Landing نام گرفت و اکنون به عنوان یک بازی در اختیار کاربران ایکس باکس قرار دارد.
6 ـ خودروها
کسی چه می داند شاید مدتی دیگر سوار خودرو هایی شویم که با حرکت بدن، دست و صورت راننده حرکت می کنند. شواهد نشان می دهد که مایکروسافت در حال آماده سازی فناوری خود برای شرکت های بزرگ خودروسازی همچون فورد، فیات و کیاست. حسگر حرکتی در این خودروها به قدری هوشمند خواهد بود که راننده را تشخیص داده و با بهره گیری از تکنیک های پیشرفته واکاوی داده، راهکارهای جدیدی را برای هدایت خودرو و تعیین شرایط فعلی آن ارائه می کند.
به همین منظور مایکروسافت سال پیش در نمایشگاه سالانه دیترویت آمریکا از یک ماشین مفهومی پرده برداشت. این ماشین از فناوری کینکت، ایکس باکس ۳۶۰، ویندوزفون، موتور جستجوی بینگ و. استفاده می کند. در بین خصوصیات این خودرو می توان به وجود دوربین های کینکت در چراغ عقب اشاره کرد که تصویری زنده از محیط پیرامونی خودرو را به راننده ارائه می کند. احتمالا در آینده خودرو ها آنقدر پیشرفته می شود که دیگر حواس راننده به رانندگی نخواهد بود.
اسلاید 13 :
7 ـ رباتیک
یک ویژگی اساسی ربات ها، توانایی تعامل با محیط اطراف است و معمولا با کمک حسگرها محیط اطراف را درک می کنند. حسگر کینکت نیز امکان دید سه بعدی را برای ربات فراهم می کند، به همین دلیل دانشمندان از کینکت به عنوان چشم ربات استفاده کرده اند. با استفاده از حسگر کینکت و با کمک نرم افزارهای پردازش تصویر و صدا می توان یک ربات را به چشم و گوش مجهز کرد.
تاکنون ربات های متعددی با بهره گیری از فناوری کینکت ساخته شده است. به عنوان مثال در یک طرح تحقیقاتی در زوریخ یک ربات پرنده با کمک کینکت توسط حرکات بدن کنترل می شود. شرکتی دیگر، یک ربات خانه دار به نام اسمارت پال VII ساخته که با استفاده از فناوری کینکت از حرکت اندام کاربران خود تقلید می کند. این ربات برای سالمندان و افراد ناتوان طراحی شده تا با کمک آن به وظایف روزمره خود بپردازند و اشیا را براحتی جابه جا کنند.
8 ـ ترجمه زبان ناشنوایان
پژوهشگران چینی به قابلیت های حسگر حرکت کینکت، زبان اشاره را نیز افزوده اند. دانشمندان پژوهشگاه مایکروسافت آسیا بتازگی نرم افزاری را معرفی کرده اند که با استفاده از فناوری کینکت و پیگیری حرکت دست، زبان اشاره را می خواند. سیستم مترجم زبان اشاره کینکت می تواند مکالمه را از دو طرف ثبت کند. فرد ناشنوا با زبان اشاره صحبت می کند و ترجمه کتبی و شفاهی آن بلافاصله ارائه می شود. از سوی دیگر، این سیستم سخنان فرد شنوا را نیز ثبت و آنها را به زبان اشاره تبدیل می کند. این پروژه نتیجه همکاری آکادمی علوم چین، دانشگاه اتحاد پکن و پژوهشگاه مایکروسافت آسیا بوده است .
اسلاید 14 :
کینکت در مرزهای کره نگهبانی می دهد
سنسور حرکتی کینکت هم اکنون توسط ارتش کُره جنوبی برای امور امنیتی در منطقه غیر نظامی حائل دو کُره بکار می رود، این امکان توسط برنامه نویسان کره ای فراهم گشته است.
محوطه ای به عمق چهار کیلومتر و با طول 248 کیلومتر خالی از سکنه که توسط موانع نظامی و مین های زمینی حفاظت می شود بعد از جدایی دو کره که از نظر فنی هنوز در جنگ هستند، باقی مانده و توسط دو کشور به شدت زیر نظر می باشد. از دید نظامی این منطقه در حقیقت گروگان جنگ سرد است اما جالب است که این منطقه حفاظت شده تصادفا یکی از بهترین پارکهای حیات وحش زمین می باشد.
برنامه نویسان که روی کینکت کار می کردند توسط ارتش کره بکار گرفته شدند تا به آنها در تشخیص انسان و حیوان کمک کنند، یکی از برنامه نویسان می گوید، دستگاه آنها صدا، حرکت و جهت حرکت هرکس یا چیزی که در منطقه حفاظت شده حرکت کند را تشخیص داده و گارد مرزی کره جنوبی را با خبر می سازد.
سنسورهایی که در حال حاظر بین مرز کار گذاشته شده اند هم بسیار کارا و دقیق هستند اما نمی توانند فرق بین انسان و حیوان را تشخیص دهند در نتیجه اطلاعات غلطی به مرزبانان ارسال می کند، اما با استفاده از سیستم کینکت محور، انسان از حیوان و حتی انواع حیوانات از هم قابل تشخیص هستند.
ارتش کره اعلام کرده در سیستم فراگیر خود که سال دیگر راه اندازی می شود قصد دارد از نسل جدید کینکت مایکروسافت که برای ایکس باکس وان طراحی شده استفاده کند که می تواند ضربان قلب و دمای بدن را هم زیر نظر داشته باشد.
اسلاید 15 :
آنالیز سنسور کینکت
کینکت دارای دو سنسور برای دریافت تصاویر رنگی و مادون قرمز و یک پروژکتور امواج مادون قرمز است. اندازه ی تصاویر رنگی گرفته شده 640 در 480 پیکسل و تصاویر عمق 1280 در 1024 پیکسل است. البته به دلیل محدودیت پهنای باند کابل USB اندازه ی تصاویر عمق نیز تبدیل به 640 در 480 پیکسل می شود.
تصاویر رنگی و عمق تا سرعت 30 فریم در ثانیه قابل ضبط هستند. محدوده ی عملیاتی عمق برای سنسور کینکت 0.5 تا 5 متر است.
نحوه ی بدست آوردن عمق
توسط پروژکتور مادون قرمز، الگوی ثابتی از نقاط بر روی محیط تابانده می شود. سپس دوربین مادون قرمز، الگوی منتشر شده را دریافت کرده و با یک الگوی مرجع که در زمان ساخت در حافظه ی کینکت ذخیره شده است، مقایسه می شود. الگوی مرجع با گرفتن یک plane از فاصله ی معلوم نسبت به سنسور بدست آمده است.
هنگامی که نقطات بر روی جسم تابانده می شوند، با توجه به اینکه فاصله ی آن جسم از سنسور نسبت به تصویر مرجع کمتر/بیشتر است، در تصویر مادون قرمز، محل هر نقطه، کمی با نقطه ی مرجع فاصله دارد. این فاصله برای همه ی نقاط حساب می شود تا تصویر تفاضل یا disparity بدست آید. سپس از طریق روابط هندسی و مدل ریاضی، فاصله ی هر نقطه از جسم تا سنسور محاسبه می شود. در شکل زیر این مسئله نشان داده شده است.
اسلاید 17 :
کالیبراسیون
در سنسور کینکت پارامترهای زیر نیاز به کالیبره شدن دارند:
فاصله ی کانونی (f)
انحراف نقاط اصلی (x0,y0)
ضرایب اعوجاج لنز (δx,δy)
فاصله ی پروژکتور و سنسور (b)
فاصله ی الگوی اصلی (Z0)
از این میان، سه پارامتر اول از طریق کالیبراسیون استاندارد دوربین مادون قرمز بدست می آیند. Z0 و b را نمی توان بطور جداگانه بدست آورد. برای بدست آوردن آنها بصورت زیر عمل می شود:
ابتدا مقادیر خام disparity بین صفر و 2047 نرمالیزه می شوند و بصورت اعداد 11 بیتی در می آیند. بنابراین در فرمول شکل زیر باید d با md'+n جایگزین شود که 'd همان disparity نرمال شده و m و n پارامترهای نرمال سازی خطی هستند. در نهایت با ساده سازی فرمول، به رابطه ی زیر خواهیم رسید.
در رابطه ی 1، مشاهده می شود که یک رابطه ی خطی بین معکوس فاصله ی یک نقطه و disparity نرمال شده ی آن وجود دارد. با مشاهده ی disparity نرمال شده ی تعداد از نقاط جسم در فاصله ی مشخص، می توان ضرایب رابطه ی خطی بالا را تخمین زد.
اسلاید 18 :
داده های عمق در کنار RGB
برای اینکه نگاشتی بین پیکسل های داده های عمق و RGB بدست آوریم، باید به موارد زیر توجه کنیم:
چرخش دوربین RGB نسبت به دستگاه مختصات عمق (مرکز دید دوربین مادون قرمز). پارامترهای چرخش را می توانیم با کالیبراسیون استریوی دو دوربین تخمین بزنیم.
چرخش بین دستگاه مختصات دو دوربین
چرخش بین موقعیت فضایی مرکز دید دو دوربین
انحرافات درونی دوربین RGB: فاصله ی کانونی، انحراف نقاط اصلی، اعوجاج لنز
اسلاید 19 :
چگونگی شناسایی افراد توسط کینکت 1- خوب شما باید کینکت رو در جای مناسبی قرار بدید که هم به محیط مشرف باشه و هم نیفته.
اسلاید 20 :
2- حال کینکت از شما تست هایی خواهد گرفت که برای هماهنگی کینکت است. اولین تست آنالیز کردن شما
