پاورپوینت مدل محاسباتی نورال بیس تولید و درک گفتار

بخشی از پاورپوینت

اسلاید 1 :

به نام خدا

سمینار درس مدلسازی سیستم های بیولوژیکی:

مدل محاسباتی نورال بیس تولید و درک گفتار

اسلاید 2 :

فهرست مطالب
مقدمه
ساختار مدل : بخش تولید گفتار
بخش درک گفتار
مقایسه با مدل DIVA
به دست آوردن اطلاعات گفتار: Babbling
Imitation
نتیجه گیری

اسلاید 3 :

مقدمه
محدودیت عملکرد سیستم های بازشناسی و تلفیق گفتار فعلی
عدم توجه به مراحل پردازش عصبی تولید و درک گفتار
هدف این مطالعه: ارائه یک مدل عصبی پیاده سازی شده کامپیوتری با استفاده از شبکه عصبی ، دارای قابلیت تقلید از پردازش های تولید و درک گفتار انسان

اسلاید 4 :

ساختار مدل محاسباتی نورال بیس

اسلاید 5 :

بخش تولید گفتار
phonemic map - Phonetic map –
motor plan map - primary
motor map - articulation

اسلاید 6 :

برای سیلاب تکرار شونده حالت phonemic باعث فعالیت یک نرون در نقشه phonetic می شود.
فعال شدن حالت های حسی auditory و somatosensory و حالت طرح حرکت(motor plan) بواسطه نقشه phonetic
برای سیلاب غیر تکرار شونده، ابتدا طراحی حرکت و سپس motor plan

اسلاید 7 :

Motor plan هماهنگی زمانی حرکت آرتیکولاتورها
Motor execution کنترل و تصحیح طرح حرکت بوسیله فیدبکهای دریافتی
Primary motor map تشخیص واقعی
هر حرکت گفتار
فعال کردن واحدهای موتوری و حرکت آرتیکولاتور

اسلاید 8 :

مقایسه فیدبک auditory و somatosensoryآیتم گفتارتولید شده با حالت auditory و somatosensory آموزش دیده
تصحیح motor plan
سه پارامتر v : high-low, front-back, rounded-unrounded
چهار پارامتر c : labial, apical, dorsal, exact closing position
11 نرون برای نقشه motor plan
110 نرون برای Primary motor map
11 نرون برای نقشه auditory
38 نرون برای نقشه somatosensory
ساختار مدل محاسباتی نورال بیس

اسلاید 9 :

بخش درک گفتار
Auditory receptors –
auditory map-
phonetic map - phonemic map

اسلاید 10 :

مقایسه مدل پیشنهادی با مدل DIVA  (Directions Into Velocities of Articulators)
شباهت ها:
مسیرهای کنترلی feedback و feedforward
شبکه های SOM
روش آموزش babblingو imitation
تفاوتها:
ادغام motor planning و motor execution
نقشه phonetic
DIVA: مدل تولید گفتار

اسلاید 11 :

به دست آوردن اطلاعات گفتار
اطلاعات در نگاشت ها به صورت مقادیر وزنی اتصالات نرون ها است که در طول آموزش تنظیم می شوند.
دو مرحله آموزش:
Babbling
Imitation

اسلاید 12 :

Babbling training
بررسی آیتم های گفتار بدون در نظر گرفتن زبان شناسی آنها
تولید رندوم آیتم های گفتار
گوش دادن به آیتم ها از طریق فیدبک auditiry
تنظیم وزن های بین نقشه های حسی و motor plan بوسیله نقشه phonetic
اطلاعات مستقل از زبان
یادگیری رابطه حسی- حرکتی مجرای صوتی و کنترل عصبی آن یعنی رابطه بین حالت های motor plan و حالت های auditory و somatosensory

اسلاید 13 :

شامل دو آموزش حالت های vocalic و syllabic
مجموعه آموزشی vocalic شامل 1076 حالت
مجموعه آموزشی syllabic شامل 279 آیتم آموزشی
حالات حرکتی برای VC و CV بر اساس پارامترهای زیر تعیین می شود.:
دو پارامتر vocalic
حرکات آرتیکولاتور
موقعیت بسته شدن در حروف بی صدا

اسلاید 14 :

استفاده از شبکه خود سامانده
تنظیم وزن ها بین نرون های لایه جانبی و نرون لایه مرکزی به روش Hebbian

اسلاید 15 :

Motor plan and auditory link weight values after babbling and imitation training
phonetic map (15*15 neurons)

اسلاید 16 :

Imitation training
تنظیم وزن های بین نقشه phonetic وphonemic
اطلاعات به دست آمده از imitation وابسته به زبان است.
مدل در طول آموزش یاد می گیرد که نرون هایی با ویژگی های phonemic متفاوت را به حالت های حسی متناسب آنها وصل کند.
Phone region: نرونی در این ناحیه قرار دارد که مقدار
وزنی اتصال آن با نرون متناظر در نقشه phonemic ، بالای 0.95 باشد.
پردازش آیتم آکوستیک خارجی
تخمین motor plan
Positions of all auditory patterns of vocalic training

اسلاید 17 :

identificationand discrimination test
آموزش 20 مدل مختلف
20 شنونده مجازی
Measured discrimination: تخمین فاصله نرونها در نقشه phonetic
Calculated discrimination: بر اساس احتمال شناسایی

اسلاید 18 :

identificationand discrimination test

اسلاید 19 :

با تشکراز توجه شما