بخشی از مقاله
بررسي شبکه هاي عصبي مبتني بر سري هاي زماني، در مديريت کشف تقلب در شبکه هاي مخابراتيNGN
چکيده
مديريت تقلب تمام جنبه هاي تشخيص ، بررسي و مديريتي از شبکه ها را در برمي گيرد .براي کشف بهتر تقلب در شبکه مخابراتي ، ميتوان شبکه هاي عصبي مختلف را بررسي کرد .ما LSTM RNNS WITH FORGET GATES (شبکه عصبي بازرخداد حافظه طولاني -کوتاه مدت با گيت هاي صرفنظرشده ) را براي کشف تقلب در شبکه هاي مخابرات اعمال کرديم چراکه رکورد داده ي تماس برچسب نخورده اعمال نشده اند. نتايج موجه بودن LSTM RNN را براي تشخيص غيرنظارتي رکوردهاي داده ي تماس نشان مي دهد.LSTM انواع توالي هاي گذرا را تشخيص و بر اساس ويژگي هاي متعددي گروهبندي ميکند.
واژگان کليدي
شبکه عصبي باز رخداد(RNN)-شبکه عصبي بازرخداد حافظه طولاني وکوتاه مدت با گيت هاي صرفنظر شده ( LSTM RNNS WithForget Gates)-عملکرد چرخ و فلکي خطاي ثابت (CEC)–شبکه هاي نسل آينده (NGN)
١-مقدمه
تقلب منبع مهمي در از دست دادن درآمد براي صنعت مخابرات است ؛ علاوه براين ، سطح اعتماد مشتريان به امنيت معاملات انجام شده توسط اپراتور را پايين مي آورد. تقلب مخابراتي زماني اتفاق مي افتد که يک متقلب با فريبکاري از سرويس هاي تلفني به طور رايگان يا با نرخ پايين تر استفاده مي کند.[١]. مثال هاي عمومي تقلب در صنعت مخابرات عبارتند از تقلب حق اشتراک، سرقت هويت ، تقلب صوتي روي پروتکل اينترنتي (VoIP) ، توليد مثل خطوط موبايل ، تقلب صورتحساب و پرداخت در حساب هاي مخابراتي، تقلب هاي پيش پرداخت و پرداخت در آينده و تقلب [2].PBX
ما به دنبال ارائه الگوريتمي هستيم که تشخيص خوبي در قالب مدلسازي سري طولاني مدت غيرنظارتي , جهت کشف تماس ها با انحراف و خطا را انجام دهد و ويژگي هاي برجسته ي تماس را از روي رکوردهاي جزئيات تماس مشخص کند تا بتوانيم مصارف غيرمعمول سرويس هاي شبکه ي تلفن موبايل را شناسايي کنيم .تفسير کردن داده ها با شيوه ي کلاستر بندي يا گروه بندي کردن الگوهاي مشابه ، مي تواند در جدا کردن رفتارهاي تماس مشکوک در شبکه ي مخابرات موبايل مؤثر باشد.[٣]
در اين مقاله بينشي در مورد روش هاي مختلف مدلسازي سري زماني فراهم مي کنيم و انگيزه ي کافي را در خواننده ايجاد مي نماييم تا ازLSTMRNNها( شبکه عصبي بازرخداد حافظه طولاني وکوتاه مدت ) به عنوان راه حلي براي مسئله ي بيان شده استفاده کند. بقيه ي مطالب اين مقاله به اين صورت مرتب شده اند. درقسمت دوم انواع مدل سازي سري هاي زماني با شبکه هاي عصبي و ضعف آنها در مساله کشف تقلب را بيان ميکنيم .در قسمت سوم مشکل گراديان کاهش يافته را بيان ميکنيم و راههاي مقابله با آن را بيان ميکنيم .در قسمت چهارم :شبکه عصبي بازرخداد حافظه طولاني وکوتاه مدت براي کشف تقلب را بررسي ميکنيم .در قسمت پنجم يادگبري در LSTM را مورد بحث قرار ميدهيم . در قسمت شش به آزمايش اين وتحليل آن ميپردازيم و در قسمت هفت نتيجه گيري خود از بکاربردن اين آزمايش را بيان ميکنيم .
٢-مدل سازي سري زماني با شبکه هاي عصبي مصنوعي
شبکه هاي عصبي يک تکنيک هوش مصنوعي هستندو بر اساس اين واقعيت که اقدام براي تقلب باعث نمايش داده شدن تفاوت هاي قابل ملاحظه اي در رفتار فعلي با رفتار قانوني پيشين مي شود .[٦]شکل ميگير..هر کاري که نيازمند اين است که چگونه حافظه را مورد استفاده قرار دهد و سايز آن را تعيين کند يک کار بالقوه براي شبکه عصبي ميباشد.زمينه هاي کاربرد بالقوه در شبکه عصبي شامل پيش بيني سري هاي زماني است . [٥]در زمينه کشف تقلب نيازمند مدل سازي پروسه هاي زماني از طريق شبکه عصبي هستيم .در ادامه نگاهي کوتاه به انواع شبکه هاي عصبي در مدل سازي سري هاي زماني و ضعف آنها مي اندازيم . از انواع اين شبکه ها ميتوان به موارد زير اشاره کرد: شبکه هاي عصبي تغذيه پيشرفته (FNN):اين شبکه داراي يک ساختار لايه اي است . هر لايه شامل پردازش کردن واحد ها (يا نرون ) مي باشد . لايه ها به صورت خطي با ارتباط و پيوند هاي وزني بين هر لايه مرتب و تنظيم شده اما از آنجايي که ابزارهاي يادگيري استاتيک هستندداراي يک توانايي محدود براي کار با وروديهاي متغير زمان هستند. و تنها براي کار با مسائل سري هاي زماني به صورت موقت و محدود خود را تطبيق ميدهند.[٧]
شبکه هاي عصبي تاخير زمان (TDNN):از تاخيرهاي زمان براي انجام پردازش موقتي استفاده مي کند. ، هدف در اينجا ,ساختار داشتن يک شبکه است که شامل مفهوم هاي از زمان است که قادر است سري هاي زماني را ايجاد نمايد اما به دليل ناتواني آن در يادگيري و يا اتخاذ کردن مقادير تاخيرهاي زماني ميباشد.اين مقادير در ابتدا ثابت مانده و با گذشت زمان در کل پروسه آموزش به همان صورت باقي ميمانند.در نتيجه سيستم ممکن است به دليل عدم انعطاف پذيري در تاخير هاي زماني, و با توجه بهعدم تطابقبينانتخاب مقاديرتاخيرزمان ومحدوده موقتي از اطلاعاتبرجسته در الگوهاي ورودي عملکرد ضعيفي از خود نشان ميدهد.
شبکه هاي عصبي دوس ويه (A Bi-Directional):اين مدل از شبکه شامل دو زير شبکه به صورت دستي متصل شده است [٩] که به طور مستقيم کار ميکنند و انتقال سيگنال را به صورت دو سويه معکوس ميکنند[٨]،ضعف اين نوع شبکه عصبي به اين صورت است که :در حالي که تاخير خروجي توسط برخي فريم ها انجام ميشود , بهبود نتايج به تاخير بهينه کار وابسته است و بايد خطا به خوبي مشخص شود ,که در اين شبکه کاري مشکل است [٤][١٠]
شبکه عصبي باز رخداد(RNN):اين شبکه ها در سه ساختار مختلف قرار ميگيرند. :ELMANارتباط بازخورد بين نرون ها مخفي وجود دارد و اين نرون هاي پنهان براي يادگيري يک وضعيت پنهان سيستم پويايي که مدل سازي شده است استفاده گرديده است .JARDANارتباط بازخورد در لايه خروجي در لايه پنهان باز خورد شده اند .شبکه عصبي به طور کامل باز رخداد : ارتباط ها بين تمامي نرون ها ي شبکه وجود دارد.ضعف آن :وظايف با تاخير زمان ، بزرگتر از ٥-١١ انجام ميشود. يادگيري در مدت زمان مناسب و معقول دشوار شده است [١١].بدين جهت الگوريتم شبکه عصبي مبتني بر گراديان معمولي برا يآموزش استفاده ميشود تا در فواصل زماني طولاني اطلاعات را ذخيره کند.در اين شبکه الگوريتم هاي متداول يادگيريمبتني برگراديان است که خود شامل روش هاي انتشار قبلي از طريق زمان )bptt) است که گراديان خطا را بر روي يک RNNمحاسبه ميکندو با ايجاد يک کپي از شبکه براي هر مرحله زماني کامل ميگردد و يادگيري بازخورد زمان واقعي (rtrl) که اين الگوريتم يادگيري، مشتق وضعيت ها و خروجي ها را با در نظر گرفتن تمامي وزن ها در شبکه محاسبه ميکند .[١٢]
٣-مسئله گرادين پنهان شده : The Vanishing Gradient Problem
يک عملکرد وابستگي طولاني مدت را نشان خواهد داد که محاسبه يک سيگنال جهت آموزش در يک مرحله زماني ارائه شدهبستگي به سيگنال ورودي ايجاد شده در يک نمونه قبلي دارد ونه به نمونه بعدي.و اين بدين مفهوم است که وضعيت هاي فعال سازي موجود در شبکه بر وضعيت ها در فاصله آينده تاثيري ندارد. در شبکه هاي گفته شده به وسيله RTRL ,BPTT سيگنال خطاي رو به عقب تمايل به ناپديد شدن دارند، اولين باري که سيگنال خطا به سلول خروجي حافظه ميرسد توسط دروازه ورودي کوچک ومحو شده و تاثير آن در مراحل بعدي از بين ميرود[١٣]. لازم به ذکر است که وابستگي طولاني مدت در يادگيري شبکه رابا سختي مواجه ميسازند زيرا وزن ها به اندازه کافي تغيير نمييابند.براي مقابله با مشکل گراديان کاهش يافته ٤ روش را بيان ميکنيم .
١-از گراديان استفاده نشود.٢- اعمال گراديان بيشتر (مقدار ثابت )٣- روي مرحله بالاتر اعمال شود(عملکرد ring)4- از معماري خاصي استفاده کنيم مانند LSTM RNNS With (LONGSHORTERM MEMORY)Forget Gatesبرسي بدون گراديان : وزنهاي شبکه به طور تصادفي زماني که در شبکه ايجاد شده قادر است تا تمامي آموزشي را به طرز صحيح طبقه بندي کند
مقادير ثابت زمان : ثابت زماني بر تغييرات در عملکرد هاي واحد شبکه تاثيرگذار است .
عملکرد ring: بيان ميکند که زماني که سيگنالهاي خطي در حال کشمکش به يک واحد در يک شبکه وارد ميشوند سيگنالهاي خطاي ويژه در جهت افزايش عملکردواحد با اضافه کردن يک واحد مرتبه بالا ( بر ارتباطهاي مطلوب تاثير ميگذارند)گسترش پيدا ميکند.
استفاده ازمعماري خاص (LSTM RNNS With ForgetGates)
:ميدانيم به دليل اشکال و پيچيدگي در آموزش شبکه عصبي بازرخداد به علت اينکه پارامترهاي آنها اغلب فقط وابسته هاي کوتاه مدت را مورد محاسبه قرار داده اند ،يک ساختار RNNجديد بايک الگوريتم يادگيريخاص که براي غلبه کردن بر مسئله وابسته طولاني مدت مناسب است را بيان ميکنند.
٤-بررسي شبکه عصبي بازرخداد حافظه طولاني وکوتاه مدت براي کشف تقلب
ساختار شبکه هاي عصبي بازرخداد حافظه طولاني و کوتاه مدت (LSTMRNN) بيشتر از هر روشي که موجود است در زمينه کشف تقلب به ما ياري ميرساند .LSTM ميتواند الگوهاي موقتي تماس را با وابسته طولاني مدت که RNN هاي سنتي به سختي آن را آموزش ميبينند ، به آساني ياد بگيرد.[١٤]
هر بلوک حافظه در اين شبکه شامل يک يا بيش از يک سلول حافظه و يک جفت از واحدهاي گيت ضربي انطباقي است که ورودي و خروجي هارا به تمام سلول ها در بلوک مي رساند،بنابراين تعداد پارامترهاي انطباقي کاهش پيدا ميکند.
سلول حافظه در مرکزش يک واحد خطي خود متصل (بازرخداد دارد )که عملکرد چرخ و فلکي خطاي ثابت CEC نام دارد. CEC
يک ارتباط وزني بازرخداد ١.١ به خودش دارد. عملکرد CEC
وضعيت سلول نام دارد. زماني که واحدهاي ورودي در يک سلول يک کنش ورودي نزديک به صفر را ايجاد ميکند, هيچ ورودي نادرستي وارد نميشود و اين امر در وضعيت سلول هيچ دخالتي ندارد.معماري LSTMRNN اين امکان را فراهم ميکند تا جريان خطا در طول زمان به عقب منتشر شود.بنابراين CEC يک کنش ورودي را ايجاد ميکند که وضعيت سلول در يک نمونه داده شده را منعکس ميکند.به دليل اينکه اگر هر الگوي آموزشي داراي آغاز و پايان مشخص نباشد , مقادير وضعيت دروني يک سلول حافظه داده شده ميتواند به صورت نامحدود رشد کند و سبب گردد که شبکه بافروپاشي مواجه شود ما LSTM RNN با گيت صرفنظر شده را در جهت بهبود کارايي بررسي ميکنيم .[١٣]
LSTM RNNS With Forget Gates(شبکه عصبي بازرخداد حافظه طولاني وکوتاه مدت با گيت هاي صرفنظرشده )اين اجازه را ميدهد که بلوک هاي حافظه LSTMيادبگيرند وبياموزند که خودشان را يک مرتبه , زماني که محتواي آنها از تاريخ ميگذرند و بي استفاده و غير کاربردي است , ريست و بازيابي نمايند. بوسيله اين بازنشاني ما نه فقط يک بازيابي سريع صفر را انجام ميدهيم بلکه بازنشاني تدريجي که منطبق بر محوسازي آهسته و آرام وضعيت سلول است را نيز انجام مي دهيم .
٥- يادگيري در LSTM
LSTM RNN ها در يک الگوي يادگيري نظارت شده بر اساس BPTT کوتاه شده ويک ورژن اصلاح شده از RTRLبراي حداقل سازي يک عملکرد عيني که عملکرد شبکه را اندازه گيري ميکند[١٥] , آموزش داده ميشوند.ميدانيم که در يادگيري غير نکظارارکرت دهشاديه شهيبکچ ه هرادبيف ن و ومقشصرح ديدهودج.ولادزم ن بداه ردذکه ر اعسملکت رکده پيشرفت اين شبکه هاي نظارت نشده بايد در يک عملکرد مستقل ارزيابي گردد که از قواعد کلي کدگذاري موثر استفاده ميکند. واين حوزه ي در قالب تئوري اطلاعات بيان ميشود که ما ميتوانيم بردارهاي هدف را براي يادگيري کنترل نشده از استدلال هاي تئوريکال اطلاعات استنباط کنيم .[١٦]
بررسي عملکردهاي تئوريکال اطلاعات ، دست آوردهاي مشخصي را براي يادگيري کنترل نشده در اخيار ما قرار ميدهد که ميتواند به LSTM RNNS WITH FORGET GATESدر عمل يادگيري نظارت نشده وصل گرددو براي آن هدف تعيين کند.
مدل تئوريکال اطلاعاتي براي يادگيري نظارت نشده شامل : بهينه سازي پيدا کردن اطلاعات دودويي BINGO و بهينه سازي آنتروپي ( افت ) غير پارامتريک NEO ميباشند.
BINGO يک الگوريتم يادگيري غير نظارت شده پارامتري است که داده هاي نام گذاري نشده را با روش تفکيک کننده هاي انطباقي خطي ( بر فاصله ها بين خوشه ها تاکيد ميکند ), طبقه بندي ميکند.NEO در مقايسه با روش هاي يادگيري نظارت نشده پارامتريک ،يک قانون يادگيري تفاضلي است که آنتروپي سيگنال را توسط ارزيابي جرم و تراکم هسته محاسبه ميکند ، که موضوع بحث ما در اين مقاله ميباشد.
٦-آزمايش شبکه عصبيLSTM و بررسي نتايج
ما در آزمايش با LSTM، شبکه عصبي آموزش ديده را با تابع هدف NEO با توجه به محاسبات زير اعمال ميکنيم تخمين چگالي غيرپارامتريک و ارزيابي غيرپارامتري از آنتروپي تجربي، (دادن شکل هسته مطلوب ) خروجي شبکه عصبي yميباشند.
