بخشی از مقاله
چکیده:
پردازش زبان طبیعی NLP یکی از زیرشاخههای مهم در حوزه گسترده هوش مصنوعی و البته در دانش زبانشناسی است. در واقع پردازش زبان طبیعی شامل یک مجموعه از تکنیکهای محاسباتی برای تحلیل و نمایش زبان طبیعی و همچنین تجزیه و تحلیل آنها در یک یا چند سطح است. ما در عصر اطلاعات زندگی می کنیم به طور مداوم در معرض صفحات روزنامه ها و مجلات، بلندگوهای رادیو و صفحات کامپیوتر و تلویزیون قرار داریم. بخش اعظم اینگونه اطلاعات در قالب متون زبان طبیعی قرار دارند. حتی در محیط رایانه ها بخش عمده ای از اطلاعات که امروزه عرضه می شود در قالب متن می باشد.
چنین به نظر می رسد که رایانه شخصی در حال تبدیل شدن به ابزاری برای خلق، ذخیره و مدیریت و جستجوی اسناد متنی می باشد.نیاکان ما برای توسعه جامعه بشری هزاران سال پیش زبان طبیعی را اختراع کردند.زبانهای طبیعی نوین براساس قوانین ما در هر دوره در حال توسعه هستند متناسب با نیازهای ارتباطات انسانی برای بیان احساسات انسان، تفکر و سایر اعمال.ساختمان و کاربرد یک زبان طبیعی برپایه فرضیه ها اینگونه است که افرادی که دارای وجه مشترکی هستند همچون روشی برای بیان احساسات، استدلال و افعال تجارب و دانش شبیه به هم خود را در حین گفتگو به اشتراک می گذارند.
در دویست سال اخیر بشر به خوبی از عهده خودکار نمودن بسیاری از فعالیتها به وسیله ابزارهای مکانیکی و الکتریکی برآمده است و این ابزار ها در زندگی روزمره به خوبی در خدمت مردم هستند. در نیمه دوم قرن بیستم انسان به خودکار نمودن پردازش زبان طبیعی علاقه نشان داد. بشر امروزی نه تنها مساعدتی در مکانیک می خواست بلکه در تلاشهای فکری نیز نیازمند یاری بود. آنها ماشینی می خواستند که متن غیر آماده ای را برای آزمایش صحت و درستی آن برای اجرای دستورالعمل درون متن یا حتی درک کافی برای ایجاد پاسخی متناسب برپایه معنی. انسانها می خواهند فقط تصمیمات نهایی را نگه دارند.
مقدمه:
اساسا نیاز به پردازش متن هوشمند و خودکار ناشی از دو رویداد زیر بسته به متن تولید شده کاربرد آن در دنیای کنونی خواهد بود.میلیونها نفر در جهان با متونی سروکار دارند که در مورد آن دانایی و مطالعه کافی نداشته و یا فقط یک بار و با استانداردهای نوین پردازش متن مواجه می شوند.برای مثال یک منشی در یک مجموعه اداری نمی تواند هر بار صدها قانون مورد نیاز برای نوشتن یک نامه تجاری خوب به شرکت دیگر را رعایت کند خصوصا زمانی که او نویسنده ای در حد زبان بومی خودش نیست.
خیلی راحت تر است که رایانه فقط یک بار این کار را بیاموزیم به جای اینکه مکررا از هر نسل از کاربران رایانه بخواهیم که این کار را خودشان انجام دهند.در بسیاری موارد برای مطلع ساختن یا یافتن اطلاعات یکی از نیازهای خواندن ، فهمیدن و دست یافتن به میزانی از متن هزاران مرتبه بشتر از آنچه یک فرددر طول زندگی خود قادر به خواندن آن است. زبان شناسی عمومی یک دانش بنیادین است که به وسیله برخی پژوهشگران در طول دو قرن اخیر گسترش یافته و عموما برپایه روشها و نتایج دستورنویسان دوران قدیم تر با شروع دوره عهد باستان بنا شده است.بسیاری از نظریات کاربردی زبان شناسی عمومی مستقیما از زبانشناسی تطبیقی گرفته شده است.
از زمان فردینان دوسوسور تاریخ زبان که در آن هنگام در زمانی زبان - تحلیل و ریشه یابی زبان - نامیده می شده است. درمقابل همزمانی زبان تنها واجشناسی زبانهای طبیعی نوین سروکار داشته است. بنابراین زبانشناسی در زمانی تغییرات زبان را در محور زمان توصیف می کند.برای مثال زبان شناسی تاریخی کشف کرد که تمامی زبانهای رومانیایی - اسپانیایی ، ایتالیایی، فرانسه ، پرتقالی، رومانیایی و چندین زبان دیگر - از زبان لاتین گرفته شده اند و همه زبانهای خانواده ژرمنی - ژرمنی، هلندی، انگلیسی، سوئدی و چند زبان دیگر - ریشه در زبان مشترک دارند که وقتی گونه ژرمنی فاقد خط بوده به این زبان تکلم می کرده است.
تاریخی مشابه برای سایر زبانهای خانواده بزرگ اروپایی یعنی خانواده زبانهای اسلوانیایی شامل - روسی، مهستانی، چک، کراواتی، بلغاری و امثال آن - کشف شد.مطالعات تطبیقی مشخص ساخت بسیاری از واژگان مشترک و ساختارها در خانواده های مورد اشاره - ارومانیایی، ژرمنی و اسلوانیایی - تقسیمات جداگانه ای داشته اند.در همان زمان تعدادی واژه مشابه در بین این خانواده ها مشاهده شد. این یافته در نهایت منجر به این نتیجه شد که زبانهای مورد اشاره متعلق به اجتماع وسیعی از زبانها هستند که زبانهای هند و اروپایی نامیده می شود.
چندین هزار سال پیش اجداد افرادی که امروزه به زبانهای رومانیایی ژرمنی و اسلوانیایی سخن می گویند احتمالا به گونه ای از یک نژاد مشترک یا نژاد مرتبط باهم تعلق داشته اند. در همان زمان زبان شناسی تاریخی فرصتی برای طرح این موضوع یافت که چرا زبان انگلیسی دارای واژگان مشترک بسیاری با خانواده زبانهای رومانیایی داشته و یا چرا زبانهای رومانیایی واژگان اسلونیایی پر تعدادی را درخود جای داده است - این موضوع به مساله لغات قرضی اشاره دارد - زبانشناسی تطبیقی اجازه می دهد که به ما که عناصر یک زبان را بر پایه دانشمان از زبان مرتبط دیگری حدس بزنیم .
زبان شناسی تقابلی یا گونه شناسی زبانی به طبقه بندی زبانهای گوناگون برپایه مشابهت ویژگیهای آنها بدون توجه به منشاء زبانی آنها می پردازد. مشهور است که لایه های گوناگون یک جامعه معمولا زبانواره های متفاوتی را از یک زبان مشترک به کار می برند. تاجایی که هر شخص یک زبانواره متفاوت را در حالات متفاوت استفاده می کند. کافیست لغات و ترکیباتی را که در یک سند رسمی به کار می برید و زمانی که در حال گفتگوی با دوست خود هستید مقایسه کنید.علم گویش شناسی گویشها و زبانواره های گوناگون از یک زبان اصلی را که در نقاط مختلف یک قلمرو زبانی که رسما یک زبان خاص مورد استفاده قرار می گیرد را مورد بررسی و مقایسه قرار می دهد.می توان گفت گویش شناسی به بررسی گوناگونیهای زبانی در محور فضا می پردازد.
