My Natural Language Processing

UMGIdealab, Myanmar မှ အောက်ပါ ရာထူးအတွက် ညှိနှိုင်းလစာနှင့် အတူ၊ သင်၏ အရည်အချင်းများ အထူး အသုံးချနိုင်သော၊ ပိုမိုတိုးတတ်စေနိုင်သော အခွင့်အလမ်းများအတွက် အမြဲဖိတ်ခေါ်နေပါသည်။

I would like to discuss about sentiment analysis for a MM language.
Whoever can join here.

Machine Learning Technique and Natural Language Processing
*************************************************************************
Machine Learning Technique ဆိုတာ NLP ရဲ့ အရေးကြီးတဲ့ လုပ်ငန်းစဉ်တွေမှာ မသိမဖြစ်လိုအပ်လာတဲ့ နည်းပညာ (သို့မဟုတ်) ချည်းကပ်နည်းတခုလို့ဆိုရပါတယ်။
အဓိကအားဖြင့် မိမိဘာသာစကားကို အသုံးပြုပြီး Processing တွေ လုပ်ဖို့၊ ဘာသာဗေဒနဲ့ ပတ်သတ်တဲ့ rule တွေကို တည်ဆောက်ရတဲ့အခါ လိုအပ်တဲ့ ဘာသာဗေဒ အချက်အလက်တွေကို Training Data Set အဖြစ် တည်ဆောက်ရပါတယ်။ ၎င်း Train Data set တွေဟာလည်း statistical approach ကို အသုံးပြုမယ်ဆိုရင် Machine Learning ကို သေချာပေါက် အသုံးပြုရတော့မှာဖြစ်ပါတယ်။
နားလည်အလွယ်ဆုံး ပြောရရင်တော့ Machine Translation လို စနစ်မျိုးတည်ဆောက်တဲ့ အခါ Pattern based, Dictionary based စတဲ့ approach တွေနဲ့ တည်ဆောက်မယ်ဆိုရင် Machine Learning ကို သုံးစရာမလိုအပ်သေးပါဘူး။
သို့ပေမဲ့ Corpus သုံးပြီး statistical Machine Translation ကို တည်ဆောက်မယ်ဆိုရင်တော့ သေချာပေါက် Machine Learning Technique ကို အသုံးပြုရပါတယ်။
ထို့ပြင် NLP ရဲ့ လုပ်ငန်းစဉ်တွေထဲမှာ Information Extraction အပိုင်းကိုလုပ်တဲ့အခါ "Name Entities Recognition" နဲ့ Entity တခုချင်းစီရဲ့ ဆက်နွယ်ပုံတွေကို Machine Learning ကိုသုံးပြီး ဘာသာစကားရဲ့ အချက်အလက်တွေ၊ ဆက်နွယ်ပုံတွေကို Recognize လုပ်ရပါတယ်။
Natural Language Processing အလုပ်နဲ့ ပတ်သတ်ပြီး Engine တွေ၊ Tool တွေနဲ့ Software တွေတည်ဆောက်တဲ့ အခါ ဘာသာဗေဒ (linguistic) အရ အလွန်အရေးကြီးတဲ့ လုပ်ငန်းကြီးဖြစ်တဲ့ Part of Speech (POS) Tagging နဲ့ Parsing တွေမှာဆို Machine Learning Technique ဟာ အလွန်မှာ အရေးပါလွန်းလှပါတယ်။
(MLT+NLP အကြောင်းကို ဆက်လက် ဖော်ပြပေးသွားပါအုံးမယ်၊ မိမိအကြုံကို မျှလိုသူများနှင့် ဆွေးနွေးလိုသူများကို ဖိတ်ခေါ်ပါတယ်။)

Statistical machine translation (SMT) and translation memories
************************************************************************(TM)
******
Two technological advances in the field of automated language translation, translation memory (TM) and statistical machine translation (SMT),have seen vast progress over the last decades, but they have been developed very much in isolation.
"TMs" are a tool for human translators. Since many translation needs are highly repetitive (translation of updated product manuals, or several drafts of leg-islation), being able to find existing translations of segments of the source language text, alleviates the need to carry out redundant translation. TM have addressed the need of translation agencies
to produce high-quality translations of often repetitive material, SMT has set itself the challenge of open domain translations such as news stories and is mostly satisfied with translation quality that is good enough for girting, i.e., transmitting the meaning of the source text to a target language speaker.