این سایت در حال حاضر پشتیبانی نمی شود و امکان دارد داده های نشریات بروز نباشند
پردازش علائم و داده ها، جلد ۲۱، شماره ۱، صفحات ۱۰۱-۱۱۲
عنوان فارسی نور-استم نسخه ۱. یک مجموعه داده معیار برای ارزیابی ریشه‌یاب‌های عربی
چکیده فارسی مقاله ریشه‌یابی مرحله اصلی چندین فرایند پردازشی مانند متن‌کاوی، بازیابی اطلاعات و پردازش زبان طبیعی است. ابزارهای تشخیص میانوند کلمات عربی با چالش‌های زیادی روبرو هستند که بیشتر ناشی از ماهیت پیچیده کلمات این زبان و سبک­های نوشتاری متفاوت آن­ها است. تا جایی که ما می­دانیم، هیچ مجموعه داده­ی ریشه­یابیِ معیاری وجود ندارد که طیف گسترده­ای از چالش­های ریشه­یابی را پوشش دهد. بنابراین، ما توسعه یک مجموعه داده برای ارزیابی پایداری ریشه‌یاب‌ها را در چنین موقعیت­های چالش برانگیزی ارزشمند می­دانیم. این مقاله، نور-استم، یک مجموعه داده معیار با سبک‌های نوشتاری مختلف را برای ارزیابی ابزارهای تشخیص میانوند (استم) عربی معرفی ‌می‌کند. جهت تایید عملکرد این دادگان، عملکرد سه ریشه‌یاب‌ عربی (نور ۱۰، NLTK و تاشفین) مورد ارزیابی قرار گرفته است. نتایج نشان می­دهد که سنجه­ی اف در ریشه­یاب تاشفین بهتر از سایر ریشه‌یاب‌ها است که این موضوع در تحقیقات مرتبط نیز مشاهده شده است.
کلیدواژه‌های فارسی مقاله دادگان معیار، ریشه‌یاب، نور-استم، میانوند، استخراج اطلاعات
عنوان انگلیسی Noor-stem v.1 A Benchmark Dataset for Evaluating the Arabic Stemmers
چکیده انگلیسی مقاله
The main task of the tokenization is to divide the sentences of the text into its constituent units and remove punctuation marks (dots, commas, etc.). Each unit is a continuous lexical or grammatical writing chain that is an independent semantic unit. Tokenization occurs at the word level and the extracted units can be used as input to other components such as stemmer. Stemming is the main step of several processing tasks such as text mining, information retrieval, and natural language processing.Arabic stemmers face many challenges, mostly caused by the complex nature of Arabic words and their different writing styles. To our knowledge, there is no gold stemming dataset, which contains a wide variety of different possible stemming challenges, so that, stemmers face numerous and different possible real-world challenges to stem the words. Thus, we find it valuable to develop a dataset for evaluating the sustainability of stemmers in such a variety of challenging situations. In this paper, we introduce Noor-Stem, a benchmark dataset with various writing styles for the evaluation of Arabic stemmers. We use two thousand Arabic words in this dataset. We choose the words from different sources such as holy Quran as well as the Arabic websites and assign them to two groups of human experts to determine the correct stem for each word. The first chosen collection of words includes non-repetitive words of the Quran according to their morphological structure. This collection, with more than 16,000 words, is completely by its Quranic usage, labeling only the words stems. The necessity of morphological analysis in Quranic texts as an example of the index of classical Arabic texts has given rise to this evaluation. The second word collection includes 10 thousand words from the non-repetitive words of the text data in general classic Arabic texts. Out of more than 2,600,000 non-repetitive words, considering that the dataset is going to be gold and each stem must be labeled/ensured by a couple of experts, 10,000 words are chosen, regarding the comprehensive and unique patterns to fully measure the length. The variety of patterns can face each stemmer with a serious challenge to demonstrate its performance in various processes. We evaluate the performance of three Arabic stemmers (Light 10, NLTK and Tashaphyne) on this dataset. The results show that the F-measure of Tashaphyne is better than the other stemmers, which re-proves the superiority of this stemmer in this type of problem, as well.
کلیدواژه‌های انگلیسی مقاله Benchmark Dataset, Stemmer, Noor-Stem, Infix, Information Retrieval
نویسندگان مقاله ازل العصواد | Azal Al-Aswad
دانشگاه علم و صنعت ایران

بهروز مینایی بیدگلی | Behrouz Minaei-Bidgoli
دانشگاه علم و صنعت ایران

محمدابراهیم شناسا | Mohammad-Ebrahim Shenassa
دانشگاه آزاد واحد تهران-شمال

سیدعلی حسینی | Sayyed-Ali Hossayni


حبیب سریانی | Habib Seryani
دانشگاه رازی کرمانشاه

نشانی اینترنتی http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-92-1&slc_lang=fa&sid=1
فایل مقاله فایلی برای مقاله ذخیره نشده است
کد مقاله (doi)
زبان مقاله منتشر شده fa
موضوعات مقاله منتشر شده مقالات پردازش متن
نوع مقاله منتشر شده پژوهشی
برگشت به: صفحه اول پایگاه   |   نسخه مرتبط   |   نشریه مرتبط   |   فهرست نشریات