این سایت در حال حاضر پشتیبانی نمی شود و امکان دارد داده های نشریات بروز نباشند
پردازش علائم و داده ها، جلد ۲۲، شماره ۱، صفحات ۲۵-۳۸
عنوان فارسی جست‌وجوی معماری شبکه‌های عصبی عمیق آگاه از منابع در سامانه‌های نهفته چند‌هسته‌ای
چکیده فارسی مقاله
ایجاد شبکه‌های عصبی به ‌صورت دستی فرایندی کند و مبتنی بر آزمون‌وخطا است که با افزایش تعداد پارامترها یا لایه‌ها، به طور قابل‌توجهی هزینه‌بر و غیر‌بهینه می‌شود؛ برای حل این مشکل، الگوریتم‌های خودکار جست‌وجوی معماری شبکه (NAS) معرفی شده‌اند که به‌تازگی توانسته‌اند در مجموعه‌داده‌های مختلفی مانند CIFAR-10، ImageNet و Penn Tree Bank به دقت‌های بالایی دست یابند. این الگوریتم‌ها قادرند فضای وسیعی از معماری‌ها با ویژگی‌های متنوع مانند عمق، عرض، نوع اتصالات و عملیات‌ها را جست‌وجو کرده و معماری‌های بهینه را کشف کنند؛ بااین‌حال، یکی از چالش‌های اصلی NAS زمان جست‌وجوی طولانی آن‌هاست که ممکن است به ده‌ها هزار ساعت GPU برسد؛ هرچند با پژوهش‌های اخیر این زمان به ده‌ها ساعت کاهش یافته‌است؛ علاوه‌بر این، این روش‌ها بر حسب معمول تنها بر بهبود دقت شبکه تمرکز می‌کنند و به معیارهای مهمی مانند سرعت شبکه و منابع مصرفی توجهی ندارند. این مسئله استفاده مستقیم از آن‌ها را در سامانه‌های نهفته با محدودیت منابع مانند قدرت پردازشی، حافظه و انرژی مصرفی دشوار می‌سازد؛ بنابراین، نیاز به روش‌های جست‌وجوی آگاه از محدودیت‌های سامانه وجود دارد. در این مقاله، روشی بر اساس کاهش گرادیان ارائه می‌شود که به طور خودکار شبکه‌هایی مناسب برای اجرا بر روی پردازنده‌های چندهسته‌ای بدون GPU طراحی می‌کند. در این روش، یک اَبَرشبکه با مسیرهای موازی و بلوک‌های محاسباتی ایجاد می‌شود. برای انتخاب عملیات مناسب در هر بلوک از مسیر، از تعدادی متغیر تصمیم‌گیری استفاده می‌‌شود؛ همچنین، برای بهره‌مندی مسیرهای موازی از نتایج میانی یکدیگر و افزایش دقت شبکه، علاوه‌بر تصمیم‌گیری در مورد عملیات هر بلوک، درباره نقاط همگام‌سازی نیز تصمیم‌گیری می‌شود؛ سپس با آموزش متغیرهای تصمیم‌گیری (نوع بلوک و نقاط همگام‌سازی) هم‌زمان با وزن‌های اصلی شبکه، زیرشبکه مناسبی انتخاب می‌شود. در روش ارائه‌شده به‌دلیل استفاده از روش کاهش گرادیان، تنها دو بار فرایند آموزش انجام می‌شود. این امر زمان اجرا را نسبت به روش‌های مبتنی بر جست‌وجوی تکاملی و یادگیری تقویتی کاهش قابل‌توجهی می‌دهد؛ علاوه‌بر این، با درنظرگرفتن محدودیت‌های سامانه هدف مانند تعداد هسته‌ها و حافظه مصرفی، می‌توان به معماری مناسب‌تری نسبت به سایر روش‌ها دست یافت. آزمایش‌های انجام‌شده بر روی مجموعه‌داده CIFAR-10 نشان می‌دهد که روش پیشنهادی می‌تواند با زمان جست‌وجوی بسیار کم به دقت مناسبی دست یابد که کارایی آن را برای سامانه‌های نهفته با منابع محدود تأیید می‌کند.
کلیدواژه‌های فارسی مقاله جست‌وجوی معماری شبکه‌های عصبی، سامانه‌های نهفته، موازی‌سازی، پردازنده‌های چند‌هسته‌ای، روش کاهش گرادیان.
عنوان انگلیسی Resource-Aware Neural Architecture Search for Multicore Embedded Real-Time Systems
چکیده انگلیسی مقاله
Creating neural networks in a non-automatic way is a slow process based on trial and error. When the number of network parameters or the number of layers increases, the non-automatic method becomes very expensive and the final result may be suboptimal. Automatic network architecture search algorithms are used to solve this problem. Recently, these algorithms have been able to achieve high accuracies on various datasets such as CIFAR-10, ImageNet, and Penn Tree Bank. These algorithms have the ability to search a wide space of architectures with different characteristics such as network depth, width, connection method, and operations in order to discover architectures with appropriate accuracy. However, one of the traditional challenges of these algorithms is their high search time (Approximately tens of thousands of GPU hours), which has been reduced to tens of hours with new research. Another challenge that usually exists in these methods is their focus on improving network accuracy, while other criteria such as network speed and consumed resources are not taken into account. As a result, these methods cannot be used directly to find the optimal architecture in embedded systems that have limited resources such as processing power, memory, and energy consumption. Therefore, search methods should be devised that are aware of these limitations. Research has been done in this field in recent years, but these methods do not focus specifically on coarse-grained multi-core architectures that do not have a GPU. In this article, we present a method for the automatic design of networks that are suitable for running on multi-core processors. In this method, based on gradient descent, a SuperNet with parallel paths and computational blocks is created. The number of parallel paths is equal to or less than the number of cores. We use a series of decision variables to select appropriate operations in each block of the path. In addition to deciding on the operations performed in each block, deciding is also made regarding synchronization points to utilize the intermediate results of parallel paths and improve the network's accuracy. Then, by training the decision variables (block type and synchronization points) simultaneously with the main network weights, an appropriate subnetwork is selected. Due to the use of the gradient descent method in this approach, the training process is performed only twice, resulting in the final structure of the network. As a result, it has a much lower execution time compared to other methods based on evolutionary search and reinforcement learning. Additionally, considering the constraints of the target system, such as the number of cores and memory consumption, can lead to a more suitable architecture compared to other methods. Experiments conducted on the CIFAR-10 dataset demonstrate that the proposed method can achieve satisfactory accuracy with very little search time.
کلیدواژه‌های انگلیسی مقاله Neural network architecture search, embedded systems, parallelization, multi-core processors, gradient descent method.
نویسندگان مقاله سهیل رستاری | Soheil Rastari
Master, Faculty of Electrical and Computer Engineering, Qom University of Technology, Qom, Iran
کارشناس ارشد دانشکده برق و کامپیوتر، دانشگاه صنعتی قم، قم، ایران

مرتضی محجل کفشدوز | Morteza Mohajjel kafshdooz
Assistant Professor, Faculty of Electrical and Computer Engineering, Qom University of Technology, Qom, Iran
استادیار، دانشکده برق و کامپیوتر، دانشگاه صنعتی قم، قم، ایران

محبوبه شمسی | Mahboubeh Shamsi
Associate Professor, Faculty of Electrical and Computer Engineering, Qom University of Technology, Qom, Iran
دانشیار، دانشکده برق و کامپیوتر، دانشگاه صنعتی قم، قم، ایران

نشانی اینترنتی http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-2518-1&slc_lang=fa&sid=1
فایل مقاله فایلی برای مقاله ذخیره نشده است
کد مقاله (doi)
زبان مقاله منتشر شده fa
موضوعات مقاله منتشر شده مقالات پردازش تصویر
نوع مقاله منتشر شده پژوهشی
برگشت به: صفحه اول پایگاه   |   نسخه مرتبط   |   نشریه مرتبط   |   فهرست نشریات