این سایت در حال حاضر پشتیبانی نمی شود و امکان دارد داده های نشریات بروز نباشند
Journal of Artificial Intelligence and Data Mining، جلد ۱۰، شماره ۴، صفحات ۴۶۷-۴۷۷
عنوان فارسی
چکیده فارسی مقاله
کلیدواژه‌های فارسی مقاله
عنوان انگلیسی Whitened gradient descent, a new updating method for optimizers in deep neural networks
چکیده انگلیسی مقاله Optimizers are vital components of deep neural networks that perform weight updates. This paper introduces a new updating method for optimizers based on gradient descent, called whitened gradient descent (WGD). This method is easy to implement and can be used in every optimizer based on the gradient descent algorithm. It does not increase the training time of the network significantly. This method smooths the training curve and improves classification metrics. To evaluate the proposed algorithm, we performed 48 different tests on two datasets, Cifar100 and Animals-10, using three network structures, including densenet121, resnet18, and resnet50. The experiments show that using the WGD method in gradient descent based optimizers, improves the classification results significantly. For example, integrating WGD in RAdam optimizer increased the accuracy of DenseNet from 87.69% to 90.02% on the Animals-10 dataset.
کلیدواژه‌های انگلیسی مقاله deep learning, Optimizer, Whitened Gradient Descent, Momentum
نویسندگان مقاله H. Gholamalinejad |
Department of Computer, Faculty of Engineering, Bozorgmehr University of Qaenat, Qaen, Iran.

H. Khosravi |
Faculty of Electrical Engineering Shahrood University of Technology.

نشانی اینترنتی https://jad.shahroodut.ac.ir/article_2496_6374b89dbfd0e0729d4d21745d97b6c7.pdf
فایل مقاله فایلی برای مقاله ذخیره نشده است
کد مقاله (doi)
زبان مقاله منتشر شده en
موضوعات مقاله منتشر شده
نوع مقاله منتشر شده
برگشت به: صفحه اول پایگاه   |   نسخه مرتبط   |   نشریه مرتبط   |   فهرست نشریات