矢島大路君が電子情報通信学会ネットワークシステム研究会にて依頼講演を行いました
2022年10月5日〜7日に北海道大学（札幌市）でハイブリッド開催された電子情報通信学会ネットワークシステム（NS）研究会において、当研究室修士1年の矢島大路君が依頼講演を行いました。依頼講演は、NS研究会幹事団からの依頼を受けて実施する研究発表です。今回の発表は、2022年電子情報通信学会総合大会英語セッション奨励賞を受賞したことから講演依頼をいただきました（英語セッション奨励賞受賞の記事はこちら）。
発表タイトルは「連合学習における蒸留を用いた処理負荷と通信量の削減」で、英語セッション奨励賞の対象論文を更に進めた内容です。矢島君の研究では、深層学習（Deep Learning）の負荷分散を実現する「連合学習（Federated Learning）」において、蒸留（Distillation）と呼ばれる深層学習モデルの小型化技術を利用して各デバイスでの計算コストを削減する手法を提案しています。本論文では、分散して学習を行う際、学習に用いる画像ファイルの種類に偏りがある場合の特性について評価を行いました。
通常の連合学習では、学習用の画像セットに著しい偏りがある場合には学習効率が低下するのですが、蒸留と逆蒸留を用いる提案手法ではサーバ側に元のサイズの深層学習モデルが保存されることで学習効率の低下を防ぐことができるという新しい知見を得ました。また、蒸留により深層学習モデルが小型になるため、各デバイスで行う学習フェーズにかかる計算量や計算時間も小さくなるという特徴があります。
矢島君は国際理工学専攻に所属し、英語での論文発表の経験もあります。新しい結果が得られたときには、国際会議や国際ジャーナルに投稿していきましょう！今後の更なる研究の発展に期待しています。
Copyright (c) 2007-2021 Multimedia Information Network Laboratory, SIT, All rights reserved.