— Phenomena into Form —
「モデル圧縮」に関する記事 2 件。
賢いけれど重すぎて使えない巨大 AI。その知恵を、小さくて軽い AI に“教え込む”——2015 年の知識蒸留は、熟練の先生が生徒に要点を授けるように、性能を保ったままモデルを軽量化する技術です。やさしく解説します。
学習済みの巨大ニューラルネットは、9 割以上を捨てても性能が落ちない——その中には「当たりくじ」と呼べる小さな部分回路が隠れていた。2019 年に最優秀論文に輝いた「宝くじ仮説」を、やさしく解説します。
