前回のタイタニックに引き続きMNISTで自動探索を試してみました。
今回実施した内容は以下にコミットしています。
100回ほど自動探索を回してみました。
ちなみに、初期設定したモデルは以下のような適当モデルです。
割とMNISTとかで良く見るモデルだと思いますが、今回試してみると正解率は98.95%でパラメータ数は約390万でした。
MNISTの正解率としてはボチボチですが、パラメータ数がMobileNet V2(約350万)より多いのは巨大すぎますねー🤔
100回自動探索を回して、一番精度が高かったモデルは以下です。
正解率は99.38%で、パラメータ数が約140万になりました。
構造を眺めてみるとDropoutの後にBatch Normalizationが入っていたり、MaxPoolingのシェイプが正方形でないのが気になりますが、、、
（Dropout→Batch Normalizationの順で併用すると精度低下の可能性があると言われています[1801.05134] Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift）
この構造からDropout外してみたり、DropoutとBatch Normalizationの順番を入れ替えてみたりしても元の精度を超えることが出来ませんでした。
自動探索恐るべし🤔？
100回自動探索を回して、一番パラメータ数が少なかったモデルも眺めてみます。
以下のような構造で正解率は87.86%、パラメータ数は350でした。
入力画像をいきなりAveragePoolingして全結合から出力しています。
これでも正解率が87%出るとは、、、🙄
逆に勉強になる🤔？
以上。
