本当はもっと早くやりたかったシリーズ👀
SAMが登場してから、もう1年たってるんですよね。。。
SAMは凄い良いモデルなのですが、、、
公式リポジトリのONNXエクスポートとONNX推論周りのサポートはちょっとイマイチだと思っています。
どれくらいイマイチかと言うと、
・デコーダーのみONNX出力するスクリプトがあって、エンコーダーはPyTorchのまま
・ONNX推論サンプルは、デコーダーの推論のみONNXで、前処理、エンコーダー、後処理がPyTorchの処理に依存している
いや、これONNXのメリットいかせないやん。みたいな👻
と言うわけで、ちょっと制限はあるのですが、
エンコーダーもONNXエクスポートして、推論するサンプルを作成しました。
SAMの動き確認確認🦔 pic.twitter.com/mYBX3ipJLy
— 高橋 かずひと@闇のパワポLT職人 (@KzhtTkhs) 2024年4月10日
ぼちぼち動いている気はする🤔
関連するノートブックとスクリプトは以下のリポジトリにコミットしています。
ただ、SamAutomaticMaskGenerator()までONNXに書き直すパワーがなかったので、後回しに、、、👀
