少々、使いどころが出てきそうなので、UnityのBarracuda(ONNXモデルを推論するやつ)を試しています。
タイトルにあるようにWebGLでも動くか試しています👻
いったん案件で使いそうな基礎的なインプット(Webカメラ、動画、手書き)と
MNIST、Mobilenet(クラス分類)、TinyYolo v2のモデルを試しています。
2021/7/13追記:Reversi、Single-Hand-Localization、Objectronの事例を追加。
■Webカメラ入力
github.com
■動画入力
github.com
■手書き入力
github.com
■MNIST
github.com
■MobileNet
github.com
■TinyYoloV2
ちょっとWebGLビルド(CPU推論)が激重(0.4FPSくらい)だったので
これだけはUnity Editor上(GPU推論)した動画も一緒に載せてます。
github.com
■Reversi
教師有り学習で作成したリバーシのAIをBarracudaで推論しています。
github.com
■Single-Hand-Localization
WebGL版のBarracudaはCPU推論しかできず(2021/07/13時点)、速度が出ないため、
WebGL版でもある程度の速度が出るモデルを構築して、手の検出を試しました。
github.com
■Objectron
MediaPipeのObjectronをONNX変換し、Barracuda上で動作確認しました。
github.com