ブラウザ上でJavaScript版のMediaPipe Handsを動かして、処理結果をJS→Unity C#に連携するサンプルです。 ※使い道あるか不明
使い道があるか不明ですが、
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年2月20日
ブラウザ上のMediaPipeの検出結果を、WebGLビルドしたUnityアプリへ流し込むテストです👻
非同期処理が多いので正確には分りませんが、FPSは4~5くらい🙄？ pic.twitter.com/om9O74HtMw
モバイル上でもボチボチ動作🦔 https://t.co/tUowIKaTQQ pic.twitter.com/mebCWFNOEA
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年2月20日
少々、使いどころが出てきそうなので、UnityのBarracuda(ONNXモデルを推論するやつ)を試しています。
タイトルにあるようにWebGLでも動くか試しています👻
いったん案件で使いそうな基礎的なインプット（Webカメラ、動画、手書き）と
MNIST、Mobilenet(クラス分類)、TinyYolo v2のモデルを試しています。
2021/7/13追記：Reversi、Single-Hand-Localization、Objectronの事例を追加。
■Webカメラ入力
github.com
■動画入力
github.com
■手書き入力
github.com
■MNIST
github.com
■MobileNet
github.com
■TinyYoloV2
ちょっとWebGLビルド(CPU推論)が激重(0.4FPSくらい)だったので
これだけはUnity Editor上(GPU推論)した動画も一緒に載せてます。
github.com
■Reversi
教師有り学習で作成したリバーシのAIをBarracudaで推論しています。
github.com
■Single-Hand-Localization
WebGL版のBarracudaはCPU推論しかできず(2021/07/13時点)、速度が出ないため、
WebGL版でもある程度の速度が出るモデルを構築して、手の検出を試しました。
github.com
■Objectron
MediaPipeのObjectronをONNX変換し、Barracuda上で動作確認しました。
github.com
Python版のMediaPipeを用いてFace Meshを検出し「iris_landmark.tflite」を使って虹彩を検出するお試し実装です。
Irisのお試し版ソースコード整理中🦔 https://t.co/ck3eRpsjNJ pic.twitter.com/v3KBA3uvWw
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年2月5日
XDoG(Extended Difference of Gaussians)での線画抽出をお試ししています。
何に使うかは想像付きますよね👻
当たり前と言えば当たり前ですが、風景はちょい難しいですね🙄 https://t.co/7zo1NHDHYp pic.twitter.com/fN5Q1mJxNC
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年1月28日
OpenCVのヒストグラム平坦化はグレー画像に対して実施できるAPIです。
画像をRGBからYUVに変換し、Y(輝度)のヒストグラム平坦化を実施することで、カラー画像のヒストグラム平坦化を試しています🦔
単発の画像だとヒストグラム平坦化って結構良い感じになるんですよねー🤔
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年1月24日
これを監視カメラ画像の前処理とかに使おうとすると途端に微妙になるんですよねー。。。🙄
左：元画像
右：ヒストグラム平坦化後(CLAHE) pic.twitter.com/VtHaQ7GvzC
サンプルプログラムは以下にコミットしています。
NGK2021S（名古屋合同懇親会 2021新年会）で発表してきました🦔
今年は開催自体危ぶまれていましたが、無事オンラインで開催されました。
今回はoViceと言うサービスでコミュニケーションを取りながら、YouTubeライブで視聴する形でした。
流石熟練のKatz(@katzueno)さんで、これだけの規模のイベントでしたが、ほぼトラブル無くスムーズな進行でした。
僕のLTの後に「祈祷」と言うぶっ飛んだLTがあり、oViceの限界に挑戦したりしていましたが、、、w
わっちゃわっちゃ🦔
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) January 23, 2021
#NGK2021S pic.twitter.com/FZsx9CBumD
↓これは真理。
「oVice は祈祷するためのシステムではない」
— ばうあー (@girigiribauer) January 23, 2021
「それはそう」
#NGK2021S
発表資料は以下です。
今回狙った演出でもあるのですが、Other以外はすべて実演のデモです。
今回の配信はアーカイブとして公開していただけるそうです。
LTが後半だったこともあり、直前当たりの発表がしっかり見れていなかったので、見返したいです🦔
#NGK2021S の本日昼の部の動画データは 7.5GB なり。
— Katz Ueno 日本語 (@katzueno) January 23, 2021
YouTube でそのままアーカイブとして公開しつづけますhttps://t.co/j8VWiPwmGb
あとでチャプターを振って、各発表にジャンプできるようにしますね
以上。
試行錯誤中。。。
今回は「ラズパイ4のCPU推論」で「5〜10fps程度のリアルタイム」と言う制約があります👻
Raspberry pi4のCPU推論(num_threads=2)で手検出、、、
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年1月20日
これでどうだーーー🦔 pic.twitter.com/9Jw11wIBMv
