PINTOさんとからあげさんのお力によって実現しました。
Raspberry Pi OS(64bit)でMediaPipe動いた🦔
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年5月31日
若干描画周りに重い処理入れたので、本来はもう1fpsぐらい早いはずですが、、、
以下ぐらいの速度出ますね👻
Face Detection：20fps前後
Face Mesh：11fps前後
Pose(Lite)：8fps前後
Hands：8fps前後
Holistic：3fps前後
Objectron：3fps前後 https://t.co/dEPwwBEF9T pic.twitter.com/66o8vh262R
7セグメント識別機を作りました。以下のデータ生成の延長線ですね。
IoT・AI業者なら誰でも持っていると思う7セグ識別機を、リアルデータ無しで作れないか実験中です🙄
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年5月11日
※写真データを元にそれなりに動くモデルは既に運用済み https://t.co/POId4tyuZE
今回は写真データも混ぜて学習させていますが、精度はボチボチですかね🙄
？？「7セグの識別なんてディープラーニング使うまでも無いでしょ」
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年5月29日
これクリアするのが大変じゃろうて、、、( ´ー｀)y-~~ pic.twitter.com/JbmzCjNUVG
ソースコードは以下に🦔
OSC2021 Online Nagoya の Python東海/JuliaTokaiミニ合同勉強会にてLTをしてきました。
Pythontパッケージ版のMediaPipeの紹介とリアルタイムなデモをやるお話です🦔
MediaPipe系のLTでやりたかったことは一通りやったと思うので、いったんこの題材のLTは一区切りする予定です。
例のごとくデモ多用しているためYouTubeでの視聴をおススメします🦔
いつもなら、この辺で終わる予定なのですが、、、
今回は更に物語が続きます🦔
きっかけは、からあげさんのこの一言。
MediaPipe、Armでもpipで簡単に使えると良いのだけどな…M1 Mac, ラズパイ、Jetson Nano、どれもビルド必要なのでめんどい
— からあげ (@karaage0703) 2021年5月29日
あ、ビルド依頼ではないです、念のためw
— からあげ (@karaage0703) 2021年5月29日
MediaPipe Python3.7 Raspi4 Buster aarch64用のWheelでけた。 pic.twitter.com/N9uLBrZPBv
— Super PINTO (@PINTO03091) 2021年5月29日
できとるw https://t.co/qD9OMj8zQm
— からあげ (@karaage0703) 2021年5月29日
とりあえず、MediaPipe の aarch64版 Python3.6, 3.7, 3.8 をイニシャルコミットしました。https://t.co/0aegt9a6IR
— Super PINTO (@PINTO03091) 2021年5月29日
（中略）
（多少の試行錯誤）
Ubuntu上で動く報告出る🦔
ラズパイ4でmediapipe動きました。 @PINTO03091 さんと @KzhtTkhs さんのリポジトリ使っただけです。8fpsくらい出ますね。なかなか良い感じ。https://t.co/pttlfuqQaIhttps://t.co/eQXtb4tIPR pic.twitter.com/OMSHO2L2jK
— からあげ (@karaage0703) 2021年5月30日
激速で手順公開される🦔
とりあえず動かし方メモです。ほとんどREADME通りですけどね > Raspberry Piで手軽にMediaPipeを楽しむ方法｜karaage0703 https://t.co/AYjxigHcKp #zenn
— からあげ (@karaage0703) 2021年5月30日
RaspberryPi OS(ベータの64bit版)で動作報告出る🦔
RaspberryPi OS 64bit で私のMediaPipeの.whl https://t.co/0aegt9a6IR をインストールし、 @KzhtTkhs さんのRepo https://t.co/oj0fFmopWs を秒で起動できました。Pi4のCPU推論で 8〜9FPS でしょうか。両手をちゃんと認識しますね。バイナリの作り方は間違っていなかったようです。 @karaage0703 pic.twitter.com/Vsanl09InS
— Super PINTO (@PINTO03091) 2021年5月31日
RaspberryPi4 CPU only + RaspberryPi OS 64bit + MediaPipe Hand Detection, 9 FPS #mediapipehttps://t.co/0aegt9a6IRhttps://t.co/oj0fFmopWs pic.twitter.com/pGsGLVn4IN
— Super PINTO (@PINTO03091) 2021年5月31日
高橋さん寒いネタで驚愕する🦔
あ…ありのまま今起こった事を話すぜ！
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年5月30日
「俺は土曜日の昼にOSC Nagoyaで発表したと思ったら、いつのまにかラズパイで動いてた」
な…何を言っているのか、わからねーと思うが、
俺も何をされたのか、わからなかった…
PINTOさんとからあげさんの恐ろしさの片鱗を味わったぜ……🦔 https://t.co/dEPwwBEF9T
このツイート通り、目標設定や技術選定を再考する必要が出るのは、また別の話😇
と言うかコレ、、、
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年5月30日
8fps前後で動いてしまうと、いくつかの案件でハードウェア調達費と目標精度の設定が塗り替わるな、、、😇 https://t.co/YTMpBmqbJe
Lightweight GANを用いてROキャラ画像を生成するGANを訓練しました。
ソースコードは以下に整理してコミットしています。
ONNXへ変換した訓練済みモデルは公開していますが、データセットは当然公開出来ないので、
どれくらいの画像が生成できるようになるのかを確認しただけの自己満リポジトリです👻
Lightweight GANがGPL3のため、念のためGPL3での公開としています。
ただ、訓練済みモデル自体はONNXへ変換しており、推論スクリプトもonnxruntimeで書き下しているため、モデルと推論スクリプトはGPL3を継承しなくても良い気もしますが、、、🤔
これ仕事で同様の状況が発生したら、GPL3に倒すか、それ以外の商用で使いやすいライセンスにするか悩ましいですね、、、（GPLの解釈と倫理的なお話で、、、🤔
7セグメント表示の画像データを生成するツールを作っています。
目的は以下でツイートした通り、リアルデータを用いずに7セグメントの画像識別機を作れないか実験するためです。
IoT・AI業者なら誰でも持っていると思う7セグ識別機を、リアルデータ無しで作れないか実験中です🙄
— 高橋 かずひと@孫請級プログラマー🦔 (@KzhtTkhs) 2021年5月11日
※写真データを元にそれなりに動くモデルは既に運用済み https://t.co/POId4tyuZE
ソースコードは以下にコミットしています。
MediaPipeのPoseとHolisticに3倍正確？なモデルが追加されたようです。
#MediaPipe BlazePose GHUM 3D (https://t.co/UdqIlAMjLw) is now 3x more accurate, achieving state-of-the-art performance while offering new lite and heavy versions to cover every device and use case! Try it out at https://t.co/GyiIlhRuik for Python, JS, Android and iOS! pic.twitter.com/RA0e8E7qmK
— Google AI (@GoogleAI) 2021年5月11日
精度と速度の異なる3種類のモデル（Lite、Full、Heavy）が追加されたようで、ユースケースに応じて使い分けることが出来そうです。
また、追加に伴い「upper_body_only」オプションが無くなり、「model_complexity」が指定できるようになっています。 デフォルトは1(Full)で、0(Lite)、2(Heavy)で精度と速度のバランスが指定できるようになっています🦔
取り急ぎ、Python版のサンプルで指定できるようにしてみました。
