高橋かずひとのプログラミング、その他、備忘録。

日々調べてたことや、作ってみたものをメモしているブログ。 お決まりの断り文句ですが、このブログに書かれている内容は個人の見解であり、所属する組織の公式見解ではありません。チラ裏。

ONNX

RT-DETR(v3) を Colaboratoryでトレーニングするサンプル👻

以下の続きです。 ちょっとymlファイルが多いですが、あまり癖のないトレーニングコードで、サクッとColaboratoryで動かせました RT-DETR(v2)をColaboratoryでトレーニングするサンプルも放流https://t.co/EuKfAaR701 pic.twitter.com/pIk8vY0rCk — 高橋 か…

RT-DETR(v2) を ONNX推論おためし👀

そーいえば、RT-DETR(v2)触ったことなかったな。と思って軽くお試し あー、CPU(Core i7-8750H CPU)だと思ったより早くて、GPU(GeForce GTX 1050 Ti)だと思ったより遅いな、、、いや、GPU古いってのもありますが、、、新しめのGPUだと速いんだろーなって雰囲…

肌、服、髪セグメンテーション に イラストのデータセットを追加しトレーニング🦔

かなーり昔に作ったセグメンテーションモデルの続編ですね。 元々目指していた方向性が、MediaPipeのSelfieMultiClassで達成できてしまうので、方向性を変えてイラストも追加して学習してみました。 正直、精度はまだまだイマイチです。以下みたいな感じ ま…

Anime-Segmentation の ONNX を Colaboraotry上でお試し📚

CartoonSegmentation触った関連と言うことで、Anime-Segmentation を触っています。ちょっとタスクは違いますが。。。(CartoonSegmentationはインスタンスセグメンテーション、Anime-Segmentation はセマンティックセグメンテーションによる前景抽出、のよ…

CartoonSegmentationOnnx を Colaboratory でお試し📚

CartoonSegmentation のオリジナルはmmcv関連のパッケージがインストール必要で、ちょっと環境構築が面倒だったのですが、ONNXに変換してくれているリポジトリがあったため、Colaboratoryで試してみました。 CartoonSegmentationのONNX助かるーオリジナルリ…

cloths_segmentationをONNXに変換してお試し🏃

ある程度近い距離だと綺麗に抜けますね複数人とか遠いとかだとイマイチなので、人検出と組み合わせたりしないとですが。 4年くらい前のU-Netベースのモデルですが、衣服セグメンテーション味見している眼鏡は衣服か、、、アイウェアだしそうか、、、? pic.t…

nsfw_modelをONNXに変換して味見🦔

NSFW(Not Safe For Work:職場での閲覧注意)画像の判定ですNSFWと言ってもアダルト判定のみでグロとか暴力とかは対象外。 やりかけで放置していたサンプルソースがポコポコ出てくる、、、これはNSFWモデルをONNX変換したもの。たしか一時期Stable Diffusio…

MVANetをONNXに変換して味見👻

MVANetです。BiRefNetと同じくDIS(Dichotomous Image Segmentation)モデルです。 あくまで、個人的な感覚ですが、BiRefNetの半分くらいの推論速度で、精度はそれなりと言う感じです重みファイルも半分くらい(約440MB) お試ししたソースコードは以下にコ…

PINTO_model_zoo:雨除去(310_attentive-gan-derainnet)Pythonデモ追加

雨除去と言うか水滴除去ですかね後処理がちょっと珍しい感じです。性能はボチボチ? 310_attentive-gan-derainnetちょっと珍しい後処理と言うか出力の補正が必要各チャンネルごとにスケーリング pic.twitter.com/eLjxGEmL17 — 高橋 かずひと@闇のパワポLT職…

BiRefNetをONNXに変換して味見👻

BiRefNetをONNXに変換して動作を味見しています。いわゆるDIS(Dichotomous Image Segmentation)モデルです。背景除去、背景分離、Salient Object Detectionとか呼ばれたりもする?Salient Object Detectionは違うか? ONNX変換後の重みファイルが1GB弱あっ…

PINTO_model_zoo:暗所ノイズ除去(418_Diffusion-Low-Light)味見👀

LLIE(Low Light Image Enhancement)のDiffusion-Low-Lightです。個人的な感想ですが、正直、性能に対して重い、、、 過去に、動物園のDiffusion Low Lightを味見しようとした形跡があったのだけど、何で途中でやめたんだっけ。。。仕事忙しくなったとかかし…

OpenVINOで各フレームワーク(ONNX、TensorFlow、TFLite、PaddlePad)の重みを読み込んで推論🦔

Zennに投稿しました。 OpenVINOさん、Colaboratory上でもサクッと動くようになったし、PaddlePaddleのモデルを直接読み込めるし、僕的には結構使い道ありそう zenn.dev ノートブックは以下のリポジトリで公開しています。 github.com 追記: 推論時間の比較↓…

MPCountで群衆カウントお試し👀

Crowd Counting(群衆カウント、群衆密度推定)のモデルであるMPCountを味見しています 少し余裕が出てきたので、いくつか味見をしているこれは CVPR2024 paper "Single Domain Generalization for Crowd Counting" pic.twitter.com/XcCOCNNAsn — 高橋 かずひ…

XFeatをONNXに変換してお試し👀

CVPR'24 Paper の XFeatをONNXに変換してお試ししています。いわゆる特徴点抽出ですね 雑にONNXに変換して動かしてみているけど、、、まあ、精度も速度(CPU)も普通かなー、、、 pic.twitter.com/tARe4AQL5e — 高橋 かずひと@闇のパワポLT職人 (@KzhtTkhs) …

LLIE系モデルLYT-Netお試し🦔

LLIE(Low-Light Image Enhancement)系モデルのLYT-Netお試しです。2024年の比較的新しめのモデルです。 比較的新しめのモデルではあるのですが、性能はボチボチふつー、、、と言うか、いつも試している動画の難易度が高すぎる。と言うのはあると思いますが…

MobileSAM と EfficientSAM も ONNX推論お試し👀

この投稿の続編です。 kazuhito00.hatenablog.com MobileSAM と EfficientSAM の ONNX推論お試しコードを以下にコミットしています。MobileSAMはSAMと同様に、公式リポジトリでエンコーダーのONNXエクスポートが無かったため追加しています。EfficientSAMは…

Segment Anything Model(SAM)をONNXに変換して推論🦔

本当はもっと早くやりたかったシリーズSAMが登場してから、もう1年たってるんですよね。。。 SAMは凄い良いモデルなのですが、、、公式リポジトリのONNXエクスポートとONNX推論周りのサポートはちょっとイマイチだと思っています。 どれくらいイマイチかと言…

vehicle-reid-0001 お試し👀

ちょっと古いモデルなのですが、vehicle-reid-0001(正確には OSNet Ain Vehicle ReID)を動かしました 元はOpenVINO動物園のモデルですね。 と言うか、Vehicle ReIDって、結構な確率でモデルのリンク切れしてたり、パッケージの依存関係がアレすぎて、パッ…

PINTO_model_zoo:人検出(425_Gold-YOLO-Body-Head-Hand)味見👀

PINTOさんがアノテーション気合入れて、トレーニングされたGold-YOLOです 昨晩つぶやいた無駄に高解像度だった 640x480 から 320x256 にモデルの入力解像度を落として Float32 CPU推論してみた。ほぼ 3.5倍速 になって精度はほとんど落ちなかった。予想外。…

PINTO_model_zoo:インタラクティブセグメンテーション(391_MagicTouch)Pythonデモ追加

MagicTouch 味見 速度の割に精度良いですね MagicTouch味見さすがに動作早いなー。これCPU推論(Core i7-8750H)です。マウスカーソル当てたところを対象にセグメンテーション https://t.co/SGywr3mL1T pic.twitter.com/TiSvte8Uxd — 高橋 かずひと@闇のパワポ…

PINTO_model_zoo:霧除去・雨除去・雪除去(389_WGWS-Net)Pythonデモ追加

霧除去です。雨除去と雪除去の訓練済みの重みも同梱されています 基本的に僕はCPU推論で試そうと思っているのですが、 以下はかなり重かったのでGPU推論(GeForce GTX 1050 Ti)です WGWS-Net 640x480味見おーもーいーなー。除去性能は今までのモデルと有意な…

YOLOPv2 ONNX推論お試し👀

ある意味、以下の投稿の続編ですね。 ただ、YOLOPとYOLOPv2は作者違う? これですね。YOLOPv2 https://t.co/SX7I4dcvD2 pic.twitter.com/0NpGXq8peC — 高橋 かずひと@闇のパワポLT職人 (@KzhtTkhs) 2023年7月7日 コードは以下です。 いつものごとく、前処理…

PINTO_model_zoo:暗所ノイズ除去(385_PairLIE)Pythonデモ追加

PairLIE味見 あくまで個人的な意見ですが、旧来のモデルに対して特段性能が高い感じはしませんでした。 そして結構処理が重い PairLIEさん補正性能自体はそこそこ(今まで見たモデルと比べて50歩100歩ではある)だけど、処理重いなー。。。512x512のサイズを…

LDC + 細線化アルゴリズム をお試し👻

以下の投稿の続きです。 LDCでエッジ抽出した後に、OpenCVの細線化アルゴリズムを試してみました。 ■オリジナル画像 ■LDC(Average Image) ■細線化(GUOHALL) ソースコードは以下です。 Colaboratoryで処理が完結します👀

LDC: Lightweight Dense CNN for Edge Detection(線画抽出) を ONNX に変換して味見👀

モデル入力の解像度が高ければ、精度はかなり良い感じだと思います 以下は入力サイズ3840x2160のONNXを作って試した例。 ただし、推論は数秒~数十秒かかります。 PINTOさんのツイートで見かけたLDCを味見 1枚目:オリジナル画像 2枚目:5枚出力される結果の…

単眼深度推定 Lite-Mono を ONNX に変換して味見👀

Lite-Monoは、軽量 CNN と トランスフォーマー を組み合わせた単眼深度推定だそうです 少し動かしてみた感じ、軽さの割に精度が良いと思います。 さっき Explore に出てた単眼深度推定を、CPU推論(Core i7-8750H)で確認速度はボチボチ早くて、精度も結構ディ…

暗所ノイズ除去モデル FLW-Net を ONNX や TFLite(onnx2tf使用)に変換して動作確認👀

正直LLIEはデータセットの問題なのか、どのモデルも一長一短な感じがしますね。 FLW-Net 動作確認 & 速度比較320x240サイズで i7 CPUです。左からONNX、TFLite(num_threads=1)、TFLite(num_threads=4) で、TFLiteへ変換するツールはonnx2tfです pic.twitter.…

PINTO_model_zoo:背景除去(353_ShadowFormer)Pythonデモ追加

影除去モデルのShadowFormerの味見です マスク画像がちゃんとしていると結構綺麗に影が消えます。 処理時間はかなり重め。 まあ、入力画像の他にマスク画像も必要ですし、リアルタイム前提ではないですね。 ShadowFormerもっかい味見気合入れてマスク画像作…

背景除去(DIS)の isnet-general-useモデルの性能をお試し👀

以下の投稿の続編です。 isnet-general-use.pth モデルのほうが強い? 髪と腕の間も切り抜けているようですね。 pic.twitter.com/zzFpH7SltZ — 高橋 かずひと@闇のパワポLT職人 (@KzhtTkhs) 2023年2月25日 isnet-general-use.pth ってアップデートで追加さ…

PINTO_model_zoo:背景除去(313_IS-Net)Pythonデモ追加

背景除去のIS-Netの味見です アップデート版のモデルがオリジナルリポジトリに更新されているようなので、後で見に行きます。 PINTOさん動物園からIS-Net拾ってきて味見背景削除さん pic.twitter.com/JMtuYc3gwG — 高橋 かずひと@闇のパワポLT職人 (@KzhtTkh…