高橋かずひとのプログラミング、その他、備忘録。

日々調べてたことや、作ってみたものをメモしているブログ。　お決まりの断り文句ですが、このブログに書かれている内容は個人の見解であり、所属する組織の公式見解ではありません。チラ裏。

LLIE系モデルLYT-Netお試し🦔

機械学習 Python ONNX

LLIE（Low-Light Image Enhancement）系モデルのLYT-Netお試しです。
2024年の比較的新しめのモデルです。

比較的新しめのモデルではあるのですが、性能はボチボチふつー、、、
と言うか、いつも試している動画の難易度が高すぎる。と言うのはあると思いますが👻

 

試したソースコードは以下にコミットしています🦔
いつものとおり、ONNXに変換してから試しています。

github.com

MeshFlowで動画のブレ補正をお試し🦔

OpenCV Python Colaboratory

最近サルベージしてたブレ補正系の作業はいったんMeshFlowでおしまいです🦔

動画の動きと相性があるのか試したやつだと、あんまり良い見た目になりませんでした。
あとMeshFlowは何ステップかに処理が分かれていて、かなり処理時間かかる👻

 

Colaboratory上で試したサンプルは以下にコミットしています。


---

 

処理時間とか精度とかのバランスを考えると、レガシーな画像処理の手法を使ったVidStabのほうが、僕の用途には向いてそう👀

Keras Code examples 「Keypoint Detection with Transfer Learning」のダメそうなポイントのメモ🦔

Zenn 機械学習 Keras

Keras Code examples の「Keypoint Detection with Transfer Learning」と言うサンプルを改善しようとチマチマ眺めていたけど、無理っぽい気がしたので供養する投稿です🦔

 

「Keypoint Detection with Transfer Learning」のダメポイントはZennのスクラップにまとめて供養しています。


ダメポイント分かっているなら、それを一つ一つ改善すれば良いんじゃねーの？と思われる方もいると思いますが、、、
Keras Code examples には、以下のような信念があり、それらを満たしつつ改善する方法が思いつきませんでした😇

・コード例は短くする (300 行未満のコード)
・深層学習のワークフローのみに焦点を絞ったシンプルなデモにする
・Google Colaboratoryで実行できるようにする

GlobalFlowNetで動画のブレ補正をお試し🦔

機械学習 Python Colaboratory

ひとつ前の投稿で書いたVidStabが、いわゆるレガシーな画像処理的なブレ補正だとすると、
GlobalFlowNetは、いわゆるDeep系なブレ補正です。

ブレ補正の性能は高いと思いますが、、、
処理時間がかかるのと、GlobalFlowNetは画像を出力する際に画質が劣化するので、ちょっと僕的には使い道があんまないかなーって感じでした👻

 

いったんColaboratory上で試したノートブックは、以下にコミットしています🦔

github.com

VidStabで動画のブレ補正🐦

Python OpenCV

VidStabというライブラリを使用した動画のブレ補正です。
キーポイントマッチングとアフィン変換を使用した、いわゆるレガシーなブレ補正手法なライブラリです。

Deep系なアルゴリズムに比べて、処理速度が速い傾向があり、そこそこ補正できるような感じです。

以下を見てもらえば分かりますが、ある程度の用途ならば十分に力を発揮するライブラリだと思います🦔

 

各キーポイント抽出手法を比較したコードは、以下にコミットしています👻

github.com

MobileSAM と EfficientSAM も ONNX推論お試し👀

機械学習 Python ONNX Colaboratory Semantic Segmentation

この投稿の続編です。

kazuhito00.hatenablog.com

 

MobileSAM と EfficientSAM の ONNX推論お試しコードを以下にコミットしています。
MobileSAMはSAMと同様に、公式リポジトリでエンコーダーのONNXエクスポートが無かったため追加しています。
EfficientSAMは公式リポジトリで、エンコーダー・デコーダーのONNXエクスポート、ONNX推論サンプルがしっかり揃っていたので、Colaboratoryサンプルと他2リポジトリとあわせた簡易デモを用意しています👻

github.com

github.com