MiniCPM-V2.6 は、単一画像、複数画像、動画などを処理できるマルチモーダルLLMです。個人的な感想ですが、この手のローカルで動かせるVLMで、複数画像や動画を処理できるものは珍しい気がしますね MiniCPM-V2.6は、公式の説明では以下のような特徴があるら…

Microsoft が 公開している軽量VLMのFlorence 2をColaboratoryで味見しています。 Florence 2 は以下のようなタスクが実行できるモデルです。一般的にVLMで言う、フリーワードでのプロンプトではなく、タスクに応じたプロンプトの指定が必要です。 CAPTION：…

軽量なVLMのMobileVLM V2です。以下はシンプルなプロンプトですが、T4 GPUで約250msとかなり早いです そーいえば、MobileVLMも触りかけて放置してたのですが、Colaboratoryで改めて触りましたシンプルなプロンプトですが、T4 GPUで約250msと言うのは流石に早…

いわゆる顔交換ですねオリジナリティ等あんまないので、Zennスクラップ行きです。 inswapper でのフェイススワップこれに関しては完全に趣味だな、、、仕事じゃ絶対使わんし 1枚目：交換元画像 2枚目：交換先画像 3枚目：交換結果 pic.twitter.com/PdvrskzDK…

NSFW（Not Safe For Work：職場での閲覧注意）画像の判定ですNSFWと言ってもアダルト判定のみでグロとか暴力とかは対象外。 やりかけで放置していたサンプルソースがポコポコ出てくる、、、これはNSFWモデルをONNX変換したもの。たしか一時期Stable Diffusio…

MVANetです。BiRefNetと同じくDIS（Dichotomous Image Segmentation）モデルです。 あくまで、個人的な感覚ですが、BiRefNetの半分くらいの推論速度で、精度はそれなりと言う感じです重みファイルも半分くらい（約440MB） お試ししたソースコードは以下にコ…

雨除去と言うか水滴除去ですかね後処理がちょっと珍しい感じです。性能はボチボチ？ 310_attentive-gan-derainnetちょっと珍しい後処理と言うか出力の補正が必要各チャンネルごとにスケーリング pic.twitter.com/eLjxGEmL17 — 高橋 かずひと@闇のパワポLT職…

BiRefNetをONNXに変換して動作を味見しています。いわゆるDIS（Dichotomous Image Segmentation）モデルです。背景除去、背景分離、Salient Object Detectionとか呼ばれたりもする？Salient Object Detectionは違うか？ ONNX変換後の重みファイルが1GB弱あっ…

LLIE(Low Light Image Enhancement)のDiffusion-Low-Lightです。個人的な感想ですが、正直、性能に対して重い、、、 過去に、動物園のDiffusion Low Lightを味見しようとした形跡があったのだけど、何で途中でやめたんだっけ。。。仕事忙しくなったとかかし…

Zennに投稿しました。 OpenVINOさん、Colaboratory上でもサクッと動くようになったし、PaddlePaddleのモデルを直接読み込めるし、僕的には結構使い道ありそう zenn.dev ノートブックは以下のリポジトリで公開しています。 github.com 追記： 推論時間の比較↓…

Crowd Counting(群衆カウント、群衆密度推定)のモデルであるMPCountを味見しています 少し余裕が出てきたので、いくつか味見をしているこれは CVPR2024 paper "Single Domain Generalization for Crowd Counting" pic.twitter.com/XcCOCNNAsn — 高橋 かずひ…

先週お試ししていましたが、ちょっとバタバタしてて放置してしまっていました。。。 SAM2が発表されたので味見していましたが、これは凄いですね。静止画はちょっとSAMからの進歩分かりにくいですが、Videoトラッキングは結構エグイ うわ、SAM2（Segment Any…

スクラップメモです👀人生で2回目に必要になったので、忘れないようにメモ。 zenn.dev

ちょっと興味あって、OpenAI の Moderation API を味見しています 「The moderations endpoint is a tool you can use to check whether text is potentially harmful. Developers can use it to identify content that might be harmful and take action, f…

サンプルスクリプト動かしただけですが、、、 精度良さそうな気がします 遅くなったけど、サイバーのCALM2の日本語VLMをColabで味見した最低L4のGPUじゃないとメモリ不足で動かない pic.twitter.com/5KKQxCxqLP— 高橋 かずひと@闇のパワポLT職人 (@KzhtTkhs)…

実は引っ越してから、ずっとWiMAXだったのですが、今日NURO光が開通しました 悪くない速度が出ています。良かった たまに、運悪く下り10Mbpsみたいな状況になって「終わった」とかツイートしている人いるし、ふつーに速度出てよかったです。 ついでにPython…

進化していますね どーいう学習とかアーキ変更とかしたら、スキマナースに対応できるよーになるのか分からん https://t.co/cL8eh9tcuK — 高橋 かずひと@闇のパワポLT職人 (@KzhtTkhs) 2024年5月13日 これ読めてるのすげーな「鉢は金属製で、1つの鉢には「TOD…

雑メモです👀 S3からファイルをダウンロードするやつです。

雑メモです👀 Kinesis Videoから動画をダウンロードするやつです。GetClipは数分程度の動画しか取れないため、細切れの動画を沢山ダウンロードします🦔

CVPR'24 Paper の XFeatをONNXに変換してお試ししています。いわゆる特徴点抽出ですね 雑にONNXに変換して動かしてみているけど、、、まあ、精度も速度（CPU）も普通かなー、、、 pic.twitter.com/tARe4AQL5e — 高橋 かずひと@闇のパワポLT職人 (@KzhtTkhs) …

LLIE（Low-Light Image Enhancement）系モデルのLYT-Netお試しです。2024年の比較的新しめのモデルです。 比較的新しめのモデルではあるのですが、性能はボチボチふつー、、、と言うか、いつも試している動画の難易度が高すぎる。と言うのはあると思いますが…

一人歩きする資料くんです👀 pic.twitter.com/KBI4GjqFNB — 高橋 かずひと@闇のパワポLT職人 (@KzhtTkhs) 2024年4月24日 LT資料に載せようと思ってパッと生成した画像ですが、ちょっと気に入った👀

最近サルベージしてたブレ補正系の作業はいったんMeshFlowでおしまいです 動画の動きと相性があるのか試したやつだと、あんまり良い見た目になりませんでした。あとMeshFlowは何ステップかに処理が分かれていて、かなり処理時間かかる MeshFlowというブレ補…

Keras Code examples の「Keypoint Detection with Transfer Learning」と言うサンプルを改善しようとチマチマ眺めていたけど、無理っぽい気がしたので供養する投稿です Keras Code examples 結構好きなんですけど、キーポイント検出の内容はずっと気になっ…

ひとつ前の投稿で書いたVidStabが、いわゆるレガシーな画像処理的なブレ補正だとすると、GlobalFlowNetは、いわゆるDeep系なブレ補正です。 ブレ補正の性能は高いと思いますが、、、処理時間がかかるのと、GlobalFlowNetは画像を出力する際に画質が劣化する…

VidStabというライブラリを使用した動画のブレ補正です。キーポイントマッチングとアフィン変換を使用した、いわゆるレガシーなブレ補正手法なライブラリです。 Deep系なアルゴリズムに比べて、処理速度が速い傾向があり、そこそこ補正できるような感じです…

この投稿の続編です。 kazuhito00.hatenablog.com MobileSAM と EfficientSAM の ONNX推論お試しコードを以下にコミットしています。MobileSAMはSAMと同様に、公式リポジトリでエンコーダーのONNXエクスポートが無かったため追加しています。EfficientSAMは…

本当はもっと早くやりたかったシリーズSAMが登場してから、もう1年たってるんですよね。。。 SAMは凄い良いモデルなのですが、、、公式リポジトリのONNXエクスポートとONNX推論周りのサポートはちょっとイマイチだと思っています。 どれくらいイマイチかと言…

YOLO-World試そう試そうとは思ってたのですが、仕事がバタバタしてて、 今更触りました 気が付いたらv2になっていたわけですが、v1との違いは良く分からないなー 以下の動画の最後のほうの「hand」は頑張っているとは思いますが。 YOLO-Worldもv2になってた…

以下のツールをGUIでくるんだ簡易ビューアです 今回はGUIフレームワークにFletを使用しています。 ちょっと前？に話題になって、触ろう触ろうと思ってたのですが、今回初めて触りました。設計思想とかデザインとか結構好みな感じです 触ろう触ろうと思ってて…