はじめに Pycon mini 東海 2024 でトーク発表してきました。今年は全然LTとか発表していなくて、ここでの発表で今年2回目でした。久々すぎて緊張しましたね。。。( ´ー｀)y-~~でも、オフラインの発表でしか出ない脳汁があることを再認識しました 会場は、中…
「D-FINE は、DETR の境界ボックス回帰タスクをFDR として再定義し、GO-LSDを導入する強力なリアルタイム オブジェクト検出器であり、追加の推論およびトレーニング コストを導入することなく優れたパフォーマンスを実現します」とのこと D-FINE味見中https:…
1.3B と言う軽さで、画像認識も画像生成も出来るJanusを味見しています。ただ、研究として異議はあるかもですが、運用として認識も生成もしたい状況ってないんですよねー。この構造のおかげで1.3Bと言う軽さに寄与している？ 性能は中々だと思います。ただ、…
PINTO_model_zooの秋の新作です 人検出＋顔向き（水平方向）＋属性判定（おとな/こども、男女）＋パーツ（目、鼻、口、耳、右手、左手、足）の検出が出来るRT-DETRv2です。この系統のモデルは、PINTO_model_zooでYOLOv9で公開されてきていたのですが、RT-DET…
以下を試したときのメモをZennに書きましたまあ、正直小細工ではあります。すぐにこんな小細工も必要ないくらいGPT進化すると思っていますが。。。 OpenAIのSwarmさんで画像認識を試しています。とりあえず、GPT-4o miniが苦手な座標取得を依頼された時に、F…
以下の続きです。 ちょっとymlファイルが多いですが、あまり癖のないトレーニングコードで、サクッとColaboratoryで動かせました RT-DETR(v2)をColaboratoryでトレーニングするサンプルも放流https://t.co/EuKfAaR701 pic.twitter.com/pIk8vY0rCk — 高橋 か…
そーいえば、RT-DETR(v2)触ったことなかったな。と思って軽くお試し あー、CPU(Core i7-8750H CPU)だと思ったより早くて、GPU(GeForce GTX 1050 Ti)だと思ったより遅いな、、、いや、GPU古いってのもありますが、、、新しめのGPUだと速いんだろーなって雰囲…
かなーり昔に作ったセグメンテーションモデルの続編ですね。 元々目指していた方向性が、MediaPipeのSelfieMultiClassで達成できてしまうので、方向性を変えてイラストも追加して学習してみました。 正直、精度はまだまだイマイチです。以下みたいな感じ ま…
Molmoより先に試していたのですが、、、Molmoが突如現れて、一部の認識機能（位置把握とかカウント能力）でちょっと衝撃的だったので、後回しにしてしまっていました。。。 一番小さいモデルで0.5BのVLMです。ただ、Flash Attention採用してて、Ampereアーキ…
VLMもじゃんじゃんリリースされますね。Apache2.0 の OSS で GPT4V より認識性能が高いらしいです GPUメモリ的にColaboratoryだとA100必須だけど、このVLMの性能は凄いな2枚目は可視化したものだけど、位置も良さそう pic.twitter.com/J4NvC7CrT5 — 高橋 か…
とりあえず動かしたノートブックです。ちょっと色々試す時間なかったので、いったん共有です👻 github.com
CartoonSegmentation触った関連と言うことで、Anime-Segmentation を触っています。ちょっとタスクは違いますが。。。（CartoonSegmentationはインスタンスセグメンテーション、Anime-Segmentation はセマンティックセグメンテーションによる前景抽出、のよ…
SegGPTを試しています。 SegGPTをColaboratoryでお試ししているリファレンス画像とマスク指定を用意して、対象物のセグメンテーションを行うモデルですね pic.twitter.com/syYtm4uYCr — 高橋 かずひと@闇のパワポLT職人 (@KzhtTkhs) 2024年9月11日 試すだけ…
CartoonSegmentation のオリジナルはmmcv関連のパッケージがインストール必要で、ちょっと環境構築が面倒だったのですが、ONNXに変換してくれているリポジトリがあったため、Colaboratoryで試してみました。 CartoonSegmentationのONNX助かるーオリジナルリ…
CoLIEと言うアルゴリズムのLLIEです。 画像毎にtrain()を回して適応する仕組み上、現時点のONNX変換は不可ですただ、個人的な初見ですが、最近見たLLIE系の中では一番補正性能高いと思います。ただし、処理時間はそれなりに必要なので使いどころは考える必要…
生成AI全盛期の今では、正直あまり使いどころもありませんが、、、個人的にはWhite-box-Cartoonizationで変換された風景とか、味があって好きです もう4年くらい前のモデルだけど、今でも風景に対してのWhite-box-Cartoonizationの変換結果、味があって好きT…
Alibaba が 公開した Qwen2-VL を Colaboratoryでお試ししていますいくらか試していますが、かなり認識性能が高い気がします。多言語対応していて、日本語入力、日本語回答が出来るのもポイント高いですね。 そういえば、オープンな重みで日本語入力、日本語…
昔作ったサンプルのフルリニューアルです。 8ヶ月ほど遅いですが、レガシーソリューションから新ソリューションにリニューアルしましたtfliteファイルやtaskファイルをインスタンス生成時にロードする仕様に変わっているやつです。個人的には1枚目のSelfieMu…
ある程度近い距離だと綺麗に抜けますね複数人とか遠いとかだとイマイチなので、人検出と組み合わせたりしないとですが。 4年くらい前のU-Netベースのモデルですが、衣服セグメンテーション味見している眼鏡は衣服か、、、アイウェアだしそうか、、、？ pic.t…
苦手です ※2024年8月30日現在 と言うか、前々から色々なVLMに対して言及されていた課題ではありますが、、、（特にGPT4Vで指摘されることが多い印象） お仕事でプロトタイプ検証した時も感じておりましたが、仕事の内容なので、はてブに書くわけにもいかず、…
難解プログラミング言語のソースコードを普通の言語で生成するという虚無👻 zenn.dev
完全に個人的なメモです。Zennのスクラップです。 これ毎回ググってんな。。。とか、これ毎回GitHubで自分のリポジトリ検索かけてるな。。。みたいなやつを整理しています👀 zenn.dev
MiniCPM-V2.6 は、単一画像、複数画像、動画などを処理できるマルチモーダルLLMです。個人的な感想ですが、この手のローカルで動かせるVLMで、複数画像や動画を処理できるものは珍しい気がしますね MiniCPM-V2.6は、公式の説明では以下のような特徴があるら…
Microsoft が 公開している軽量VLMのFlorence 2をColaboratoryで味見しています。 Florence 2 は以下のようなタスクが実行できるモデルです。一般的にVLMで言う、フリーワードでのプロンプトではなく、タスクに応じたプロンプトの指定が必要です。 CAPTION：…
軽量なVLMのMobileVLM V2です。以下はシンプルなプロンプトですが、T4 GPUで約250msとかなり早いです そーいえば、MobileVLMも触りかけて放置してたのですが、Colaboratoryで改めて触りましたシンプルなプロンプトですが、T4 GPUで約250msと言うのは流石に早…
いわゆる顔交換ですねオリジナリティ等あんまないので、Zennスクラップ行きです。 inswapper でのフェイススワップこれに関しては完全に趣味だな、、、仕事じゃ絶対使わんし 1枚目：交換元画像 2枚目：交換先画像 3枚目：交換結果 pic.twitter.com/PdvrskzDK…
NSFW（Not Safe For Work：職場での閲覧注意）画像の判定ですNSFWと言ってもアダルト判定のみでグロとか暴力とかは対象外。 やりかけで放置していたサンプルソースがポコポコ出てくる、、、これはNSFWモデルをONNX変換したもの。たしか一時期Stable Diffusio…
MVANetです。BiRefNetと同じくDIS（Dichotomous Image Segmentation）モデルです。 あくまで、個人的な感覚ですが、BiRefNetの半分くらいの推論速度で、精度はそれなりと言う感じです重みファイルも半分くらい（約440MB） お試ししたソースコードは以下にコ…
雨除去と言うか水滴除去ですかね後処理がちょっと珍しい感じです。性能はボチボチ？ 310_attentive-gan-derainnetちょっと珍しい後処理と言うか出力の補正が必要各チャンネルごとにスケーリング pic.twitter.com/eLjxGEmL17 — 高橋 かずひと@闇のパワポLT職…
BiRefNetをONNXに変換して動作を味見しています。いわゆるDIS（Dichotomous Image Segmentation）モデルです。背景除去、背景分離、Salient Object Detectionとか呼ばれたりもする？Salient Object Detectionは違うか？ ONNX変換後の重みファイルが1GB弱あっ…
