以下の3入力を持つ画像変換モデルです👀
- 入力用セグメンテーションマップ(下記の左から1枚目)
- 参考画像(下記の左から2枚目)
- 参考画像のセグメンテーションマップ
動作は公式の以下のデモ画像を見たら分かりやすいかと思います。
※https://github.com/microsoft/CoCosNet Demoから画像引用
以下は試した画像です（左から1枚目が入力セグメンテーションマップ、2枚目が出力、3枚目が参考画像）
まずは、入力と参考のセグメンテーションマップに同じものを指定し、復元できるか👀
入力のセグメンテーションマップを変更してリファレンス画像風の画像が生成されるか👀
今度は参考画像(＆参考画像のセグメンテーションマップ)を変更して画風が変換されるか👀
上記のテストはADE20Kのデータセットを使用しているため、今度は自前で画像とセグメンテーションマップを用意してテスト👀
あと、セグメンテーションマップが見にくいため、色付けして表示🦔
コードは以下です👻
