[お絵描きAI]
お絵描きAI
GPUを使わない機械学習モデルの使用については主にここを参考にした
必要なこと
- AnacondaでPython 3.9環境を準備する
- GitHubからStable DiffusionのモデルをDLする
- pip install
StableDiffusionの基本的機能
単語だけで絵を生成
$ python demo.py --model ShadowPower/waifu-diffusion.openvino \ --prompt "(ここに呪文)" --output (uuidgen).png
ベースイメージを指定して絵を生成
$ python demo.py --model ShadowPower/waifu-diffusion.openvino \ --prompt "(ここに呪文)" \ --init-image (ここに元絵) --strength 0.5 \ --output (uuidgen).png
お絵描きツールとの連携
OutPainting, Inpaintingが使いたかったので
インストールのやり方
Gimp
- Debian(bullseye)のGimpではPython3がobsoleteのためGimpに内蔵で使うためのpython2が使用できない
ので、Flatpak版を使う
- flatpakの準備
sudo apt install flatpak sudo apt install gnome-software-plugin-flatpak flatpak remote-add --if-not-exists flathub https://flathub.org/repo/flathub.flatpakrepo
latpak install flathub org.gimp.GIMP
バージョン確認
❯ flatpak list | grep GIMP GIMP (GNU Image Manipulation Program) org.gimp.GIMP 2.10.32 stable system
StableDiffusion(dockerコンテナ側)
- この辺、openvino版をcogで使うため個人的にリポジトリを作ってインテグレーションした。ただ、それは非公開としている。
Gimpプラグイン側
- (1) Gimpのメニューから「編集 > 設定 > フォルダー > プラグイン」とたどって現在のプラグイン用フォルダを確認
- 「~/.config/GIMP/2.10/plug-ins」などが設定されているはず
- (2) GitHubリポジトリから「Download ZIP」してソースコードをzipファイルでDLする
- (3) zipファイルを展開して、その中からgimp-stable-diffusion-local.pyだけ~/.config/GIMP/2.10/plug-ins以下にコピー
- (4) chmod 755 gimp-stable-diffusion-local.py する
- (5) Gimp再起動すると、メニューに「AI」が増えているはず
- トラブルシューティング
- 「gimp: LibGimpBase-WARNING: gimp: gimp_wire_read(): error」が出る場合、Python-Fuが使えていないためflatpak版のGimpを使うべし
- メニューから「AI > Stable Local」とたどった時、項目がdisableになっているが、画像をなにか読み込むとactiveになる
InvokeAI
https://github.com/invoke-ai/InvokeAI
めちゃくちゃいいのが出てる。操作方法等は、InvokeAIに記載している。