复现

环境代码util.py

测试Text-to-Image

直接使用网页生成

记录复现LDM遇到的问题

环境

conda env create -f environment.yaml 根据environment.yaml创建一个叫ldm的新环境 其中报错是需要github下载的两个模型无法获取，通过VPN单独下载

根据报错信息显示代码放在./src文件夹下

Installing pip dependencies: \ Ran pip subprocess with arguments:

['/home/****/.conda/envs/ldm/bin/python', '-m', 'pip', 'install', '-U', '-r', '/mnt/****/****/latent-diffusion-main/condaenv.ie4dsr_m.requirements.txt']

Pip subprocess output:

Obtaining taming-transformers from git+https://github.com/CompVis/taming-transformers.git@master#egg=taming-transformers (from -r /mnt/****/****/latent-diffusion-main/condaenv.ie4dsr_m.requirements.txt (line 13))

Cloning https://github.com/CompVis/taming-transformers.git (to revision master) to ./src/taming-transformers

Pip subprocess error:

ERROR: Command errored out with exit status 128: git clone -q https://github.com/CompVis/taming-transformers.git /mnt/****/****/latent-diffusion-main/src/taming-transformers Check the logs for full command output.

failed

CondaEnvException: Pip failed

注意一下模型的文件名，根据报错和yaml分析，这里应该是用的environment.yaml里#egg后面的名字

#environment.yaml

...

- -e git+https://github.com/CompVis/taming-transformers.git@master#egg=taming-transformers

- -e git+https://github.com/openai/CLIP.git@main#egg=clip

- -e .

放到对应位置后还是不能用，再 pip install taming-transformers 以及 pip install clip 安装很流畅，现在可以正常运行了 可以看到，两个从github手动安装的模型放在这个路径 /home/user/.conda/envs/ldm/lib/python3.8/site-packages/xxx(taming, clip)/

比较疑惑的是如果第一次安装出了问题，想要重新装environment.yaml时，不知道如何利用environment更新已有环境。直接用上面的口令会报下面的错，搜索了很久没有找到解决方案。

CondaValueError: prefix already exists: /home/fangfei/.conda/envs/ldm

更新 解决方案 conda env update -n environment_name -f environment.yaml 即可依据environment.yaml更新环境 如果不指定-n则更新到environment.yaml中命名的环境中 参考链接

代码

util.py

def instantiate_from_config(config):

...

# 根据target位置，返回一个函数，对函数输入params中参数

return get_obj_from_str(config["target"])(**config.get("params", dict()))

def get_obj_from_str(string, reload=False):

module, cls = string.rsplit(".", 1)

...

return getattr(importlib.import_module(module, package=None), cls)

getattr(object, name[, default]) 用于返回一个对象属性值。 例子:

>>>class A(object):

... bar = 1

...

>>> a = A()

>>> getattr(a, 'bar') # 获取属性 bar 值

1

>>> getattr(a, 'bar2') # 属性 bar2 不存在，触发异常

Traceback (most recent call last):

File "", line 1, in

AttributeError: 'A' object has no attribute 'bar2'

>>> getattr(a, 'bar2', 3) # 属性 bar2 不存在，但设置了默认值

3

>>>

import动态导入模块

测试

测试的代码在./script/下

Text-to-Image

首先测试T2I功能，根据README.md 下载pre-trained weights (5.7GB)

mkdir -p models/ldm/text2img-large/

wget -O models/ldm/text2img-large/model.ckpt https://ommer-lab.com/files/latent-diffusion/nitro/txt2img-f8-large/model.ckpt

采样#1

# 官方采样指令

python scripts/txt2img.py

--prompt "a virus monster is playing guitar, oil on canvas"

--ddim_eta 0.0

--n_samples 4

--n_iter 4

--scale 5.0

--ddim_steps 50

This will save each sample individually as well as a grid of size n_iter x n_samples at the specified output location (default: outputs/txt2img-samples).

采样#2

python scripts/txt2img.py

--prompt "a painting of a virus monster playing guitar"

--outdir ./outputs/txt2img-samples

--plms

--ckpt ./models/ldm/sd-v1-4.ckpt

--ddim_steps 100

--H 512

--W 512

--seed 8

其中sd-v1-4.ckpt 在ComVis下载。按网页指引申请权限就可以获得了，很友好。

直接使用网页生成

stable diffusion

参考链接

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：