目录

显示图片

import torch                              # 导入 PyTorch 库,用于张量操作
import torch.nn.functional as F           # 导入 PyTorch 的函数式 API,包含各种神经网络函数
import numpy as np                        # 导入 NumPy 库,用于数值计算
import matplotlib as mpl                  # 导入 Matplotlib 库的主模块
import matplotlib.pyplot as plt           # 导入 Matplotlib 的绘图模块,用于显示图像
import imageio.v2 as imageio                            # 导入 imageio 库,用于读取图片文件

mpl.rcParams['figure.figsize'] = (12, 8)  # 设置 Matplotlib 图表默认尺寸为 12x8 英寸

img = torch.FloatTensor(imageio.imread('imgs/hills_2.png')/255)  # 读取图片,像素值归一化到[0,1],转为 PyTorch 浮点张量
print(type(img))
plt.imshow(img)                           # 使用 Matplotlib 显示图片
plt.show()

将上述文件保存为1.py,执行后将hills_2.png显示出来。

RGB一共有三个通道

R:Red(红色)

G:Green(绿色)

B:Blue(蓝色)

其取值范围为[0,255]

例如:

黑色:(0,0,0)

白色:(255,255,255)

红色:(255,0,0)

蓝色:(0,0,255)

如果图像尺寸是 𝐻×𝑊

常见 tensor 形状:

PyTorch:(3,𝐻,𝑊)

TensorFlow:(𝐻,𝑊,3)

对称处理

为了让数据和高斯噪声处在同一个零中心对称空间里,要对像素值进行仿射变换:

原像素值取值范围为[0,255]

归一化(就是除以255),取值范围为[0,1]

现在想它取值范围为[-1,1]

变换形式为$y=ax+b$

当$x=0$时,$y=-1$,当$x=1$时,$y=1$

$y=2x-1$,$x=\frac{1}{2}y+\frac{1}{2}$

仿射变换矩阵为:

$$ \begin{bmatrix} y \\ 1 \end{bmatrix} = \begin{bmatrix} 2 & -1 \\ 0 & 1 \end{bmatrix} \begin{bmatrix} x \\ 1 \end{bmatrix} $$

$$ \begin{bmatrix} x \\ 1 \end{bmatrix} = \begin{bmatrix} \frac{1}{2} & \frac{1}{2} \\ 0 & 1 \end{bmatrix} \begin{bmatrix} y \\ 1 \end{bmatrix} $$

写成代码2.py

import torch                              # 导入 PyTorch 库,用于张量操作
import torch.nn.functional as F           # 导入 PyTorch 的函数式 API,包含各种神经网络函数
import numpy as np                        # 导入 NumPy 库,用于数值计算
import matplotlib as mpl                  # 导入 Matplotlib 库的主模块
import matplotlib.pyplot as plt           # 导入 Matplotlib 的绘图模块,用于显示图像
import imageio.v2 as imageio                            # 导入 imageio 库,用于读取图片文件

mpl.rcParams['figure.figsize'] = (12, 8)  # 设置 Matplotlib 图表默认尺寸为 12x8 英寸

img = torch.FloatTensor(imageio.imread('imgs/hills_2.png')/255)  # 读取图片,像素值归一化到[0,1],转为 PyTorch 浮点张量
print(type(img))
                           # 使用 Matplotlib 显示图片
def input_T(input):
    # [0,1] -> [-1,+1]
    return 2*input-1
    
def output_T(input):
    # [-1,+1] -> [0,1]
    return (input+1)/2

def show(input):
    plt.imshow(output_T(input).clip(0,1))
    
img_=input_T(img)

plt.imshow(img_)

#show(img_)

plt.show()

这段代码改改玩,如果只进行变换,不进行逆变换

图片长这样

可以看出图片的形状没有变

扩散过程

扩散过程是基于一个方差调度表构建的,这个调度表决定了在扩散过程的每一个时间步中加入噪声的强度。为此,我们定义如下几个量:

1. betas:$\beta_t$

它表示第 $t$ 步加入噪声的强度,也可以理解为该步的“噪声方差比例”。

直观理解:

所以,$\beta_t$ 控制的是:
当前这一步要往图像里掺多少噪声。

  1. alphas:$\alphat = 1 - \betat$

它表示第 $t$ 步保留下来的原始信号比例。

直观理解:

因为每一步不是“全换成噪声”,而是:

所以:

可以把它理解为:
这一轮之后,图像内容还能剩下多少。

  1. alphassqrt:$\sqrt{\alphat}$

这个量是在实际加噪公式里直接使用的系数。

单步扩散通常写成:

$$x_t = \sqrt{\alpha_t} \, x_{t-1} + \sqrt{1-\alpha_t} \, \epsilon_t$$

其中:

直观理解:

$\sqrt{\alpha_t}$ 是上一步图像在当前步中的保留权重。

之所以取平方根,是因为扩散模型里控制的是方差,而真正乘在样本上的系数是标准差,所以会出现平方根。

注:变量乘以标准差,才能得到对应的方差。如X⇒3X,方差是原来的9倍。

  1. alphasprod:$\bar{\alpha}t = \prod{i=0}^{t}\alphai$

它表示从第 $0$ 步到第 $t$ 步,所有保留比例连乘之后的结果。

直观理解:

如果每一步都保留一部分信号,那么经过很多步之后,原始图像 $x_0$ 还能剩多少,不是看某一步,而是看所有步骤累积起来的效果。

所以 $\bar{\alpha}_t$ 表示:

原始图像 $x_0$ 到第 $t$ 步时,整体还保留了多少比例的信号能量。

5. alphasprodsqrt:$\sqrt{\bar{\alpha}_t}$

这个量是从原图 $x_0$ 直接生成第 $t$ 步噪声图 $x_t$ 时的关键系数。

扩散模型里一个非常重要的公式是:

$$x_t = \sqrt{\bar{\alpha}_t} \, x_0 + \sqrt{1-\bar{\alpha}_t} \, \epsilon$$

直观理解:

这里: