改进深度卷积生成式对抗网络的文本生成图像 |
| |
引用本文: | 李云红,朱绵云,任劼,苏雪平,周小计,于惠康.改进深度卷积生成式对抗网络的文本生成图像[J].北京航空航天大学学报,2023(8):1875-1883. |
| |
作者姓名: | 李云红 朱绵云 任劼 苏雪平 周小计 于惠康 |
| |
作者单位: | 西安工程大学电子信息学院 |
| |
基金项目: | 国家自然科学基金(61902301);;陕西省自然科学基础研究计划重点项目(2022JZ-35)~~; |
| |
摘 要: | 针对深度卷积生成式对抗网络(DCGAN)模型高维文本输入表示的稀疏性导致以文本为条件生成的图像结构缺失和图像不真实的问题,提出了一种改进深度卷积生成式对抗网络模型CA-DCGAN。采用深度卷积网络和循环文本编码器对输入的文本进行编码,得到文本的特征向量表示。引入条件增强(CA)模型,通过文本特征向量的均值和协方差矩阵产生附加的条件变量,代替原来的高维文本特征向量。将条件变量与随机噪声结合作为生成器的输入,并在生成器的损失中额外加入KL损失正则化项,避免模型训练过拟合,使模型可以更好的收敛,在判别器中使用谱约束(SN)层,防止其梯度下降太快造成生成器与判别器不平衡训练而发生模式崩溃的问题。实验验证结果表明:所提模型在Oxford-102-flowers和CUB-200数据集上生成的图像质量较alignDRAW、GAN-CLS、GAN-INT-CLS、StackGAN(64×64)、StackGAN-v1(64×64)模型更好且接近于真实样本,初始得分值最低分别提高了10.9%和5.6%,最高分别提高了41.4%和37.5%,FID值最低分别降低了11.4%和8.4%,最高分别降低了43....
|
关 键 词: | 深度卷积生成式对抗网络 文本生成图像 文本特征表示 条件增强 KL正则化 |
|
|