论文总字数：59316字
%本模板在CTEX2.8版本下编辑，运行两遍PDFLatex 编译通过
%论文封面需要Word单独制作
\documentclass[oneside,openany,12pt]{cctbook}
\usepackage{bm}
\usepackage{graphicx}
\usepackage{subfigure}
\usepackage[linesnumbered,boxed,ruled,commentsnumbered]{algorithm2e}
\usepackage{amsmath}
\usepackage{amsthm}
\usepackage{amsfonts}
\usepackage{ulem}
\usepackage{caption}
\zihao{3}\ziju{0.15}
\pagestyle{myheadings} \textwidth 16.0cm \textheight 22 truecm
\special{papersize=21.0cm,29.7cm} \headheight=1.5\ccht
\headsep=20pt \footskip=12pt \topmargin=0pt \oddsidemargin=0pt
\setcounter{section}{0}
\frontmatter
\def\nn{\nonumber}
\newcommand{\lbl}[1]{\label{#1}}
\newcommand{\bib}[1]{\bibitem{#1} \qquad\framebox{\scriptsize #1}}
%\renewcommand{\baselinestretch}{1.5}
%\newtheorem{theo}{Theorem}
%\newtheorem{prop}{Proposition}
%\newtheorem{lem}{Lemma}
%\newtheorem{remark}{Remark}
%\newtheorem{col}{Corollary}
%\newtheorem{defi}{Definition}
\newcommand{\be}{\begin{equation}}
\newcommand{\ee}{\end{equation}}
%\def\c{\theta}
\newcounter{local}
\newcounter{locallocal}
\newcommand{\scl}{\stepcounter{local}}
\setcounter{local}{0}
\def\s#1{\setcounter{local}{#1}}
\usepackage{Picinpar}
\usepackage{amsmath,amssymb}
\usepackage{graphicx}
\usepackage{flafter}
\usepackage{fancyhdr}
\newcommand{\makeheadrule}{%
\makebox[0pt][l]{\rule[0.55\baselineskip]{\headwidth}{0.4pt}}%
\rule[0.7\baselineskip]{\headwidth}{0.4pt}}
\renewcommand{\headrule}{%
{\if@fancyplain\let\headrulewidth\plainheadrulewidth\fi
\makeheadrule}}
\makeatother
\pagestyle{fancy}
\renewcommand{\chaptermark}[1]{\markboth{\kaishu{\chaptername}~~~#1~}{}} %设置页眉章节
\fancyhead[l]{\kaishu{~~~东~南~大~ 学~本~科~ 毕~ 业~论~文}}
\fancyhead[c]{}
\fancyhead[r]{\leftmark}
\fancyfoot[l]{}
\fancyfoot[c]{\thepage}
\fancyfoot[r]{}
\begin{document}
\begin{titlepage} %从此到 \end{titlepage}的内容第一页不编页号,以后的编页号
\end{titlepage}
\frontmatter %从 \frontmatter 到 \mainmatter 处的内容可在目录中出现但不编章号
%从 \backmatter 以后的内容也在目录中出现但不编章号
\begin{center}{\kaishu \zihao{2}{生成对抗网络综述及实现}}\end{center}
\vskip 0.5cm
\begin{center}{\kaishu\zihao{4} 摘\ \ \ \ 要}
\end{center}
\addcontentsline{toc}{chapter}{摘\ \ \ \ 要}
{\kaishu{\quad 生成对抗网络（\emph{GAN}）和变分自动编码机（\emph{VAE}）是近年来非常火热的深度生成模型之一，本文先是整理了GAN模型的优缺点以及最近几年GAN的变种模型和应用，然后整理了（\emph{VAE}）的模型。之后将GAN和VAE二者的目标函数进行变形，如果忽略GAN损失函数中的JS散度项，则可以将二者的损失函数都转化为一个KL散度项的优化过程。由于二者这样的关联性，我进一步将联合重要性加权变分自动编码器（\emph{CIWAE}）的优化方法应用到了GAN的生成器训练中，得到CIGAN，CIGAN的生成器的损失函数可以达到比GAN更紧的下界，从而能够在相同的训练次数下生成更好的样本。并在MNIST数据集上验证了上面的结论。}
\vskip 1cm \noindent{\kaishu 关键词: \ \ 深度学习,\ 生成对抗网络,\ VAE,\ 统一观点,\ 技术转移, \ CIGAN }
\newpage
\thispagestyle{plain}
\begin{center}{\heiti \large A review of Generative Adversarial Network and Combination Importance Weighted GAN }\end{center}
\vskip 0.5cm
\begin{center}{\rm\zihao{4} Abstract}
\end{center}
\addcontentsline{toc}{chapter}{Abstract}
\par
Generative Adversarial Network (GAN) and Variational Auto-Encoder(VAE) are both popular deep generative models. This paper firstly review the advantages and disadvantages of the GAN and its variant models and applications in recent years. And then under the unify view of GAN and VAE, we can transfor the technique of combination importance weighted VAE into GAN and get the CIGAN model. CIGAN can reach a tighter bounds of $\log{q(y)}$. It makes the generator even better than GAN after the same number of training epochs.
\vskip 0.8cm \noindent{\rm Key Words:\ DeepLearning, \ GAN,\ VAE,\ Unify View,\ Technique Transformation, \ CIGAN}
\tableofcontents
\newpage
\mainmatter
\chapter{引言 }
\s0 \vskip 3mm
\par 生成对抗网络（GAN）的提出是深度学习模型的一大重要突破，由于可以用于无监督学习，且对先验没有严苛的要求，且能产生高质量的生成样本，GAN 很快就受到了学术界和工业界的一致认可。GAN由两个网络组成，鉴别器网络和生成器网络。在训练中二者好比参与了一场博弈，始终企图超越对方，就在这样互相竞争的过程中，二者共同进步。于此同时GAN却仍然具有很多不足的地方，比如训练不稳定，模型崩溃等。为了从根本上解决这些问题，对于GAN内在结构的理论研究尤为重要。变分自动编码器(VAE)也是一个深度学习模型，它的建模思路更加严谨理性。\cite{unify}中给出了一种将GAN和VAE联系起来的方法，于是我尝试用这种方法将VAE的优化技术转移到GAN上来，并得到一种更好的GAN模型。
本论文结构如下：
第二章主要讨论生成对抗网络(GAN)的优缺点，应用及其研究现状。
第三章主要介绍变分自动编码器(VAE)。
第四章主要介绍GAN和VAE二者的统一观点。
第五章主要基于统一观点之下提出新的GAN模型。
第六章主要介绍基于MNIST数据集下的实验结果。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\newpage
\section{基本概念}
\par 在介绍生成对抗网络之前介绍一些理论中经常涉及到的基本概念。
\subsection{香农信息量，信息熵，交叉熵和条件熵}
\par 只考虑连续型随机变量的情况。给出随机变量$X$，$p(x)$是随机变量$X$的概率密度函数，当随机变量$X$取值为$x$时，香农信息量的定义如下：
\begin{equation}
-\log{p(x)}=\log{\frac{1}{p(x)}}.
\end{equation}
\par 当对数的底为2时，香农信息量的单位为比特(bit)。香农信息量用于描述为了消除$X$在$x$不确定性所需要使用的信息数量。
\\
\par 信息熵$H(p)$是香农信息量$-logp(x)$ 的期望，对出现概率不同的$x$的香农信息量加权求和。信息熵可以用于描述为了消除$X$不确定性需要的平均信息量。信息熵定义如下：
\begin{equation}
H(p)=H(X)=\mathbb{E}_{x\sim p(x)}[-\log{p(x)}]=-\int_{x}{p(x)\log{p(x)}}dx.
\end{equation}
\par 交叉熵用于衡量$q$在近似$p$的过程中，用于消除不确定性而充分使用的信息量大小。由于在每一个点$X=x$ 处$q$ 的香农信息量为$-\log{q(x)}$，也就是在点$X=x$ 处，$q$消除不确定性而充分使用的信息量为$-\log{q(x)}$，那么就可以计算出在整个样本空间上$q$消除不确定性而充分使用的总体信息量，即$-logq(x)$ 的数学期望，由于每个$x$的权重为$p(x)$，因此交叉熵$H(p,q)$ 为：
\begin{equation}
H(p,q)=\mathbb{E}_{x\sim p(x)}[-\log{q(x)}]=-\int_{x}{p(x)\log{q(x)}}dx.
\end{equation}
\par 如果我们假设$Y$为另一个随机变量，想描述同时消除随机变量$X$和$Y$ 的不确定性的信息量的大小，假设$X$和$Y$的联合概率密度函数为$p(x,y)$则定义联合熵：
\begin{equation}
H(X,Y)=\int_{x,y}p(x,y)\log_2{\frac{1}{p(x,y)}}dxdy.
\end{equation}
\par 对于两个有相关性的随机变量，我们无需要获取联合概率密度下的信息量，在已知一个随机变量的情况下可以获得另一个随机变量的信息，这样可以利用更少的信息量来消除随机变量的不确定性，于是可以定义条件熵来描述已知一个随机变量的情况下消除另一个随机变量的不确定性所需要的信息量：
剩余内容已隐藏，请支付后下载全文，论文总字数：59316字
该课题毕业论文、开题报告、外文翻译、程序设计、图纸设计等资料可联系客服协助查找;
