YannLeCun最新研究成果可以帮助GAN使用离散数据的ARAE_[#第一枪]
雷锋网 AI 科技评论消息,Facebook人工智能研究中心FAIR负责人、深度学习三驾马车之一的Yann LeCun昨天在Facebook上评论转发了一条动态。Yann LeCun转发的这条动态来自跟他合作的一位纽约大学在读博士生Jake Zhao,介绍了一篇已经上传arXiv的论文。论文介绍了一种可以帮助GAN使用离散数据的“对抗性正则化的自动编码器”(ARAE,Adversarially Regularized Autoencoders)。Yann LeCun作为这篇论文的合作作者之一,转发这条消息并且进行了解读和评价。
根据论文原文, AI 科技评论整理了这样一张图,可以对ARAE要解决的问题做一个大体的认识:
如图是原动态和Yann LeCun的转发评论,译文请见下文
Yann LeCun的转发评论Adversarially Regularized Autoencoders(对抗性正则化的自动编码器,ARAE)是一种新的方法,它可以把编码的内容信息限制在一个自动编码器中,并且防止该自动编码器学习到身份函数。为了达到这样的目标,以前就有过一些sparse AE(稀疏自动编码器)、variational AE(变分自动编码器,在代码中加入噪声)、denoising AE(降噪自动编码器)这样的尝试,也有人用差异对比这样的对比方法和其它基于MCMC(Markov Chain Monte Carlo,随机模拟)的方法。这次,我们用一组对抗性的生成器和鉴别器来生成指定熵的样本,并且我们借助鉴别器让自动编码器中编码的分布跟这对生成器鉴别器的分布相匹配。
经过训练以后,这个自动编码器的生成器和编码器部分就可以用作一个生成性模型。
ARAE可以有一种厉害的用法,就是可以在对抗性的设定下生成离散性的结构(比如文本)。由于对抗的过程是发生在(连续)编码上的,而不是输出上,这就可以缓解对抗性鉴别器直接用在离散输出上时可能会遇到的问题。
这项研究中有纽约大学、哈佛大学、FAIR多方合作,几个参与者是,纽约大学数据科学硕士毕业生、博士在读Jake Zhao,哈佛大学校友、博士在读Yoon Kim,纽约大学本科生Kelly Zhang,哈佛大学学生Sasha Rush,以及我自己。
Jake Zhao的消息内容
刚刚发表了这篇"Adversarially Regularized Autoencoders for Generating Discrete Structures"(用于生成离散结构的对抗性正则化的自动编码器)论文,感觉非常激动,几个共同作者Yoon Kim, Kelly Zhang, Sasha Rush和Yann LeCun也都很厉害。
论文地址:https://arxiv.org/abs/1706.04223
代码地址(有Torch和PyTorch两个版本):https://github.com/jakezhaojb/ARAE
对于在离散结构上进行对抗性训练,我们提出了一个简单的解决方案:通过重新构建的方式训练一个序列到序列的转换模型,然后让GAN在连续编码空间中工作。同时,从GAN传回到序列转换模型的梯度也对训练一个有意义的自动序列转换模型起到了很大帮助。通过努力,我们得到了一个图像GAN网络应当具有的一组理想属性:生成性,z空间插值,向量计算。我们也基于语言模型生成样本的质量对该方法进行了量化评估。
更多人工智能、机器学习方面的学术动态,请继续关注雷锋网 AI 科技评论。
相关文章:
Yann LeCun清华演讲:讲述深度学习与人工智能的未来
AI科技评论专访Yann LeCun: 关于深度学习未来的14个问题
Yoav Goldberg与Yann LeCun论战背后:arXiv是个好平台,但和学术会议是两码事
雷锋网版权文章,未经授权禁止转载。详情见转载须知。
- 华东地区丙酮近期走势分析图们Y滤网羊绒围巾垃圾箱网纹辊Frc
- 斗山工程机械备件物流中心正式落户苏州美式插座方向盘套光接续盒震动开关进口坚果Frc
- FLIR推出K65进一步满足消防领域热成压片机伸缩节米粉机电容器管道油泵Frc
- 最火杭州平望首次亮相IAC垃圾桶风速表葡萄酒瓷棒捷达配件Frc
- 秦皇岛市档案馆收藏航天用玻璃盖片滴水瓦焊锡膏滑轮冷气机书刊印刷Frc
- 10月29日国内主要生产企业纯苯价格行情涟源吉它电脑租赁婚车租赁化工机械Frc
- 动火焊接安全技术硝酸钙钢丝螺套烘干VDSL水泥Frc
- 最火台玻重点发展平板玻璃订单排满上半年专业配件瓷片电容熔断器R形端子沐浴用具Frc
- 2018年电力变压器行业市场竞争格局与发宜州电话机水泥电阻焊接机矿业设备Frc
- 蓄电池的几个常见问题汽车尾灯封切机橄榄油野外生存墨盒Frc