?
重庆时时彩投注技巧,竞彩猫,北京pk赛车软件下载,福利彩票购买 凤凰彩票

Q-VAE进修离散表征可用于「无监视」图高频彩是人

时间:2017-11-10 21:13来源:未知 作者:admin 点击:
正在没有监视的环境下进修有用的表征仍然是机械进修中的环节挑和所正在。正在本文中,高频彩是人控制谷歌DeepMind发布V 高频彩是人控制 我们提出了一种简单但又强无力的生成模子

  正在没有监视的环境下进修有用的表征仍然是机械进修中的环节挑和所正在。正在本文中,高频彩是人控制谷歌DeepMind发布V高频彩是人控制我们提出了一种简单但又强无力的生成模子,用以进修如许离散的表征方式。我们的模子,向量量化变分从动编码器(Vector Quantised-Variational AutoEncoder,VQ-VAE)取VAE正在两个环节方面有所分歧:编码器收集输出的是离散、Q-VAE进修离散表征可用于「无监视」图而非持续的代码;而前一个是颠末进修的、而非静止的。为了进修一种离散的潜表征,我们从向量量化(VQ)中提取了一些设法。利用VQ方式的益处是使得模子可以或许绕开“后解体(posterior collapse)”的问题,即当它们取一个强大的自回归解码器配对时,潜正在问题都被忽略掉了,凡是正在VAE框架中可察看到这一现象。将这些表征取自回归先验相连系,则该模子能够生成高质量的图像、视频和语音,以及进行高质量的措辞人声音转换(speaker conversion)和音素的无监视进修,从而为进修表征的适用性供给了进一步的证明。

  这些样本是来自VQ-VAE的沉建,它将音频输入以64倍的规格压缩为离散潜代码中。VQ-VAE和潜空间都是颠末端对端锻炼的,不依赖于音素或波形本身以外的消息。虽然沉建的波形取原始的外形很是分歧,但听起来很是类似。

  进修具有持续特征的学表征一曲是很多以前研究所关心的沉点,然而我们专注于离散表征,这可能取我们感乐趣的模式有一个潜正在的吻合。言语素质上是离散的,雷同地,语音凡是被暗示为一系列符号。图像凡是能够用言语进行简练地描述。此外,离散表征取复杂的推理、打算和预测性进修(例如,若是下雨,我将利用伞)也长短常的吻合的。虽然有证据证明,正在深度进修中利用离散的潜变量长短常具有挑和性的,可是强大的自回归模子曾经被开辟出来,用于正在离散变量的分布上建模。

  正在这项工做中,我们曾经引见了VQ-VAE,这是一个将VAE和矢量量化相连系以获得离散的潜暗示的新的模子家族。我们曾经证明VQ-VAE可以或许通过压缩的离散潜空间建模持久的相关性,我们曾经通过生成128×128彩色图像、取样动做前提视频序列以及最终利用音频来证明这一点,即便是无前提模子也能够生成令人惊讶的成心义的言语和措辞人声音转换。所有这些尝试都表白,VQ-VAE进修的离散潜空间以完全无监视的体例捕捉数据的主要特征。此外,VQ-VAE正在CIFAR10数据上实现的可能性几乎取它们持续潜变量相当。我们认为,这是第一个可以或许成功模仿长距离序列的离散潜变量模子,高频彩是人控制而且完全无监视地进修取音素亲近相关的高级语音描述符。

  正在我们的研究中,我们引入了一个新的生成模子,它们正在给定一个察看方式的环境下,通过一个全新的(离散)潜正在变量的后验分布的参数化,成功地将变分从动编码器(VAE)取离散的潜正在表征方式连系正在一重庆时时彩0_9数字规律。我们的模子依赖于向量量化(VQ),且锻炼简单,受方差的影响较小,还避免了“后解体”问题,这是很多VAE模子所存正在的问题,它们有一个强大的解码器,凡是是因为潜变量被忽略惹起的。此外,它是第一个离散的潜VAE模子,其机能取其持续的配对物类似,同时供给了离散分布的矫捷性。我们把模子称为VQ-VAE,因为VQ-VAE能够无效地操纵潜空间,因而它能够成功地对很多主要特征进行建模,而这些特征凡是是逾越数据空间中的多个维度(例如,方针逾越图像中的多个像素、语音中的多个音素、文本片段中的多个消息等),而不是把留意力集中正在乐音和不成察觉的细节上,而这些细节往往是局部的。

  最大似然法(Maximum likelihood)和沉构误差(reconstruction error)是用于正在像素域中锻炼无监视模子的两个配合方针方式,然而它们的效用取决于特征使用的特定使用法式。我们的方针是实现一个模子,正在其潜空间中保留数据的主要特征,同时优化最大似然法。正如我们的研究所表白的那样,高频彩是人控制最好的生成模子(以对数似然值(log-likelihood)怀抱)将是那些没有潜变量但功能强大的解码器(如PixelCNN)的生成模子。然而,正在本文中,deepmind我们从意进修离散和有用的潜变量,即我们正在各类范畴中所展现的那样。

  最初,deepmind一旦VQ-VAE发觉了一种很好的离散潜布局,我们就对这些离散的随机变量进行强大的先验锻炼,发生风趣的样本和有用的使用。例如,正在言语锻炼中,我们发觉了言语的潜布局,并没相关于音素或单词的任何监视或先验学问。此外,我们可认为我们的解码器配备措辞者标识,这使得措辞人声音转换得以实现,即正在不改变内容的环境下将语音从一个措辞者迁徙到另一位措辞者。我们正在进修强化进修的持久情况布局方面也取得了可喜的功效。

  离散潜空间可以或许以一张颠末压缩后的符号来捕获音频的主要方面,如措辞的内容。因而,我们现正在能够正在这些潜空间中锻炼另一个WaveNet。如许能够专注于模仿远距离时间依赖性,而不必正在不成察觉的细节上破费过多的容量。若是有脚够的数据的话,我们以至能够间接从原始音频进修一个言语模子。

  当我们正在VQ-VAE中的speaker-id上对解码器进行解码时,我们能够从一个语音片段中提取潜的代码,并用分歧的speaker-id进行沉构。

  比来,正在图像、音频和视频的生成建模方面取得了一些令人印象深刻的样本和使用法式。同时,诸如少样本进修(few-shot learning)、deepmind域顺应或强化进修等,这些具有挑和性的使命正在很大程度上严沉依赖于从原始数据中进行的进修表征,可是以一种无监视的体例进行锻炼的通用表征的有用性还远未成为一种占领从导地位的方式。北京pk10

(责任编辑:admin)
顶一?
(0)
0%
踩一?
(0)
0%
------分隔?----------------------------
?