Nous conditionnons le décodeur vanille WaveNet avec cette incorporation en le suréchantillonnant à la résolution temporelle d`origine, en appliquant une convolution 1×1, et en ajoutant finalement ce résultat comme un biais à chacune des trente couches du décodeur. Notez que ce conditionnement n`est pas externe car il est appris par le modèle. Depuis les incorporations biais le système autorégressive, nous pouvons l`imaginer agissant comme une fonction de conduite pour un oscillateur non linéaire. Cette interprétation est corroborée par le fait que les contours de magnitude des incorporations imitent ceux de l`audio lui-même. Nous souhaitons également remercier Hans Bernhard, Colin Raffel, Sageev oore, Yotam Mann, Ron Weiss et RIF saurus. Votre aide a été très appréciée. Tous ces exemples font partie de la thèse de doctorat et y sont décrits. WaveNet est un modèle expressif pour les séquences temporelles telles que la parole et la musique. En tant que réseau autorégressif profond de convolutions dilatées, il modélise un échantillon à la fois, semblable à un filtre de réponse impulsionnelle infinie non linéaire. Étant donné que le contexte de ce filtre est actuellement limité à plusieurs milliers d`échantillons (environ une demi-seconde), la structure à long terme nécessite un signal externe de guidage. Des travaux antérieurs l`ont démontré dans le cas de la synthèse vocale et ont utilisé des incorporations linguistiques apprises antérieurement pour créer des résultats impressionnants. Outre les exemples de musique et le jeu de données, nous publions également le code pour l`autocodeur WaveNet alimentant NSynth ainsi que notre meilleur modèle d`autocodeur spectral de base.
En outre, nous libérons les poids formés comme un point de contrôle TensorFlow et un script pour enregistrer des incorporations à partir de vos propres fichiers WAV. Vous pouvez trouver tout le code dans notre référentiel et le point de contrôle tarball peut être téléchargé ici. Ces exemples sonores ont été faits en utilisant le logiciel SMS qui était en cours d`exécution sur NeXTStep au début des années 1990. Le but est de modéliser (connu sous le nom de timbre) et il est supposé que vient d`un plus haut niveau “modèle linguistique” de la musique, comme les RNNs de la séquence de notes que nous avons précédemment décrit. Bien qu`elle ne soit pas parfaite, cette factorisation est fondée sur la façon dont les instruments fonctionnent et est étonnamment efficace. En effet, beaucoup de production musicale moderne emploie une telle factorisation, utilisant le MIDI pour des séquences de notes et des synthétiseurs de logiciel pour le timbre. Bien sûr, cela fonctionne mieux pour certains instruments (par exemple, piano et synthétiseur électronique) que pour d`autres (par exemple, la guitare et le saxophone) où les dépendances de timbre note à noter sont plus prononcées. Nous allons bientôt publier un instrument comme une démonstration interactive, mais en attendant, voici un exemple éclairant de ce que vous pouvez faire avec cette technologie. Alors que l`autocodeur WaveNet ajoute plus d`harmoniques au timbre d`origine, il suit la fréquence fondamentale en haut et en bas de deux octaves. Le fait qu`il n`a jamais vu une transition entre deux notes est clair que sa meilleure approximation est de simplement glissando lisse entre eux.
Liste des publications relatives aux outils de synthèse de modélisation spectrale. SMS Tools est un ensemble de techniques et d`implémentations logicielles pour l`analyse, la transformation et la synthèse de sons musicaux basés sur diverses approches de modélisation spectrale. Ces techniques peuvent être utilisées pour les applications de synthèse, de traitement et de codage, tandis que certains des résultats intermédiaires peuvent également être appliqués à d`autres problèmes liés à la musique, tels que la séparation des sources sonores, l`acoustique musicale, la perception de la musique ou la performance Analyse. Le modèle de base et la mise en œuvre ont été développés par Xavier Serra dans le cadre de sa thèse de doctorat publiée 1989. Depuis lors, de nombreuses extensions ont été proposées au MTG-UPF et par d`autres chercheurs. Dans ce travail, nous avons supprimé le besoin de conditionnement sur les fonctionnalités externes en employant un autocodeur de style WaveNet pour apprendre ses propres incorporations temporelles.
Recent Comments