Come clonare la propria voce con L’AI (AI Cover con RVC)

08 Mar a cura di Eric Vetti |

5,0 / 5,0 | Tempo di lettura approssimativo: 5 minuti

Come clonare la propria voce con L’intelligenza Artificiale (AI Cover con RVC) · Fonte: Unsplash / julien Tromeur

Previous Next

annuncio

Vi capita mai di navigare su Youtube e incappare in una “AI Cover” con la voce del vostro artista preferito? O forse avrete ascoltato una canzone inedita non accorgendosi che fosse in realtà modificata con l’ausilio dell’AI? L’avvento dell’intelligenza artificiale sta stravolgendo il modo di creare musica e contenuti, oggi andremo ad analizzare come applicare la tecnologia RVC per alterare le tracce vocali.

Cosa sapere prima di iniziare

Fin dall’inizio di internet sono stati sempre presenti vari siti text to speech, con i quali dare una voce (spesso robotica) alle proprie parole – la rivoluzione AI ha portato questo processo al prossimo step. La possibilità di clonare la propria voce e usare modelli vocali già esistenti sta creando nuove possibilità specialmente ai content creator, ora basta semplicemente scrivere il proprio copione e far fare il resto all’AI e la voce generata sarà pressoché indistinguibile dall’originale. Questa tecnologia può essere usufruita anche in modo musicale: Le “AI Cover”. Estraendo le voci da una canzone esistente si possono poi trasformare in un altro cantante o si può modificare una registrazione originale, creando brani sfruttando magari “l’aiuto” di un vocalist più esperto.

Una volta gettate le basi va fatta un’importante premessa: utilizzare l’intelligenza artificiale per replicare o modificare voci può diventare spinoso, rilasciare contenuti con voci altrui può farvi incappare in problemi di copyright e bisogna avere i diritti per clonare una voce che non sia la vostra; usate con discrezione i metodi mostrati in questo articolo.

Come clonare la propria voce con RVC (Google Colab)

Retrieval-based-Voice-Conversion (RVC) è un modello alimentato dall’intelligenza artificiale per modificare o convertire le voci. Allenando il modello con 10 minuti (o meno) di registrazioni audio, si riescono a ottenere già buoni risultati – il modello riesce ad analizzare le caratteristiche distintive come il timbro, l’intonazione e il ritmo della vostra reference e ad applicarle al vostro target.

Si può utilizzare gratuitamente tramite Google Colab [RVC-EasyGUI], se si dispone della versione PRO avrete accesso anche alla GUI, oggi vi spiegherò come procedere usando la versione gratuita.

La prima cosa che va fatta è cliccare sulla Cell (il bottone play, oppure Ctrl+Enter) “INSTALL RVC”, finita l’installazione vi chiederà di collegarvi al vostro Google Drive, servirà dopo per caricare i file per allenare il modello.

AI Cover con RVC – Guida Step-by-Step

Visualizza questo post su Instagram

Un post condiviso da passionestrumenti (@passionestrumenti)

Ora passiamo a “STEP 1 Preprocess Data”.

In “model_name” inserite il nome che darete alla voce da clonare, evitate di usare caratteri speciali e spazi. Ora recatevi nella directory “/content/dataset” usando l’icona della cartella a sinistra dell’interfaccia e caricate all’interno la registrazione vocale (.wav o .mp3) che volete replicare. Il modello riesce a estrarre le caratteristiche sia da una registrazione audio parlata che cantata, ottenendo risultati migliori con la seconda opzione – è consigliato caricare 10 minuti di varie registrazioni audio leggermente diverse senza effetti che potrebbero sporcare il segnale come riverbero o delay. Nel caso vogliate clonare la voce di un cantante conosciuto la vostra migliore opzione è estrarre le vocals usando un sito gratuito come vocalremover.org , poi pulirle con il vostro DAW di preferenza e caricarle. Una volta dato il nome al modello e caricato il dataset potete cliccare la cell.

Una volta finito il processo cliccate la cell “STEP 2 Extract Features” e “STEP 3 Train Index” e lasciate andare, non hanno bisogno di istruzioni addizionali.

Proseguiamo alla sezione “FINAL STEP Train” inserite in “model_name” lo stesso esatto nome che avete dato nello step 1. Lo slider “epochs” consente di alzare la qualità del risultato, 100 è il valore di base, più lo alzate e più verrà allenato (e ci metterà più tempo). Consiglio di usare un valore tra 200-500.

Cliccate la cell, aspettate vari minuti e avrete un modello vocale da applicare su altre registrazioni – Come si fa?

Come creare una AI cover con RVC

All’interno di [RVC-EasyGUI] troviamo una sezione “Inference”.

Prima di continuare create all’interno della cartella “RVC” una cartella chiamata “audios”. Dentro la cartella “audios” caricate la registrazione che volete far cantare alla voce clonata, poi cliccatela col tasto destro e poi “Copia percorso”, incollate il percorso in “input_path”.

Inserite il nome del file che verrà generato in “output_path”, lasciando l’estensione .wav alla fine (Esempio: test_audio.wav); Poi mettere il nome del modello usato nello Step 1 in “model_name” e infine cliccare la cell. Una volta finito il processo potrete ascoltare il risultato direttamente da Google Colab. In caso vogliate salvare localmente il vostro risultato, basterà navigare nella cartella “audios” che avete creato precedentemente e troverete l’output appena generato.

Pro e Contro di RVC – Conclusioni

RVC offre una soluzione completamente gratuita a tutti gli appassionati di sperimentazione musicale per creare un modello vocale e di conseguenza delle AI Cover. L’integrazione con Google Colab può rendere il processo macchinoso ai primi utilizzi, mentre gli user più esperti potranno godere delle varie funzioni di personalizzazione per modificare il modello più accuratamente. Con una semplice registrazione (anche parlata), RVC offre risultati più che validi in un processo che non prende più di una ventina di minuti – A parer mio assolutamente da provare anche per il solo divertimento di sentire la vostra canzone preferita cantata dalla vostra voce.