Ricerca vocale AI: l’AI ascolta il canto umano

Analisi dell’Articolo “Automatic Estimation of Singing Voice Musical Dynamics”

SCARICA L’ARTICOLO

L’articolo “Automatic Estimation of Singing Voice Musical Dynamics” affronta un tema innovativo nel campo della Music Information Retrieval (MIR): la stima automatica delle dinamiche musicali nella voce cantata. Le dinamiche musicali, che includono indicazioni come piano (p), forte (f), crescendo e diminuendo, rappresentano elementi fondamentali dell’espressività vocale, ma sono state raramente oggetto di analisi automatica, principalmente a causa della mancanza di dataset appropriati e di framework di valutazione chiari.

Gli autori propongono una metodologia completa per la creazione di un dataset annotato con dinamiche musicali, utilizzando il corpus OpenScore Lieder, ricco di partiture dell’era romantica con numerose annotazioni espressive. Attraverso un processo che comprende separazione della sorgente vocale, allineamento automatico e validazione manuale, gli studiosi hanno compilato un dataset di 509 esecuzioni vocali allineate con 163 partiture provenienti da 25 compositori.

Metodologia e contributi principali

Il processo di creazione del dataset è particolarmente rilevante:

• Utilizzo di tecniche di separazione della voce (Demucs v2) per isolare la componente vocale dalle registrazioni

• Applicazione dell’allineamento automatico tramite Dynamic Time Warping (DTW) per sincronizzare le esecuzioni con le partiture

  

  ADVERTISEMENT

• Sviluppo di un sistema di visualizzazione per validare l’accuratezza dell’allineamento

• Collaborazione con un cantante professionista per la creazione di un dataset di test composto da 25 esecuzioni di generi diversi

Per la stima delle dinamiche, gli autori hanno implementato un modello CNN con attenzione multi-testa, confrontando due rappresentazioni di input perceptivamente motivate:

1. Caratteristiche dello spettrogramma log-Mel

2. Caratteristiche basate sulla scala Bark, che rappresenta le bande critiche dell’udito umano46

Risultati principali

I risultati mostrano che le caratteristiche basate sulla scala Bark superano significativamente le prestazioni delle caratteristiche log-Mel per questo compito specifico. La migliore accuratezza rilassata (±2 classi) raggiunge l’84,78% utilizzando caratteristiche Bark con finestre di analisi ampie, indicando che il modello riesce efficacemente a distinguere tra dinamiche significativamente diverse (ad esempio, tra forte e piano).

Inoltre, è emerso che l’utilizzo di contesti temporali più ampi migliora le prestazioni della stima delle dinamiche, suggerendo l’importanza del contesto musicale complessivo nella percezione delle dinamiche.

Considerazioni analitiche

Tensione tra oggettività computazionale e soggettività artistica

Le dinamiche musicali sono intrinsecamente soggettive e relative, rendendo complessa la loro quantificazione. Mentre un modello computazionale cerca classificazioni discrete, l’espressione umana esiste su un continuum fluido. L’adozione di metriche di accuratezza “rilassate” (±1, ±2 classi) riconosce saggiamente questa tensione intrinseca.

Percezione umana e rappresentazione del suono

È significativo che le caratteristiche basate sulla scala Bark, che modellano meglio la percezione uditiva umana, superino lo spettrogramma log-Mel.
Questo risultato suggerisce che per analizzare efficacemente fenomeni musicali espressivi, è fondamentale avvicinarsi al modo in cui gli esseri umani percepiscono realmente il suono, piuttosto che affidarsi a rappresentazioni puramente matematiche.

Sfide nell’analisi delle registrazioni vocali

Un aspetto critico riconosciuto dagli autori è l’influenza dei processi di mixing e mastering sulle dinamiche vocali nelle registrazioni commerciali. Questa problematica è fondamentale per qualsiasi ricerca che utilizza registrazioni come dati primari e solleva interrogativi sulla fedeltà delle registrazioni rispetto alle intenzioni originali dei performer.

Implicazioni interdisciplinari

Questo lavoro ha potenziali applicazioni che vanno oltre l’informatica musicale:

• Pedagogia vocale: strumenti per analizzare e migliorare il controllo delle dinamiche nei cantanti

• Sintesi vocale cantata: miglioramento dell’espressività nei sistemi di sintesi

• Musicologia: studio delle interpretazioni storiche delle dinamiche in diverse epoche e tradizioni

• Produzione musicale: supporto per ingegneri del suono e produttori nell’analisi delle dinamiche vocali

Prospettive future

Le direzioni future di ricerca potrebbero includere:

• Integrazione di caratteristiche di intonazione e timbro con quelle di dinamica per una comprensione più olistica dell’espressività vocale

• Espansione del dataset per includere più generi musicali e stili vocali

• Sviluppo di modelli che tengano conto della relatività delle dinamiche all’interno di una stessa esecuzione

• Applicazioni pratiche in sistemi di feedback per l’educazione vocale e nella sintesi vocale espressiva

In conclusione, questo lavoro rappresenta un contributo significativo all’analisi computazionale dell’espressività musicale, colmando una lacuna importante nella ricerca MIR e aprendo nuove possibilità per la comprensione automatica delle sfumature espressive nella voce cantata.

Mentre la tecnologia continua ad avanzare nella comprensione di aspetti sempre più sottili dell’espressione musicale, rimane aperta la questione su quanto profondamente i sistemi computazionali possano veramente comprendere e riprodurre gli aspetti più emotivi e soggettivi della performance musicale. Tuttavia, strumenti come quello presentato in questo articolo forniscono lenti analitiche oggettive attraverso cui studiare questi fenomeni complessi, avvicinando la tecnologia alla comprensione dell’arte vocale nelle sue dimensioni più espressive.

SCARICA L’ARTICOLO

Leggi anche l’articolo: Sai cos’è la tecnologia degli stems