Programme scientifique

Le Laboratoire commun LISTEN va, grâce au machine listening, accélérer les recherches en matière d’extraction d’information à partir du signal audio avec des applications très prometteuses dans différents domaines /secteurs, autour de l’analyse de scènes sonores et de contenus audio, notamment musicaux.

Prises indépendamment, ces thématiques de recherche ne sont pas nouvelles, mais les performances de ces applications sont aujourd’hui considérablement accrues grâce à des approches méthodologiques unifiées croisant machine learning et apprentissage profond appliqué aux différents types de signaux sonores (on parle alors de machine listening), ce qui accélère la mise en œuvre des technologies et leur adoption par le grand public.

Ces performances accrues ont abouti à des progrès notables dans certains secteurs, avec une forte résonnance socio-économique, et permettent d’envisager l’extension à d’autres domaines d’application :

  • Le traitement robuste de la parole : détection robuste de la voix humaine (naturelle, amplifiée, criée, multiple…) et identification du locuteur
  • La distinction, amélioration et localisation des sources sonores : traitement des classes de sons génériques (parole, musique, sons environnementaux) et des classes sous-représentées (sources sonores rares)
  • L’analyse de scènes sonores domestiques/urbaines/industrielles/naturelles :
    • Dans l’automobile : avec les véhicules autonomes ou la détection à distance par le son de dangers, de signaux d’alerte ou de véhicules prioritaires
    • Les technologies d’assistance aux personnes fragiles : compréhension de l’environnement sonore domestique et détection des sons liés à des situations anormales ou dangereuses (chutes de personnes, bris de glas, alarmes…)
    • La maintenance prédictive dans l’industrie : par ex, l’écoute intelligente qui détecte les défauts sur la chaine de production.
  • L’extraction d’information à partir de contenus musicaux (rythme, mélodie, harmonie) pour améliorer l’accès aux catalogues de musique, l’aide à la création ou la pédagogie musicales
  • Les applications écologiques :
    • La ville intelligente : par ex, la qualification des sources de nuisance sonore
    • La bio acoustique par ex, la reconnaissance ou le comptage d’espèces d’oiseaux
  • Et bien d’autres…

Les méthodes actuelles ne peuvent pas modéliser, extraire, et encore moins raisonner sur ce type d’information (c’est-à-dire appliquer des arguments logiques). L’objectif du projet NoRDF est d’aller au-delà des relations binaires entre entités et d’enrichir les KB avec des événements, des causes, des préséances, des histoires, des négations et des croyances. Nous voulons extraire ce type d’informations à grande échelle à partir de sources structurées et non structurées, et nous voulons permettre à la machine de raisonner dessus, c’est-à-dire d’appliquer des arguments logiques pour parvenir à une conclusion argumentée. Pour cela, nous souhaitons rassembler des recherches sur la représentation des connaissances, sur le raisonnement et sur l’extraction d’informations.