En un nuevo estudio publicado en la revista Nature, los investigadores demuestran cómo esta nueva tecnología puede traducir instantáneamente la actividad cerebral en voz mientras una persona intenta hablar, creando efectivamente un tracto vocal digital.
El sistema permitió al participante del estudio, que padece esclerosis lateral amiotrófica (ELA), “hablar” a través de un ordenador con su familia en tiempo real, cambiar su entonación y “cantar” melodías sencillas.
“Traducir la actividad neuronal en texto, que es cómo funciona nuestra interfaz cerebro-computadora de habla anterior, es similar a los mensajes de texto. Es una gran mejora en comparación con las tecnologías de asistencia estándar, pero aún así conduce a una conversación retrasada. En comparación, esta nueva síntesis de voz en tiempo real se parece más a una llamada de voz”, dijo Sergey Stavisky, autor principal del artículo y profesor asistente en el Departamento de Cirugía Neurológica de UC Davis. Stavisky codirige el Laboratorio de Neuroprótesis de UC Davis.
“Con la síntesis instantánea de voz, los usuarios de neuroprótesis podrán estar más incluidos en una conversación. Por ejemplo, pueden interrumpir, y es menos probable que las personas los interrumpan accidentalmente”, dijo Stavisky.
La decodificación de las señales cerebrales es el núcleo de las nuevas tecnologías #
Casey Harrell está inscrito en el ensayo clínico BrainGate2 en UC Davis Health. Su capacidad para comunicarse a través de una computadora ha sido posible gracias a una interfaz cerebro-computadora (BCI) en investigación. Consiste en cuatro matrices de microelectrodos implantadas quirúrgicamente en la región del cerebro responsable de producir el habla.
“La principal barrera para sintetizar la voz en tiempo real era no saber exactamente cuándo y cómo la persona con pérdida del habla está tratando de hablar”, dijo Maitreyee Wairagkar, primera autora del estudio y científica del proyecto en el Laboratorio de Neuroprótesis de UC Davis. “Nuestros algoritmos mapean la actividad neuronal con los sonidos previstos en cada momento del tiempo. Esto permite sintetizar los matices en el habla y dar al participante el control sobre la cadencia de su voz BCI”.
El habla instantánea y expresiva con BCI es prometedora #
La interfaz cerebro-computadora fue capaz de traducir las señales neuronales del participante del estudio en un habla audible reproducida a través de un altavoz muy rápidamente: una cuadragésima parte de un segundo. Este breve retraso es similar al retraso que experimenta una persona cuando habla y escucha el sonido de su propia voz.
La tecnología también permitió al participante decir nuevas palabras (palabras que el sistema aún no conocía) y hacer interjecciones. Era capaz de modular la entonación de su voz generada por computadora para hacer una pregunta o enfatizar palabras específicas en una oración.
El participante también dio pasos para variar el tono cantando melodías simples y cortas.
Su voz sintetizada por BCI era a menudo inteligible: los oyentes podían entender correctamente casi el 60% de las palabras sintetizadas (en comparación con el 4% cuando no estaba usando el BCI).
Voz en tiempo real ayudada por algoritmos #
El proceso de traducir instantáneamente la actividad cerebral en voz sintetizada cuenta con la ayuda de algoritmos avanzados de inteligencia artificial.
Los algoritmos del nuevo sistema se entrenaron con datos recopilados mientras se pedía al participante que intentara pronunciar las frases que se le mostraban en la pantalla de un ordenador. Esto les dio a los investigadores información sobre lo que estaba tratando de decir.
La actividad neuronal mostró los patrones de disparo de cientos de neuronas. Los investigadores alinearon esos patrones con los sonidos del habla que el participante estaba tratando de producir en ese momento. Esto ayudó al algoritmo a aprender a reconstruir con precisión la voz del participante a partir de sus señales neuronales.
Un ensayo clínico ofrece esperanza #
“Nuestra voz es parte de lo que nos hace ser quienes somos. Perder la capacidad de hablar es devastador para las personas que viven con afecciones neurológicas”, dijo David Brandman, codirector del Laboratorio de Neuroprótesis de UC Davis y neurocirujano que realizó el implante del participante.
“Los resultados de esta investigación brindan esperanza a las personas que quieren hablar pero no pueden. Mostramos cómo un hombre paralítico tenía el poder de hablar con una versión sintetizada de su voz. Este tipo de tecnología podría ser transformadora para las personas que viven con parálisis”.
Brandman es profesor asistente en el Departamento de Cirugía Neurológica y es el investigador principal responsable del ensayo clínico BrainGate2.
Limitaciones #
Los investigadores señalan que, aunque los hallazgos son prometedores, las neuroprótesis de cerebro a voz están en una fase temprana. Una limitación clave es que la investigación se realizó con un solo participante con ELA. Será crucial replicar estos resultados con más participantes, incluidos aquellos que tienen pérdida del habla por otras causas, como un accidente cerebrovascular.
El ensayo BrainGate2 está inscribiendo participantes. Para obtener más información sobre el estudio, visite braingate.org o comuníquese con braingate@ucdavis.edu.
Precaución: Dispositivo de investigación, limitado por la ley federal al uso en investigación.
- El paper An instantaneous voice-synthesis neuroprosthesis’ fue publicado en Nature
Financiamiento #
Programa de Investigación de Esclerosis Lateral Amiotrófica, NIH/Instituto Nacional de la Sordera y Otros Trastornos de la Comunicación, Asociación ELA, Colaboración de Simons para el cerebro global, NIH/Instituto Nacional de la Sordera y Otros Trastornos de la Comunicación, Departamento de Asuntos de Veteranos.
Declaración de COI #
Stavisky es un inventor de la propiedad intelectual relacionada con la decodificación del habla presentado y propiedad de la Universidad de Stanford (Patente de EE. UU. Nº 12008987) que ha sido licenciado a Blackrock Neurotech y Neuralink Corp. Wairagkar, Stavisky y Brandman tienen solicitudes de patente relacionadas con el habla BCI presentadas y propiedad de los Regentes de la Universidad de California (Solicitud de patente de EE. UU. Nº 63/461.507 y 63/450.317), incluyendo la propiedad intelectual con licencia de Paradromics Inc. Brandman fue consultor quirúrgico de Paradromics Inc., completando su consulta durante el período de revisión del manuscrito. Es consultor de Globus Medical Inc. Stavisky es asesor científico de Sonera. El Centro de Investigación Traslacional de MGH tiene un acuerdo de apoyo a la investigación clínica con Ability Neuro, Axoft, Neuralink, Neurobionics, Paradromics, Precision Neuro, Synchron y Reach Neuro, para los cuales Hochberg proporciona información consultiva. Mass General Brigham (MGB) está convocando a la Comunidad Colaborativa de Interfaz Cerebro-Computadora Implantable (iBCI-CC); Los acuerdos de donaciones benéficas a MGB, incluidos los recibidos hasta la fecha de Paradromics, Synchron, Precision Neuro, Neuralink y Blackrock Neurotech, respaldan el iBCI-CC, para el cual Hochberg proporciona esfuerzos. El resto de los autores declaran no tener intereses contrapuestos.