IA revela sesgos en el diagnóstico COVID-19
Tiempo de lectura: 3 minutos Aunque inicialmente se obtuvo un 96,19% de exactitud en los diagnósticos por rayos X, se detectó que éstos no consideraron rasgos de los pacientes, tales como género, edad, y características demográficas. Esto, en una estructura de datos mayor, conduciría a errores en los resultados.
Los rayos X de tórax se han convertido en uno de los métodos más populares de diagnóstico de COVID-19. Sin embargo hoy están bajo la mira, ya que habría sesgos en las bases de datos utilizadas para este tipo de diagnóstico. Así lo expuso el estudio “Sesgos asociados a la estructura de base de datos para la detección de COVID-19 mediante rayos X”, realizado por Reinel Tabares, cientista de datos e investigador postdoctoral, junto al profesor de la Facultad de Ingeniería y Ciencias de la Universidad Adolfo Ibáñez (UAI), Gonzalo Ruz.
El estudio determinó que no se consideraron las características de los pacientes y que había datos muy heterogéneos y no estructurados: información incompleta de pacientes, distintas condiciones y tecnologías presentes durante la obtención de las radiografías, desbalance de clases y mezcla descuidada de múltiples conjuntos de datos.
“En este caso, dada la contingencia de la pandemia, hubo mucho apuro en agarrar bases de datos sin tener mucho ojo y empezar a entrenar modelos. A modo de ejemplo, en estas bases juntaban datos de radiografías captadas con una máquina y luego imágenes capturadas con otra máquina y eso generaba imágenes de diferente calidad”, resaltó Ruz.
“Esta investigación, que inicialmente buscaba probar la efectividad del diagnóstico, la integramos al trabajo que estamos realizando en la UAI para el proyecto Algoritmos Éticos, Responsables y Transparentes y comenzamos, adicionalmente, a analizar las bases de datos con una perspectiva de equidad y responsabilidad, entre otros principios”, explicó Tabares.
Estándares éticos
En la investigación, se analizaron 19 bases de datos de detección de COVID-19 mediante rayos X de tórax. Cuando se verificó la información de una de las bases de datos más populares, se obtuvo un 96,19% de exactitud. Sin embargo se detectó que los diagnósticos no consideraron las características de los pacientes en las radiografías, tales como género, edad, distribución de los pacientes y características demográficas, lo que en una estructura de datos mayor, conduciría a errores en los resultados.
“Uno puede tener un modelo de datos solo de pacientes mayores y después usarlo para diagnosticar a niños, pero eso requiere que la base ya esté entrenada acordemente”, dijo Ruz.
Para verificar esta información se usó Aequitas, una herramienta ética de auditoría de sesgos de información de machine learning que permite tomar decisiones informadas para desarrollar y desplegar herramientas de evaluación predictiva de riesgos y, con ello, formas de mitigarlos.
“Hoy en día, incluso en llamados para el desarrollo de tecnologías, hay conciencia de esto y dentro de las bases de los concursos o licitaciones están incorporando exigencias para que los datos con los cuales se entrenan cumplan con ciertos estándares éticos y de manejo de sesgos”, indicó Ruz.
Detectar sesgos
Si bien el estudio se utilizó para analizar los diagnósticos de COVID-19 mediante machine learning, los resultados y aprendizajes se pueden extrapolar a cualquier área de investigación.
“Es indispensable considerar este tipo de análisis profundo de los datos y sus metadatos, también realizar un examen visual de la información en el caso de que el tipo de datos utilizados sean imágenes, con el objetivo de detectar tempranamente posibles sesgos y tratar de mitigarlos, para así obtener resultados con estándares éticos y responsables, en especial si estamos abordando un tema tan delicado de salud como es el COVID-19”, concluyó Tabares.
El proyecto Algoritmos Éticos, Responsables y Transparentes es una iniciativa inédita en Chile, que ejecuta la UAI con financiamiento de BID Lab (el laboratorio de innovación del Grupo Banco Interamericano de Desarrollo) y en alianza con socios del mundo público y privado. Su objetivo es instalar capacidades y estándares para incorporar consideraciones éticas en la compra y utilización de inteligencia artificial y algoritmos de decisión automatizada en agencias estatales, y en la formulación y desarrollo de estas soluciones por parte de los proveedores tecnológicos.
Fuente: UAI
