Cómo incorporar sesgos en sus modelos predictivos

Muy buenas, les saluda Luis y en esta ocasión les traigo este nuevo artículo.

No haga estas cosas a menos que desee un modelo sesgado en la producción, haciendo predicciones inexactas y a veces, costosas

Realmente no quieres que un modelo sesgado haga predicciones por ti, ¿verdad? A pesar de la abundancia de practicantes de aprendizaje automático (ML) de alta calidad y avances tecnológicos, no hay escasez de fallas de ML en la vida real.

Primero, revisemos estas fallas de alto perfil de ML e IA donde un modelo sesgado subyacente fue una de las razones, si no la predominante, de su falla, antes de repasar ciertas fuentes de sesgo que pueden afectar sus modelos predictivos.

Fiasco de GCSE y A-Levels en el Reino Unido

Los estudiantes del Reino Unido no se presentaron a sus exámenes GCSE y A-Levels este año debido a los bloqueos de COVID-19. En cambio, el regulador de exámenes del Reino Unido, Ofqual, utilizó un algoritmo para determinar las calificaciones esperadas de un estudiante en función de su:

Sin embargo, lo que ocurrió el día de los resultados, el 13 de agosto, fue un colapso total: casi el 40% de las calificaciones de A-Level fueron más bajas que las evaluaciones de los maestros.

Esto causó un alboroto considerable, lo que resultó en un cambio de sentido del gobierno el 17 de agosto, mediante el cual se anunció que las calificaciones de los estudiantes serían revisadas para reflejar la más alta de la evaluación del maestro original y el resultado del modelo.

Fracaso de 'Watson for Oncology' de IBM

En octubre de 2013, IBM se asoció con el MD Anderson Cancer Center de la Universidad de Texas (MD Anderson) para desarrollar una solución impulsada por IA para curar el cáncer basada en su supercomputadora Watson. Sin embargo, no estuvo a la altura de sus expectativas.

Forbes informó en febrero de 2017, MD Anderson suspendió su proyecto Watson for Oncology y estaba buscando activamente otros socios para reemplazar a IBM y continuar con su investigación futura.

Más tarde, en julio de 2018, un informe de STAT reveló, basándose en un análisis de documentos internos de IBM, múltiples recuentos de consejos de Watson sobre el tratamiento del cáncer totalmente erróneos y que varios clientes informaron “múltiples ejemplos de recomendaciones de tratamiento inseguras e incorrectas”.

IA misógina de Amazon para el reclutamiento

Los ingenieros de Amazon comenzaron a trabajar en una herramienta de contratación automatizada en 2014 para revisar los currículos de los aspirantes a puestos de trabajo. Sin embargo, Reuters informó en 2018 que en 2015 “la empresa se dio cuenta de que su nuevo sistema no calificaba a los candidatos para trabajos de desarrollador de software y otros puestos técnicos de una manera neutral en cuanto al género”.

Aparentemente, el modelo se entrenó en diez años de solicitudes de empleo que eran predominantemente de hombres, lo que indica el dominio masculino en la industria tecnológica en ese momento. Posteriormente, el proyecto se archivó y el equipo se disolvió a principios de 2017.

Fuentes de sesgo en modelos de AA

Los modelos específicos de AA pueden estar sesgados de una manera sutil, otros no, como se vio anteriormente. Algunas de las posibles razones de un modelo sesgado incluyen:

Datos sesgados / sesgo de muestreo

Los datos de entrenamiento sesgados terminarán en un modelo sesgado: ¡el adagio de GIGO! Esto fue evidente en el ejemplo de Amazon anterior, donde la escasez de solicitantes femeninas en los datos de capacitación obligó al modelo a dar ventaja a los solicitantes masculinos.

El modelo no contaba con datos suficientemente imparciales en cuanto al género para capacitarse y aprender de ellos. Los datos a menudo reflejan el status quo y el sesgo actual en la sociedad (para bien o para mal).

Las estrategias apropiadas de recolección y muestreo de datos son de suma importancia para asegurar la disponibilidad de datos relevantes, representativos, adecuados y suficientemente diversos. Hay una razón por la que el 80% del trabajo de un científico de datos gira en torno a la recopilación de datos y la ingeniería de características.

Sesgo de algoritmo

Los algoritmos ML tienen sus propios sesgos inherentes debido a sus diversas suposiciones matemáticas y estadísticas que no tienen nada que ver con los datos de entrenamiento subyacentes. Los algoritmos sesgados son más rígidos, asumen y requieren una distribución de datos bien definida y son más resistentes al ruido en los datos.

Sin embargo, pueden tener dificultades para aprender las complejidades de los datos. Por contrato, los algoritmos con un sesgo bajo pueden manejar datos más complejos, pero generalmente no se adaptan bien a los datos en producción.

Esta situación conflictiva generalmente se conoce como la compensación de sesgo / varianza. Requiere un delicado acto de equilibrio por parte del practicante de ML para asegurar un sesgo óptimo (y por definición, también varianza).

Sesgo de exclusión

Esto ocurre cuando excluimos características o variables específicas del conjunto de datos en una presunción incorrecta de que no son útiles para el problema de predicción en cuestión sin validar esa suposición primero.

Siempre pruebe la correlación entre los predictores y la variable objetivo antes de descartar cualquier característica. Algunas de estas estrategias de selección de funciones para varios tipos de variables se trataron en uno de mis artículos anteriores.

Sesgo de medición

Una medición errónea, por ejemplo, por un dispositivo, puede resultar en una distorsión sistemática de los datos y un sesgo de medición. Por ejemplo, si un dispositivo de pesaje informa constantemente los pesos por la misma cantidad, cualquier modelo que utilice los datos resultantes de este dispositivo defectuoso no será preciso.

Las encuestas mal diseñadas con preguntas «principales» son otra fuente habitual de sesgo de medición.

Sesgo del observador

El sesgo del observador ocurre cuando la recopilación de datos o las estrategias de ingeniería de características están influenciadas por nociones preconcebidas, a menudo falsas, del analista de datos.

Por ejemplo, en caso de que esté predispuesto contra los habitantes de Sydney (que no lo soy), entonces podría permitir que mi parcialidad se filtre en mis datos de manera subconsciente. Un ejemplo clásico de sesgo del observador fue El asunto Burt.

A menudo es un desafío detectar el sesgo del observador, pero se puede prevenir mediante una combinación de estrategias de capacitación y detección junto con políticas y procedimientos claramente definidos e implementados.

Circuitos de retroalimentación

Considere un modelo de AA que de alguna manera influye en la generación de datos que luego utiliza para realizar predicciones. Como resultado, el modelo hará predicciones que están sesgadas a los datos sobre los que tuvo voz.

Sin embargo, estos ciclos de retroalimentación también pueden ser una característica de diseño y no necesariamente un motivo de preocupación, generalmente en la personalización de contenido y los sistemas de recomendación.

Deriva del sistema

Deriva en este contexto se refiere a cambios a lo largo del tiempo en un sistema o aplicación que genera datos utilizados para modelar.

Por ejemplo, un cambio en la definición comercial de pagos retrasados ​​(en caso de un problema de predicción predeterminado) o la adición de nuevos modos de interacción del usuario.

Este sesgo es el más fácil de prevenir y detectar mediante prácticas adecuadas de gestión de cambios y seguimiento de errores junto con actualizaciones y formación periódicas del modelo.

Gracias por leer este artículo, hasta la próxima.