Todos los días se ponen a prueba las plataformas de redes sociales contra el discurso de odio y cada vez que esto sucede la inteligencia artificial pierde la batalla. Pareciera que esta guerra sin cuartel no tiene solución, al menos en el corto plazo.
Las principales plataformas declaran que no es por falta de voluntad. Twitter, por ejemplo, elimina miles de tuits y cierra cientos de cuentas después de cada ataque masivo. Sin embargo, miles de publicaciones y usuarios continúan escapando a los esfuerzos de detección, en algunos casos porque los trolls simplemente usan emojis en lugar de palabras para ofender.
El diseño de herramientas para detectar mensajes que se pueden considerar como despectivos, siguen siendo de los problemas más espinosos para los investigadores de modelos de inteligencia artificial que intentan frenar este tipo de conductas.
Uno de los mayores obstáculos para entrenar modelos de inteligencia artificial capaces de detectar comportamientos de odio, ha sido el discurso en sí, que además de incluir mensajes con emojis, en varias ocasiones contiene pocas pistas contextuales, las cuales son indispensables para que las herramientas puedan distinguir la escritura tóxica de las formas más inocuas.
Al carecer de una comprensión innata del lenguaje, que es fácilmente distinguible por un humano entrenado en estas artes y que representan una obviedad, para las máquinas no es así de fácil, ya que solo logran identificar aquellos mensajes que son más evidentes y literales.
Intentando llegar a la raíz de este problema, investigadores de la Universidad de Columbia aplicaron un enfoque único: buscar comunidades reincidentes en el abuso verbal, dar seguimiento puntual a sus usuarios, seguir sus interacciones y con esta información entrenar mejor los modelos.
Lo más preocupante es que estos investigadores buscaron para su estudio el tipo de acoso en línea que tocara la mayor cantidad de matices de odio, y así centrarse en la comunidad que sufriera un acoso sistemático y desproporcionado. El resultado fue inesperado, la comunidad que se eligió porque cumplía con todos los requerimientos anteriores, fue la de mujeres periodistas.
Ya sabíamos que el periodismo es una profesión de alto riesgo, pero resulta que aumenta el riesgo cuando la periodista es mujer y está en línea.
El autor es fundador y presidente del Consejo de Metrics.