Como o Instagram usa Inteligência Artificial para combater o bullying

Depois de conviverem com um período de escândalos de vazamentos de dados, as redes sociais passaram a ser pressionadas para demonstrar que podem oferecer segurança às informações de seus usuários. E não apenas isso, é necessário entregar um ambiente confortável, que combata insultos, vergonha e desrespeito. Diante desse cenário, o Instagram promete encabeçar um novo movimento: o combate ao bullying.

“Estamos em um momento crucial. Queremos liderar a indústria nessa luta”, afirma o CEO do Instagram, Adam Mosseri, em entrevista à revista Time. No cargo desde outubro de 2018, ele promete definir uma nova era para o Instagram, colocando o bem-estar dos usuários como sua maior prioridade. “Vamos tomar decisões que significam que as pessoas usam menos o Instagram se isso mantém as pessoas mais seguras”.

Uma equipe de engenheiros e designers tem feito uma extensa pesquisa, lançado novos recursos e mudado o protocolo da empresa, todos com o bullying em mente.

Quando há um caso nítido de assédio moral, as ferramentas de moderação do Instagram desativam rapidamente a conta que pratica o insulto. E, num futuro próximo, a empresa planeja usar inteligência artificial para erradicar comportamentos como insultos, vergonha e desrespeito. 

Conforme dados divulgados pela Time, quase 80% dos adolescentes estão no Instagram e mais da metade desses usuários foram vítimas de bullying na plataforma. As consequências para as vítimas podem ser extremamente graves. O assédio moral em redes como o Instagram tem sido associado a comportamentos autodestrutivos.

Limites entre combate ao bullying e perda da liberdade de expressão

Ao liderar um movimento de combate ao bullying, o Instagram enfrenta um desafio. A identificação de mensagens ofensivas deve ser feita de maneira minuciosa. Uma interpretação mal feita pode indicar que um usuário infringiu as regras da rede e gerar manifestações de quebra da liberdade de expressão.

Há aqui um dilema a ser superado. Combater o bullying com muita agressividade pode causar a sensação de regras muito intrusivas. Em contrapartida, não agir de forma enérgica contra o assédio pode gerar acusações de negligência na promoção do bem-estar dos usuários da plataforma.

Adam Mosseri promete seguir a segunda linha e ser incisivo no combate a insultos e desrespeito. Na visão do CEO, se o Instagram não conseguir conter o bullying, não estará apenas falhando em um nível moral, mas também fracassando nos negócios. 

“Isso pode prejudicar nossa reputação e nossa marca ao longo do tempo. Isso poderia dificultar nossos relacionamentos de parceria. Existem todos os tipos de maneiras que podem nos sobrecarregar. Se você não está resolvendo problemas em sua plataforma, tenho que acreditar que isso terá um custo real”, analisou Mosseri, ainda em entrevista à Time.

O desafio não é simples. O Instagram oferece anonimato e audiência para quem pratica o assédio e gera constrangimento para adolescentes e outras vítimas de bullying. Se não bastassem as práticas ofensivas atuais, o Instagram ainda convive com a abertura de novas oportunidades para abuso a cada novo recurso lançado. Os próprios executivos admitem que lidar com a criatividade dos adolescentes é um obstáculo.

A missão é, portanto, desenvolver um nível de Inteligência Artificial que seja capaz de detectar mensagens ofensivas sem ferir as políticas de liberdade de expressão. Os engenheiros devem criar ferramentas capazes de encontrar mensagens e imagens que não deveriam estar na rede, mas sem eliminar aquilo que não infringe as regras.

Evolução da Inteligência Artificial no combate ao bullying no Instagram

No início do Instagram, com poucos usuários, a identificação de mensagens ofensivas não era uma missão tão complicada. Porém, a rede cresceu rapidamente e foi preciso identificar formas mais eficazes de encontrar desde propaganda terrorista até pornografia infantil. 

Quando passou a recorrer a máquinas para fazer esse combate, o Instagram utilizou um recurso que já era aplicado pelo Facebook. A ferramenta de Inteligência Artificial DeepText foi projetada para entender e interpretar a linguagem que as pessoas estavam usando na plataforma. 

Em 2016, a DeepText foi utilizada pela primeira vez para detectar spam. Um ano depois, os engenheiros do Instagram já a usavam para encontrar e bloquear comentários ofensivos, incluindo insultos raciais. Já em meados de 2018, foi a vez de encontrar bullying em comentários também. 

A partir do momento que Adam Mosseri foi nomeado CEO, em outubro de 2018, o Instagram anunciou que não usaria apenas Inteligência Artificial para procurar por bullying em comentários colocados abaixo dos posts dos usuários, mas também começaria a usar máquinas para identificar o bullying em fotos. Isso significa que a IA também analisaria as postagens. Porém, atingir efetivamente essa meta demanda muito esforço e paciência.

Para ensinar a máquina a detectar as postagens que contêm bullying, os engenheiros devem treiná-la a entender quais conteúdos são impróprios. Inicialmente, moderadores humanos selecionam centenas de milhares de conteúdos e decidem se eles contêm ou não bullying. Eles alimentam a máquina com esses dados e avaliam se a inteligência artificial sinalizou de forma correta. Com o tempo e alimentada por dados, a máquina aumenta sua eficiência.

Atualmente, há três formas de classificação de bullying no Instagram, examinadas separadamente: um sistema treinado para analisar textos, outro para fotografias e um terceiro para vídeos. 

Os conteúdos impróprios mais comuns são comentários, insultos e ameaças. Alguns termos ofensivos são indicados para o classificador de texto selecioná-los. Contudo, as gírias mudam e é preciso manter a IA sempre atualizada para detectar o contexto dessas mensagens. É possível que alguns termos estejam inseridos em piadas internas ou em ironias.

O objetivo da equipe do Instagram é tornar as máquinas capazes de entender sete categorias de assédio: insultos, vergonha, ameaças, ataques de identidade, desrespeito, contato indesejado e traições. 

Alguns critérios são utilizados para auxiliar na identificação de quais conteúdos são ofensivos. Eles envolvem questões como um usuário já ter bloqueado o outro ou o nome de um usuário ser semelhante a um que foi expulso da plataforma no passado. 

Em relação a fotos e vídeos, os classificadores do Instagram têm menos prática e são menos avançados. Nesse caso, alguns critérios também são usados. Se uma foto de três pessoas tem um X vermelho no rosto de alguém, isso será considerado um ponto de atenção. Já o uso de filtros é considerado uma tendência de uma postagem dentro das regras, pois as pessoas não costumam melhorar sua vitimização. 

Novos recursos do Instagram no combate ao bullying

No combate ao bullying, o Instagram prepara novos recursos a serem lançados ainda em 2019. Um deles alerta o usuário de que a mensagem a ser postada pode ser imprópria. Nesse caso, será enviado um aviso com um texto similar a “Ei, isso pode ser ofensivo”. Caberá ao usuário definir se quer realmente seguir com a postagem. Ou seja, é como uma chance de uma pessoa que pratica bullying refletir antes de cometer o assédio.

Um segundo recurso permite que o usuário restrinja o acesso de alguém que o tenha ofendido. Essa iniciativa partiu de pesquisas do Instagram que descobriram que os adolescentes não gostam de bloquear um colega que os intimida para não perder a chance de acompanhar o que o assediador tem feito. 

Com esse recurso, os comentários da pessoa que está praticando bullying ficam visíveis somente para ela mesma. As pessoas restritas não podem ver quando o usuário está ativo no Instagram ou quando leu as mensagens diretas delas.

Em meio às iniciativas que combatem o bullying e tentam ampliar o bem-estar na plataforma, o Instagram segue crescendo em comparação a outras redes sociais. Segundo a pesquisa Social Media Trends, enquanto o Facebook tem perdido usuários, o Instagram segue em ascensão. 

Para compreender mais sobre tendências de uso de redes sociais, baixe o relatório completo e tenha acesso a essa e outras diversas análises sobre Instagram e outras plataformas!