Cada vez mais as IAs se utilizam de técnicas algorítmicas para interpretar nossas emoções e influenciar nosso comportamento. Podem fazer isso a partir de sistemas de reconhecimento facial e de metodologias de designs opacos, para facilitar ou dificultar certas ações, como realizar uma compra ou retardar o cancelamento de um produto.

Não é por acaso que o debate sobre regulação é intenso, mas nem sempre suficiente. Para além das implicações políticas ou econômicas, parece haver uma questão mais profunda: como garantir soberania digital considerando a subjetividade dos sujeitos na sua relação com as máquinas?

A partir desta indagação, pesquisadores publicaram o artigo “IA emocional e design capcioso: a questão da soberania para a subjetividade” no periódico Liinc em Revista, numa edição especial voltada a refletir sobre questões de IA e soberania. A pesquisadora Fernanda Bruno, da Universidade Federal do Rio de Janeiro, assina o estudo conjuntamente com outros três pesquisadores: Paulo Faltay (Universidade Federal de Pernambuco), Alice Lerner e Helena Strecker (Universidade Federal do Rio de Janeiro).

A soberania é um termo comumente invocado para discutir questões de legitimidade sobre Estados nacionais, mas os autores do artigo traçam outro caminho “focalizando o modo como o sujeito e a subjetividade são interpelados pelas grandes plataformas, algoritmos e sistemas de inteligência artificial”.

Atualmente, as IAs seguem um paradigma conexionista, baseado em redes neurais que são capazes de aprender diretamente com o ambiente ou, mais especificamente, com a alimentação de enormes quantidades de dados, fazendo relações de probabilidades. É um paradigma aderente aos princípios da cibernética, que acabou se tornando hegemônico. Por isso a necessidade de processamento de gigantescas bases de dados, nas quais são estabelecidas relações e referências.

As tecnologias de reconhecimento facial são um exemplo. Elas têm se tornado uma tendência e são usadas desde aeroportos até na portaria dos condomínios. Elas permitem reconhecer, interpretar e até responder às emoções humanas, por meio de alguns sinais biométricos. Essas técnicas, na sua grande maioria, são baseadas em sete emoções básicas, tomadas como universais (que valeriam para todas as culturas), no Facial Action Coding System (FACS), modelo criado pelo psicólogo americano Paul Ekman.

Esses sistemas carregam uma certa limitação, na avaliação de muitos estudiosos, mas se tornaram muito úteis para a indústria, que viu uma possibilidade de padronização. Eles ignoram diversos sinais de contexto e o risco de reforçar tendências discriminatórias, principalmente se tratando de sistemas utilizados para segurança pública, relembrando práticas como a frenologia (pseudociência do século XIX que propunha ser possível determinar o caráter e as funções intelectuais de uma pessoa com base na forma e nas protuberâncias do crânio).

O desenvolvimento da chamada “IA emocional” (a que interpreta as expressões faciais e assim dispara uma ação cibernética, seja um aviso, uma outra imagem, etc) cada vez mais irá ampliar a complexidade de se lidar com estas tecnologias. Do ponto de vista jurídico, o estudo pontua como a União Europeia tem servido de referência, inclusive ao Brasil, desde a publicação do AI Act, que tenta classificar o que seriam sistemas de baixo, médio e alto risco ou definitivamente proibidos. No caso brasileiro, a proposta sobre o tema continua em tramitação legislativa depois de ter sido aprovada pelo Senado recentemente. A grande questão é como definir estas fronteiras, dada a capilaridade cada vez maior da IA emocional para guiar a ação de outras atividades sistêmicas.

Se o seu tocador de música sugerir uma música alegre, porque suas expressões faciais indicam felicidade, isso parece ser inofensivo. Mas, se imaginarmos que uma expressão de tensão em meio a multidão pode disparar um sinal de alerta a autoridades policiais, aliada a outros sinais como mãos suadas ou aumento da pressão arterial, sendo classificada como uma atitude suspeita, as implicações são outras. E pode levar a uma discriminação a partir de vieses, principalmente se a pessoa em particular for de uma minoria.

“A detecção – ou inferência, como preferimos nomear – de emoções não é problemática apenas por ameaçar a privacidade dos indivíduos e coletar seus dados (…) Antes, é preciso perguntar como as inferências emocionais dos sistemas de IA produzem pretensas verdades sobre indivíduos e populações, e de que maneira isso afeta a vida das pessoas.”

Como pontua o artigo, os dados, mesmo aqueles resultantes de reconhecimento facial ou de outra origem biométrica, não são naturais, são produzidos pela tecnologia. À medida que se estabelecem com estatuto de verdade, por convenções universalistas avalizadas como cientificamente corretas, podem carregar distorções difíceis de serem contestadas. No mínimo, é um campo complicado de reivindicar soberania do sujeito frente à relação com a máquina.

O reconhecimento facial é uma das formas, ainda que em grande ascensão, em que a privacidade é comprometida a fim de que nossos dados estejam disponíveis para que as plataformas nos ofereçam respostas. Nesse campo também se aliam as técnicas de dark patterns ou deceptive patterns, que os autores chamam de “design capcioso” – num trocadilho com a tradução de “design malicioso”. Trata-se de um design opaco, que tenta “driblar a consciência” a fim de que o usuário seja manipulado para fazer o que uma plataforma ou sistema esteja buscando.

São técnicas que revelam a “virada comportamental” da indústria do marketing – e das big techs – que começaram a adotar um modelo mais performativo, capaz de intervir sobre as pessoas em tempo real enquanto elas usufruem dos sistemas. As inferências, antes tomadas a partir de dados obtidos através de feedbacks, como likes, compartilhamentos, avaliações ou textos, tornaram-se insuficientes. No capitalismo de plataforma, há uma necessidade de antecipar o futuro e o design capcioso tenta modular o comportamento e assim “antevê-lo” (ou, melhor dizendo, condicioná-lo ou emparedá-lo).

“Agora, temos um segundo nível no qual as práticas evoluem para estratégias mais sofisticadas de modulação constante na arquitetura dos sistemas, que acontecem mais rápido do que somos capazes de perceber e afetam a experiência do usuário a longo prazo. Em suma, trata-se de um design capcioso que limita a autonomia do sujeito uma vez que direciona as escolhas e comportamentos de forma sutil, discreta e atraente.”

É o que ocorre exatamente quando uma compra é facilitada com apenas um clique, ou quando cancelar uma corrida parece exigir muito mais passos que o necessário. Dentro desse campo, para além de uma imagem ou um texto, há diversos outros elementos que estão sendo captados constantemente a fim de compor um perfil de uso e preparar a tela seguinte. Essa virada também revela uma mudança da concepção da forma como as pessoas são tratadas: se antes elas eram convidadas a se manifestar deliberada e conscientemente nos ambientes digitais, agora isso não é mais suficiente e é necessário condicioná-las.

“(…) para evitar a regulação da coleta de dados, as agências de marketing argumentam que os usuários são indivíduos racionais e soberanos que cedem conscientemente seus dados em troca de ofertas “relevantes”; por outro lado, essas mesmas agências vendem para os seus clientes técnicas herdadas da economia comportamental que pressupõem os tais indivíduos previsivelmente irracionais (…)”

Assim, por um lado o usuário é tratado como racional e consciente para autorizar o compartilhamento dos seus dados com as plataformas; por outro, é mobilizado como irracional, a ponto de o design das ferramentas poderem guiá-lo, influenciando seu comportamento.

Há saídas para este cenário? Certamente não há respostas únicas, pois não há como simplesmente reivindicar uma soberania plena do sujeito, tampouco considerar que precisa ser tutelado. Qualquer um destes pólos falharia em seu ponto de partida: almejar uma solução exclusivamente individual. “É necessário construir coletivamente ecossistemas sociotécnicos que permitam negociação, contestação e revisão constantes, garantindo condições para dissenso e reconsideração de práticas, regras e normas”, afirmam os autores.

Destacando que os sistemas automatizados de inferência emocional – as ditas IAs emocionais – utilizam modelos reducionistas e controversos, e que podem levar a resultados imprecisos e injustos, o estudo lembra que a aplicabilidade não é só questionável, mas pode reforçar desigualdades.

A resposta, portanto, não residiria apenas em uma legislação garantista ou protetiva, porque há sempre limites, áreas cinzas, disputas sobre significados e, obviamente, insuficiências. O que não quer dizer que essas medidas não sejam necessárias. Mas, inspirando-se na perspectiva de tecnodiversidade, os autores do artigo propõe a pensar na importância de uma abordagem coletiva na construção da soberania digital e tecnológica, reconhecendo as complexidades na relação entre humanos e sistemas de IAs.

No entanto, as possíveis alternativas não retiram a possibilidade de se dizer o que não é admissível: os autores apoiam as propostas já existentes de moratória e banimento de sistemas automatizados de detecção emocional, principalmente aqueles manipulados por big techs, como forma primeira de incidir sobre o cenário.

Link para o artigo: https://revista.ibict.br/liinc/article/view/7311

Esta nota faz parte do projeto “Inteligência Artificial e Capitalismo de Vigilância no Sul Global”, financiado pela Rede Latino-Americana de Estudos sobre Vigilância, Tecnologia e Sociedade e realizado pelo Labjor - Unicamp | Laboratório de Estudos Avançados em Jornalismo