Relatório sobre nuvem e ameaças:
Aplicativos de IA na empresa

O ponto de partida para o risco do aplicativo genAI são os próprios aplicativos. Na prática, os controles de aplicativos também são o ponto de partida para controlar esse risco, normalmente implementados como listas de permissão ou bloqueio em um SWG ou proxy em linha.

A maioria das organizações restringiu o uso de aplicativos genAI para proteger seus dados, com 77% das organizações bloqueando pelo menos um aplicativo genAI em junho de 2024, o que representa um aumento de 45% em relação aos 53% das organizações em junho de 2023.

Essa tendência indica boa maturidade e adoção de controles básicos em relação ao uso de aplicativos genAI. Controlar quais aplicativos são usados em uma organização é um ponto de partida necessário para reduzir os riscos. No entanto, serão necessários controles mais granulares para serem eficazes. O uso específico de um aplicativo geralmente determina se a atividade deve ser permitida ou não. Por exemplo, uma pesquisa geral no ChatGPT deve ser permitida, enquanto o envio do código-fonte não deve.

Analisando mais detalhadamente os aplicativos bloqueados, o número médio de aplicativos bloqueados para todos os usuários de uma organização também tem aumentado, de 0,6 aplicativo em junho de 2023 para mais de 2,6 aplicativos em junho de 2024. O fato de haver tão poucas proibições de aplicativos genAI em toda a organização, em comparação com as centenas de aplicativos genAI no mercado, aponta para a popularidade de outros controles mais matizados, que discutiremos em mais detalhes posteriormente neste relatório.

Os aplicativos genAI mais bloqueados estão de certa forma relacionados à popularidade, mas um número razoável de aplicativos menos populares são os mais bloqueados. Das organizações que bloqueiam aplicativos de genAI, 28% bloqueiam o Beautifal.ai (tornando-o o aplicativo de genAI mais comumente bloqueado) e 19% bloqueiam o Perplexity AI, que é o décimo aplicativo mais comumente bloqueado. Muitas vezes, os bloqueios podem ser uma medida temporária, pois os novos aplicativos são avaliados para determinar se atendem a alguma finalidade comercial legítima e se são seguros para determinados casos de uso.

Os aplicativos específicos que são bloqueados variam de acordo com a política da organização, mas quando as porcentagens são altas o suficiente, como na lista dos 10 principais acima, vale a pena que todas as organizações analisem se os aplicativos específicos são usados em seu próprio ambiente, bem como se devem ajustar os controles em torno da categoria de aplicativos. A tabela a seguir mostra que os aplicativos mais bloqueados abrangem uma variedade de casos de uso diferentes no espaço da genAI.

Categorias de aplicativos GenAI mais bloqueadas

À medida que as organizações amadurecem e vão além das listas de aplicativos permitidos, elas tendem a começar a implementar controles mais detalhados sobre o uso dos aplicativos permitidos. Não é de surpreender que os controles de DLP estejam crescendo em popularidade como um controle de risco de dados da genAI. A popularidade da prevenção contra perda de dados aumentou de 24% em junho de 2023 para mais de 42% das organizações que usam DLP para controlar os tipos de dados enviados aos aplicativos genAI em junho de 2024, um crescimento de mais de 75% em relação ao ano anterior.

O aumento nos controles de DLP reflete um entendimento entre as organizações sobre como mitigar efetivamente o risco de dados em meio à tendência maior e ampla de aumento do uso de aplicativos de genAI. Dentro das políticas de DLP, as organizações estão procurando controlar fluxos de dados específicos, especialmente para bloquear prompts de genAI que contenham informações sensíveis ou confidenciais. Em organizações com políticas de proteção de dados, o código-fonte é responsável por quase metade (46%) de todas as violações de DLP, com dados regulamentados por normas do setor ou requisitos de conformidade em 35% e propriedade intelectual em 15%. Os dados regulamentados têm sido uma das principais áreas de violação antes da GenAI e reforçam os desafios com o treinamento manual dos usuários no compartilhamento inadequado de dados regulamentados.

A publicação de dados confidenciais em aplicativos genAI não apenas reflete as prioridades atuais das organizações, mas também mostra a utilidade de vários aplicativos genAI. Por exemplo, a popularidade do GitHub Copilot, juntamente com a participação de mercado da Microsoft como plataforma de desenvolvimento de software, pode impulsionar um maior uso do genAI para geração de código no futuro.

Embora os aplicativos ou atividades obviamente mal-intencionados sejam bem atendidos por controles que bloqueiam e alertam, o risco dos dados costuma ser mais uma área cinzenta. Os controles de coaching podem ser uma técnica altamente eficaz para lidar com áreas cinzentas, especialmente nos primeiros ciclos de tecnologia de rápida evolução, como a genAI. Além disso, as organizações podem usar o coaching para informar e refinar os controles de segurança sem bloquear a produtividade com falsos positivos e processos de aprovação lentos.

Os controles de treinamento fornecem uma caixa de diálogo de aviso ao usuário durante a interação com os aplicativos genAI, permitindo que ele cancele ou prossiga com suas ações. Ele funciona como os recursos de navegação segura incorporados aos navegadores. As vantagens são que ele proporciona uma experiência mais amigável para o usuário, não bloqueando seu trabalho, mas informando e permitindo que os usuários melhorem seu comportamento.

Para organizações com políticas para controlar o uso de aplicativos genAI, 31% delas usaram diálogos de treinamento em junho de 2024, em comparação com 20% das organizações em junho de 2023, um aumento de mais de 50% na adoção.

Isso acompanha a crescente sofisticação das organizações na aplicação de controles de treinamento semelhantes de outros domínios de segurança a outros mais novos, como o risco de aplicativos genAI. Embora o crescimento tenha se estabilizado, os controles de treinamento são relativamente novos em comparação com os bloqueios e alertas diretos baseados em DLP ou aplicativo. Esperamos que a adoção continue crescendo à medida que mais organizações entendam como usar o coaching para gerenciar os riscos mais graves associados aos dados.

Quando analisamos a resposta real do usuário aos alertas de diálogo de treinamento que ocorreram, vemos uma medida de eficácia. Para todos os usuários que receberam alertas de diálogo de treinamento para aplicativos genAI, em 57% desses casos, os usuários optaram por interromper a ação que estavam executando, o que reduziu o risco, pois os usuários evitaram enviar dados confidenciais em solicitações de aplicativos genAI ou evitaram o uso de aplicativos genAI novos ou desconhecidos. 57% é alto o suficiente para reforçar o argumento de que a orientação pode ser um controle eficaz para complementar os bloqueios explícitos de aplicativos e as políticas de DLP. Além disso, o coaching também permite o feedback. Ao decidir prosseguir, a maioria das organizações implementa políticas que exigem que os usuários justifiquem suas ações durante a interação de coaching.

Isso não significa sugerir que a tomada de decisão do usuário seja a base da política de segurança. Em vez disso, isso indica que, para as organizações que utilizam coaching, aproximadamente metade do uso do aplicativo genAI que não está sendo totalmente bloqueado pode ser reduzido ainda mais por decisões do usuário. Igualmente importante, as decisões do usuário em resposta aos diálogos de orientação podem e devem informar a revisão e o ajuste da política de segurança. Embora as decisões do usuário possam ser falhas e arriscadas, as duas categorizações formam a base para uma análise mais aprofundada. Os aplicativos que um usuário decidiu não usar com base em um diálogo de treinamento devem ser analisados para uma lista de bloqueio definitivo. Os aplicativos que um usuário decidiu usar devem ser analisados para serem colocados em uma lista de padrões corporativos permitidos ou talvez bloqueados se houver um aplicativo melhor ou mais aceitável. As respostas dos usuários às solicitações de treinamento também podem ser usadas para refinar políticas com mais nuances, como as políticas de DLP, para que sejam mais direcionadas em sua aplicação.

Estamos vendo os primeiros sinais de detecções avançadas de comportamentos suspeitos de usuários com relação à movimentação de dados que foram detectados por mecanismos de detecção comportamental. A movimentação suspeita de dados geralmente inclui vários indicadores de comportamento suspeito ou inesperado de um usuário em relação à linha de base da atividade normal do usuário ou da organização. Os indicadores podem envolver atividades anômalas de download ou upload, fontes ou alvos de dados novos ou suspeitos, como novos aplicativos genAI, bem como outros comportamentos suspeitos, como o uso de um endereço IP ou agente de usuário inesperado ou ofuscado.

Um exemplo de alerta comportamental avançado detectado para movimentação suspeita de dados envolve a movimentação de dados de um aplicativo gerenciado pela organização e carregado em um aplicativo genAI pessoal não aprovado.

Semelhante ao treinamento, a lista de aplicativos que aparecem nesses alertas também pode ser usada para priorizar os esforços de controle com o uso do aplicativo genAI. Por exemplo, dois aplicativos usados com frequência podem se sobrepor em termos de funcionalidade, e isso, por si só, pode priorizar os esforços para reduzir o número de aplicativos.

O uso de alertas comportamentais mostra a conscientização e a adoção antecipada das organizações para encontrar ameaças mais difíceis de detectar, que tradicionalmente incluem credenciais comprometidas, ameaças internas, movimentação lateral e atividades de exfiltração de dados por agentes mal-intencionados.

Quando analisamos mais de perto as movimentações de dados confidenciais, descobrimos que os principais aplicativos de origem dos dados confidenciais refletem a popularidade dos aplicativos corporativos em nuvem, com o OneDrive (34%) e o Google Drive (29%) no topo, seguidos pelo SharePoint (21%), Outlook (8%) e Gmail (6%).

Os três principais aplicativos são todos de armazenamento em nuvem e colaboração e foram a fonte dos dados confidenciais em 84% das vezes, enquanto os principais aplicativos de e-mail em nuvem foram a fonte em 14% das vezes. Ao saber quais aplicativos específicos estão envolvidos com mais frequência em movimentações de dados confidenciais, as equipes de segurança podem ajustar os controles adequadamente, por exemplo, colocando controles DLP adicionais em aplicativos de compartilhamento de arquivos. As organizações devem priorizar a avaliação de risco de segurança e a implementação de controle em torno da movimentação de dados entre aplicativos, especialmente a movimentação de aplicativos gerenciados para aplicativos genAI não gerenciados, pois isso está se tornando mais comum e pode ter um grande impacto na perda de dados.