Emily Wearmouth [00:00:01] Olá e bem-vindos a esta edição do Security Visionaries, um podcast para qualquer pessoa que trabalhe nos ecossistemas de segurança cibernética e dados. Sou sua anfitriã, Emily Wearmouth, e esta semana tenho três convidados incríveis que trazem três perspectivas diferentes para uma discussão que eu queria ter com eles sobre IA. Então, primeiro, deixe-me apresentar a todos. Primeiro, temos Yihua Liao, um cientista de dados que trabalhou para grandes nomes, como Facebook, Microsoft, Uber, e agora é chefe dos AI Labs da Netskope. Então seja bem-vindo, Yihua.
Yihua Liao [00:00:31] Obrigado. Que bom estar aqui.
Emily Wearmouth [00:00:32] Em seguida, temos Neil Thacker, que é um diretor de segurança da informação e um diretor de proteção de dados muito experiente. Ele trabalhou com grandes nomes como Swiss Re, Deutsche Bank, Camelot, a empresa de loteria. Ele também atuou como consultor da ENISA e da Cloud Security Alliance. Bem-vindo, Neil.
Neil Thacker [00:00:49] Obrigado, Emily. É um grande prazer estar aqui.
Emily Wearmouth [00:00:51] E finalmente, Suzanne Oliver é nossa especialista em propriedade intelectual hoje. Suzanne trabalha em consultório particular como estrategista de PI e advogada na Cintra. Ela costumava dirigir o departamento de PI na ARM e também é conhecida em Westminster, no Reino Unido, onde representa vários órgãos de PI e associações de IA e aprendizado de máquina em nível governamental. Conheci Suzanne na London Tech Week, onde tivemos uma ótima conversa enquanto tentávamos comer educadamente em pequenas lancheiras de papelão. Então, estou muito feliz que ela esteja conosco hoje para que eu possa ter uma segunda chance de causar uma primeira impressão. Bem-vinda, Suzanne.
Suzanne Oliver [00:01:23] Bem, obrigada. E sim, foi um ótimo almoço. Ótimo. Obrigado.
Emily Wearmouth [00:01:28] Então, IA é um tópico muito comentado, e acho que seria difícil encontrar alguém que não tenha falado sobre IA este ano. E então você pode se perguntar: o que podemos acrescentar a esse enorme conjunto de discussões? E realmente, era isso que eu queria fazer hoje. Eu queria passar essa questão aos nossos painelistas. E então pedi a cada um deles que estivesse preparado para responder a uma pergunta minha. E a pergunta que fica é: em meio a toda essa conversa e ao entusiasmo em torno da IA, o que você realmente gostaria de ver sendo mais discutido? Cada um aborda isso de um ângulo ligeiramente diferente, então vamos ver quais são as respostas. E Neil, vou começar com você. Então é um pouco como um encontro às cegas. Primeira pergunta para você, Neil.
Neil Thacker [00:02:05] Hum, sim, quero dizer, é uma ótima pergunta. Eu penso. Quer dizer, por exemplo, eu adoraria ver todo mundo parar de usar chatGPT, IA e ML são sinônimos, então acho que isso nos ajuda a nos afastarmos disso para que possamos entender melhor e aumentar a conscientização sobre o quão difundida a IA é hoje. Acho que geralmente dizemos que isso é subnotificado. Então é parecido com dizer que alguém que tínhamos no passado, alguém de uma organização, disse, oh, por exemplo, estamos usando a nuvem, mas na verdade eles estão usando milhares de aplicativos de nuvem e cada um está executando tarefas ligeiramente diferentes. E acho que temos o mesmo desafio com a IA. Isso já é bastante difundido entre organizações e, claro, também entre consumidores. Eles estão utilizando essas ferramentas e serviços. Então, novamente, esse seria o número um. E, claro, isso importa por causa de uma série de áreas importantes. Então, uma delas é apenas a conscientização geral sobre o uso atual da IA e também a consciência de que ela não é uma tecnologia futura. Está acontecendo hoje. Em segundo lugar, acho que precisamos entender as pessoas, o tipo de negócio e os dados que os consumidores têm para saber que a IA não é apenas um aplicativo específico. Então é como dizer que é ChatGPT. Quer dizer, o que eu mais odeio é quando ouço alguém falando sobre IA e dizem que é IA, como o ChatGPT. É um equívoco comum achar que existem apenas alguns aplicativos por aí hoje que utilizam esse tipo de capacidade de IA. Então ele está presente em muitos dos aplicativos que usamos hoje. Está sendo usado, está difundido. É essencial que organizações e consumidores entendam qual o motivo, quais dados estão sendo processados e qual o resultado pretendido com o uso daquele aplicativo e serviço. Então esses são os principais aspectos que vejo.
Emily Wearmouth [00:03:48] Brilhante, obrigado, Neil. Estou observando a reação de Suzanne e tenho uma pergunta para você, na verdade, no verso disso. Quem você acha que deveria ser o responsável por essas definições? Sabe, Neil não quer que seja definido apenas como ChatGPT ou existe uma definição ou padrão comum para IA? E se sim, quem não tem ou quem deveria ter?
Suzanne Oliver [00:04:07] Mais uma vez, ótima pergunta. Hoje em dia, ninguém é dono dele. E há outros padrões que são usados para descrever níveis, por exemplo, níveis de autonomia em termos de carros e veículos autônomos. E acho que esta era certamente clama por um pouco mais de transparência sobre o que é e o que não é IA e o que é ML. Eles são frequentemente usados de forma intercambiável e, na verdade, são muito diferentes. Então, acho que há muito entusiasmo, e acho que há muito entusiasmo porque há uma falta de compreensão sobre o que esses sistemas podem ou não fazer. Mas, por outro lado, há uma falta de compreensão sobre quem é dono do que entra e quem é dono do que sai, para retomar um dos pontos de Neil, que é o meu maior problema, e acho que a Netskope destacou em um dos seus relatórios a quantidade de código-fonte que é realmente inserida nessas ferramentas. O código-fonte proprietário pode ser uma falta de compreensão de que essas ferramentas não afirmam manter esse segredo ou não afirmam permitir que você o mantenha como seu. E eles também afirmam ser donos de qualquer produção. Então, toda essa área de transparência de quem é dono do quê. Como se chama e o que faz? Acho que sim. Talvez não seja adequado para padronização, mas talvez seja adequado para a criação de uma New linguagem que nos ajude a comunicar esses aspectos de forma mais clara para pessoas que não necessariamente os entendem imediatamente.
Emily Wearmouth [00:05:35] Neil, você tem um exemplo? Você fala sobre a IA já ser difundida e ser uma tecnologia de hoje, não do futuro. Você tem algum exemplo de onde viu IA em ação que as pessoas talvez não soubessem que deveriam procurar?
Neil Thacker [00:05:47] Sim, quero dizer, vimos a introdução de muitos assistentes de IA, especialmente em reuniões e videoconferências, etc. Então é bem comum agora eu entrar em uma reunião e às vezes tem um assistente de IA tomando o lugar de alguém, o que é sempre interessante. Mas sim, é claro que é direto, quero dizer, eu verifico os participantes nas reuniões. Nem todo mundo faz isso. Nem todo mundo sabe que existe um assistente de IA. E eu acho que, quero dizer, talvez esteja tudo bem. Por exemplo, se o assistente estiver tomando notas e/ou talvez documentando a ata da reunião, o que é ótimo porque a maioria das pessoas não gosta de fazer isso. Então isso é ótimo. Vamos automatizar essa capacidade. Mas é claro, se esse sistema de IA estiver realizando alguma análise de sentimento adicional, talvez esteja observando a pontuação de humor, talvez eu tenha visto isso, já vi esse assistente de IA fazer a pontuação de humor a cada 5 segundos, o que me preocupa um pouco. Quer dizer, mesmo que tenhamos isso, já vi alguns serviços usando pontuação de QI, então meio que ouvindo como as pessoas estão falando e interagindo e tentando avaliar seu QI. Agora, é claro, se você for fazer algo assim em uma reunião, você deve avisar alguém com antecedência, porque essa pessoa pode querer verificar primeiro o fornecedor, o provedor daquele serviço, o assistente de IA, talvez a política de privacidade deles. Talvez você queira explicar isso logo de cara. Então, é claro, se você está tendo um dia ruim, então talvez eles... Não sei. Quer dizer, uma dessas coisas vai pegar alguém de surpresa em algum momento. Então, quero dizer, esse é apenas um exemplo, talvez um exemplo grosseiro, mas acho que é aí que precisamos entender melhor as capacidades do serviço, o que ele é capaz. Não se trata apenas de gravar e criar atas de reuniões. Há tantas possibilidades aí. E isso está fazendo com que as pessoas tomem consciência disso. Agora, como exemplo, eu voltei a um provedor, um desses serviços, e perguntei a ele: "Ok, qual é a sua política de privacidade?" E a resposta deles, não se preocupe, ela está totalmente coberta. E independentemente disso, este é o futuro. Então aceite. Então, imediatamente, os alarmes começaram a soar. Claro que sim. Então tive que pesquisar mais a fundo para descobrir exatamente o que o serviço deles estava oferecendo. Então, penso novamente que é muito difícil para as pessoas entenderem isso. E, mais uma vez, às vezes é tarde demais. Eles são colocados em apuros. Eles precisam fazer uma avaliação rápida, um julgamento sobre esses serviços. Então sim, trata-se de realmente entender esse entendimento. Novamente, um nível de confiança talvez do fornecedor dessas tecnologias e serviços.
Emily Wearmouth [00:08:12] Eu diria que é bastante ousado enviar a IA para uma reunião no seu lugar. Todas as conversas sobre pessoas que vão perder seus empregos e que estão trilhando esse caminho voluntariamente, não é?
Neil Thacker [00:08:23] Sim, acho que o desafio é que, quando definimos, todos nós enviamos nosso próprio assistente de IA para a reunião. O que eles discutem? Eu adoraria ser uma mosca na parede.
Emily Wearmouth [00:08:30] Com isso. Brilhante. Yihua. Eu queria trazer você para dentro. Neste ponto, você está trabalhando muito na construção de sistemas de IA e na escrita de modelos para modelos de aprendizado de máquina. O que você pensa sobre esse tipo de renomeação persistente de tudo como ChatGPT? Você acha isso frustrante?
Yihua Liao [00:08:49] É, você sabe, porque eu sinto que a lavagem de IA é definitivamente um problema. Sabe, isso está obscurecendo a clareza na compreensão da IA. Então, eu definitivamente gostaria de ver mais discussões sobre a maneira como, você sabe, empresas de segurança e talvez empresas de tecnologia em geral, você sabe, como estamos construindo IA e ML, você sabe, qual é a entrada para o modelo de IA e qual é a saída e quão confiável é a saída? Certo? E sinto que há uma falta de compreensão e falta de transparência nesses aspectos. Então, como resultado, acho que há alguns equívocos. Sabe, do jeito que eu vejo, sabe, geralmente algumas pessoas podem dizer: "Ei, eu posso fazer tudo". Sabe, isso vai tirar nossos empregos e controlar tudo o que fazemos. E também tem gente que diz: "Você está treinando com meus dados e não quero que você use meus dados para melhorar, para ajudar meus concorrentes". Então, acho que talvez desde que criei o Netskope AI Labs e ao longo dos anos, nós realmente desenvolvemos muitos recursos de IA na Netskope e antes de toda essa febre geral de IA. Então talvez eu possa compartilhar algumas das minhas perspectivas e como construímos modelos de aprendizado de máquina e IA na Netskope. Então, antes de tudo, nós construímos muitos modelos de IA na Netskope, incluindo modelos para identificar malware, sites de phishing e dados confidenciais. Acho que Suzanne mencionou o classificador de código-fonte, algo que minha equipe construiu alguns anos atrás. Também usamos aprendizado de máquina para identificar comportamento anômalo do usuário, o que pode indicar violação de dados ou ameaça interna e assim por diante. Então, em um nível alto, o que entra em nossos modelos são os dados que tentamos coletar de diferentes fontes, incluindo dados de domínio público ou dados que adquirimos de terceiros. E por isso nunca usaríamos os dados dos nossos clientes para criar modelos de aprendizado de máquina sem a permissão deles. Então, como você pode imaginar, alguns dos modelos de aprendizado de máquina, por exemplo, como uma análise do comportamento do usuário, para isso, precisamos observar o comportamento normal de cada usuário individual. Mas mesmo para esse tipo de modelo, antes de tudo, temos a permissão dos nossos clientes. Em segundo lugar, estamos analisando algumas outras informações que não estamos analisando, por exemplo, quando o usuário está baixando um arquivo, não precisamos necessariamente analisar o conteúdo do arquivo para decidir se esse comportamento é anormal ou não. Certo. Então, então sim, é basicamente isso que entra no modelo. Agora em termos da saída do modelo. E você sabe, muitas coisas, hoje em dia, quase todas as empresas afirmam que estão fazendo IA, o quão precisos são os modelos de IA. Mas eu diria que se alguém lhe disser que sua IA é 100% precisa, eu diria que essa pessoa está mentindo. Sabe, no final das contas, a IA é, na verdade, algo que você pode pensar como uma probabilidade, sabe, a probabilidade de algo acontecer com base nos dados de treinamento que eles têm. Então, você sabe, você sempre precisa de algum humano no circuito para verificar a saída do modelo de IA ou talvez algum tipo de circuito de feedback dentro do seu produto para que você possa usar esse feedback e retreinar seu modelo e torná-lo melhor ao longo do tempo. Então a IA é realmente um processo inovador. É uma jornada, e você nunca pode esperar que o modelo seja 100% preciso ou mesmo 99% preciso na primeira vez. Você sempre tem que iterar ao longo do tempo.
Emily Wearmouth [00:13:30] Posso ver muitos acenos de Suzanne e Neil. Sinta-se à vontade para pular o que você quiser adicionar.
Suzanne Oliver [00:13:37] Sim, acho que eu estava concordando veementemente com o ponto de confiabilidade e acho que é a falta de compreensão, especialmente, você sabe, eu sei que esse é o ódio de estimação de Neil, quando você vai da IA direto para o ChatGPT. É um exemplo bastante interessante por si só, que pode ser usado porque, você sabe, ele apresenta dados incorretos como corretos porque não tem noção do que é certo e errado, ou verdadeiro. Sabe, é apenas a probabilidade de que essa seja a resposta que você está procurando. É assim que funciona. E acho que é aqui que, sabe, cheguei ao meu ponto anterior sobre educação e habilidades para entender que essas coisas são ferramentas. E, assim como os humanos, eles são falíveis, mas de maneiras diferentes. Certo. E eu acho que é pensado que nós, como sociedade, precisamos entender um pouco melhor isso. Mas a questão sobre, você sabe, ter essa transparência de como os descrevemos, talvez precisemos categorizá-los de diferentes maneiras funcionais e categorizar a saída de risco como os níveis de autonomia anteriores, mas sim, meio que concordando, concordando veementemente.
Emily Wearmouth [00:14:54] E Neil, eu queria te perguntar e você tem algo mais a dizer, então fique à vontade para responder as duas coisas. Mas se alguns dos pontos que Yihua estava abordando repercutiram em você como alguém cujo trabalho é proteger dados. Que tipo de perguntas você está fazendo a alguém como Yihua em outras empresas de tecnologia para realmente chegar ao fundo do que esses sistemas estão sendo construídos para fazer?
Neil Thacker [00:15:16] Sim, quero dizer, tudo se resume aos dados, certo? Então, perguntas sobre o que acontece com os dados que estão sendo inseridos como parte de uma consulta de entrada. Por exemplo, se você estiver usando o genAI, o que acontece com o modelo é que ele está sendo usado para fornecer serviços adicionais de forma privada ou pública e também o que uma análise controla. E, obviamente, foi mencionado lá novamente um exemplo de controles de organização que são implementados, mas também o que acontece com a saída e se há algum tipo de verificação de integridade realizada na saída e se a saída pode ser usada para passar e pré-treinar outros modelos? Certo. Então, esse é outro aspecto que, mais uma vez, você pode, é claro, entrar em um loop e aproveitar ainda mais, refinar ainda mais a consulta de saída com base em uma série de tipos de loops de feedback utilizando serviços de IA. Mas, novamente, é importante entender: quão antigos são esses dados? Por quantas iterações esses dados passam? Mas então também se resume a coisas como, por exemplo, qual país? Acredito que isso é algo sobre o qual definitivamente faremos mais perguntas no futuro próximo, à medida que mais regulamentações forem criadas para proteger os indivíduos. E ouviríamos que a lei de IA da UE seria uma lei que entraria em vigor para proteger os cidadãos da UE. Mas, é claro, isso geralmente significa que haverá uma série de outros requisitos e regulamentações regulatórias vindas de outros países que querem continuar fazendo negócios com a UE, esse tipo de coisa. Vimos que o GDPR é um exemplo. Então, essas são coisas que você precisa saber. Uma coisa que eu também acrescentaria é que acho que todos nós estamos cientes, talvez nesta chamada, e talvez outros estejam cientes deste fenômeno de alucinação em que a IA irá e pode ocasionalmente criar conteúdo imaginativo e criativo. E não é baseado em fatos ou verdades. Vi isso recentemente como exemplo. Alguém perguntou novamente: "Qual é o recorde mundial para atravessar o canal a pé?" E deu um nome, uma data e um tempo de travessia.
Emily Wearmouth [00:17:20] Esse foi meu recorde, Neil.
Neil Thacker [00:17:21] Então sim, quero dizer, 14 horas e 51 minutos.
Emily Wearmouth [00:17:24] Levei uma eternidade. Sim, sim.
Neil Thacker [00:17:26] Mas algumas pessoas pensam, bem, talvez novamente estivesse correto. Talvez alguém tenha realmente cruzado o canal novamente usando o Túnel do Canal da Mancha, por exemplo. Mas o conteúdo subsequente dizia que a atividade só deveria ser tentada por nadadores profissionais. Então você pode pensar que há algum tipo de alucinação. Então esse é apenas um exemplo. Mas sim, acho que precisamos estar cientes dos dados, da integridade, de como eles estão sendo protegidos e também de todas as regulamentações que provavelmente serão adotadas. Mas, na verdade, estamos tentando proteger, mais uma vez, os cidadãos em relação ao uso desses serviços e quais dados estavam realmente sendo processados.
Yihua Liao [00:17:59] Sim. Então, Neil, isso é verdade. Quer dizer, a alucinação é certamente um desafio para praticantes como eu. Estamos tentando muitas coisas New , tentando minimizar a probabilidade de alucinação. Mas eu também gostaria de mencionar que, você sabe, destacar o que você mencionou antes. A IA realmente se trata de dados, certo? Sua IA é tão boa quanto seus dados de treinamento. Sabe, se você não tiver dados confiáveis e de alta qualidade, se seus dados forem tendenciosos e seu modelo não tiver um desempenho muito bom, tenho certeza de que alguns de vocês já ouviram a história de que alguns modelos de IA de reconhecimento facial são menos precisos. E quando se trata de pele mais escura ou mulheres, há algum preconceito de gênero e idade nos dados de treinamento. Então, isso é um problema para nós, empresas de segurança como a nossa, porque na maioria dos nossos modelos de aprendizado de máquina, não consideramos coisas como idade, gênero e outras informações de identificação pessoal. Mas eu diria que ainda é possível que o treinamento que usamos para treinar nossos modelos de IA não represente de fato o que vemos no mundo real. Então, como cientistas de dados ou cientistas de ML, sempre tentamos melhorar a qualidade dos nossos dados de treinamento para que sejam mais representativos do que vemos no mundo real.
Neil Thacker [00:19:44] Sim, quero dizer, também estamos vendo, por exemplo, toda a cadeia de suprimentos e a economia da IA, certo? Há organizações que fornecem dados que podem ser usados para treinar esse tipo de coisa, e é aí que começamos a falar sobre integridade de dados também. E onde esses dados foram obtidos é um pouco como a discussão de marketing. De onde essa informação foi obtida? Foi obtido com consentimento? Todos esses tipos de coisas. Então isso também envolve uma discussão, certo? Todo o levantamento econômico sobre a cadeia de suprimentos, de onde esses dados vieram, quem deu permissão ou aprovação para processá-los. Certo. Acredito que há muitos requisitos e desafios que as organizações precisam enfrentar ao começarem a analisar a IA e o uso da IA em suas organizações.
Emily Wearmouth [00:20:28] Definitivamente. E acho que isso possivelmente se encaixa muito bem na maneira como você responderia à pergunta. Suzanne. Tivemos um bate-papo prévio, apresente sua resposta. Então, como você responderia à pergunta? Qual é o assunto que você gostaria que fosse mais discutido?
Suzanne Oliver [00:20:42] Sim, acho que já toquei nesse assunto. Definitivamente, é uma questão de transparência sobre o que entra e o que sai e quem é o dono disso. Quer dizer, dados em si não podem ser propriedade por si só, e esse é provavelmente um tópico totalmente diferente, então não vou entrar nesse assunto. Mas penso, com base no ponto de Yihua sobre preconceito inconsciente. Você sabe que existem 35 vieses cognitivos mínimos que temos como humanos, e eu provavelmente poderia ter nomeado três se você tivesse me perguntado antes desta ligação. Então, como podemos esperar que os dados que entram nessas ferramentas sejam representativos de nós se nem sequer nos entendemos para começar? Então esse é um elemento da minha resposta ao meu livro, eu diria. A outra é realmente quem é o dono da produção. Então, da minha perspectiva, a IA aborda principalmente direitos autorais e propriedade de direitos autorais. Então, por exemplo, se eu carregar algumas fotos em uma dessas ferramentas e ela criar uma espécie de pega uma das minhas fotos e coloca uma alteração nela, então essa alteração talvez seja de propriedade da ferramenta. Então, por exemplo, aqui seria OpenAI e ChatGPT, mas eu sou o dono da foto original, então o resultado é um New trabalho, por exemplo, mas pode potencialmente infringir algo que aconteceu antes, porque você olha para trás com a violação e a inovação avança. Então, mais uma vez, esses são conceitos muito difíceis de entender para leigos e também para empresários. Mas há muito pouco, a menos que você seja um pouco fanático por PI como eu, há muito pouco discutido sobre isso. E certamente a linguagem não é fácil. Direitos autorais não são um assunto fácil de entender, ponto final. Então, acho que, como líderes em tecnologia, precisamos ser nós que tornamos a conversa mais transparente. E isso nos leva de volta ao ponto que eu estava levantando antes sobre ter uma linguagem comum que definimos para falar sobre os dados que entram, os dados que saem e a ferramenta em si, para que possamos realmente entender, monitorar e padronizar parte do que está acontecendo para tornar mais fácil entender o que está acontecendo.
Emily Wearmouth [00:23:04] Da sua perspectiva, até que ponto estamos tentando fechar a porta do estábulo depois que o cavalo fugiu? Quer dizer, você fala sobre coisas como o Facebook, que é dono das minhas fotos de férias há mais de uma década. Que sorte a deles. Mas para os consumidores, parece que, até certo ponto, esse cavalo fugiu em termos de propriedade de dados para alimentar esses sistemas. Esse é o caso das corporações ou ainda há uma chance de fechar a porta?
Suzanne Oliver [00:23:26] Não tenho certeza se algum dia fecharemos a porta, mas acho que não adianta ficar sentado ali assistindo o cavalo fugir e a distância. Acho que talvez seja preciso fazer um pouco de controle. E para mim, é a velocidade da mudança. É a velocidade da mudança em termos de organizações, não saber onde estão seus dados valiosos, quem os está manipulando, quem os está enviando para a nuvem. E você só pode gerenciar minha exceção. Mas você não quer que essas exceções aconteçam. Certo. Então, acho que é realmente importante entender o comportamento dos seus engenheiros e do seu pessoal de marketing e ter conversas com eles sobre, ok, essas ferramentas são ótimas. Eles vão ajudar você a economizar algum tempo. Mas você percebe que quando você tem essa ferramenta de secretaria rodando em segundo plano, ela fica em um servidor em um país onde talvez você não queira que as atas das reuniões mensais do conselho executivo sejam armazenadas em um servidor naquele país, não importa quanto tempo isso lhe poupe escrevendo essas atas. Então, embora pareça uma coisa fácil de fazer e uma ferramenta eficiente de usar, na verdade há desvantagens. E é só uma questão de ter um pouquinho de poder cerebral para dizer: "Ok, você sabe, todo ponto positivo tem que ter um porém". Aqui, Neil, mencionado anteriormente, está fazendo perguntas como: "Ok, essa ferramenta parece muito eficiente, mas por que ela é gratuita?" Por que é barato? Por que custa menos do que ter uma pessoa sentada lá, sabe, escrevendo as atas ou compartilhando-as? E tem que haver o outro lado da equação. E você precisa se fazer essa pergunta, eu acho.
Neil Thacker [00:25:15] Sim, acho que uma das preocupações que tenho em geral é que hoje já vemos organizações, por exemplo, emitindo questionários para entender melhor o uso da IA em um produto ou serviço. O desafio que você sempre tem é que um questionário geralmente é único, talvez sobre a adoção de uma New ferramenta, New tecnologia que pode ser em IA, ou pode ser uma revisão anual dessa ferramenta. Mas acho que sempre precisa haver um estágio no tempo em que façamos isso de forma mais regular, mais contínua, com base, Suzanne, como você destacou, nessa rápida adoção, nesse rápido crescimento de maturidade nesses serviços. Então, quero dizer, uma ferramenta que você pode adotar hoje vai parecer muito diferente daqui a uma semana, duas semanas ou um mês, à medida que New recursos e funcionalidades forem adicionados. Então, é quase necessário que haja uma avaliação contínua. Sou um grande fã de analisar aplicativos e serviços de pontuação e usar isso para definir políticas com base nisso. E, novamente, pode ser, por exemplo, que até nós estejamos vendo esse desafio em torno de aplicativos e serviços que foram comprometidos. As regras que eles implementaram, e que os provedores não implementariam para proteger o serviço, foram quebradas. Como acontece com a maioria das coisas que as pessoas vão hackear, os hackers vão hackear. Certo. Então você também precisa estar ciente desse tipo de coisa. E sim, também há alguns, quero dizer, alguns casos de uso absurdos em que ferramentas estão surgindo e talvez estejam cruzando a linha em termos de ética e que a organização, por exemplo, os funcionários da organização, por exemplo, estão utilizando e talvez isso possa cruzar sua própria política de ética. Então, novamente, isso também precisa fazer parte dessa avaliação, essa pontuação de confiança. É aí que, de uma perspectiva organizacional, as organizações devem realmente procurar fornecer uma melhor governança de supervisão em torno do uso de serviços de IA.
Emily Wearmouth [00:27:02] Perguntei a você no começo, Suzanne, quem deveria ser o responsável pelas definições e padrões. E, de certa forma, isso é uma repetição daquela questão de quem deveria ser o responsável pela adjudicação desse tipo de decisão. Neil fez alusão às próximas leis de IA da UE. E temos visto muitas posturas de governos ao redor do mundo tentando ser vistos como tendo um papel de liderança no desenvolvimento da IA. Mas será que isso é algo que pode ser regulamentado ou deveria vir da indústria? De onde você vê a liderança vindo?
Suzanne Oliver [00:27:34] Acho que sempre funciona quando vem da indústria, falando pessoalmente. Mas, no final das contas, acredito que os órgãos de normalização fazem um trabalho muito bom. Então, a autonomia desses seis níveis, de 0 a 5 níveis de autonomia, é mantida pela SEA, eu acho, que é uma organização automotiva autônoma, a menos que eu esteja enganado. Você tem a Internet atualmente regulamentada por órgãos independentes. Então, você sabe, meu voto seria para um órgão independente. Mas, da perspectiva da indústria, caso contrário, acho que não vou continuar. Hum, mas eu certamente, e isso também foi mencionado nesta chamada, acho que Yihua mencionou o conceito de greenwashing. Não acho que deva ser uma autocertificação. Há muito disso com algum carbono e compensações de carbono e esse tipo de coisa que, você sabe, nós somos, você sabe, eu acho que eticamente, você sabe, verdes ou algo assim com um pouco de ética tecnológica, eu vi muitas startups que têm um algoritmo de ML rodando em suas máquinas e então eles têm em todos os seus tipos de pitch decks, você sabe, onde eu, empresa e máquinas, você sabe, eles estão usando um algoritmo de visão computacional pronto para uso. Acho que isso também não ajuda ninguém a entender o que é, para que serve e qual o valor que traz. Mas sobre muitos pontos que tanto Neil quanto você abordaram nesta ligação.
Emily Wearmouth [00:29:20] Yihua, e você, como alguém que está desenvolvendo essas coisas, quanta responsabilidade você acha que deve ser assumida pelos próprios desenvolvedores e o quanto isso é injusto? E vocês sabem, vocês deveriam ter a liberdade de criar coisas que, como sociedade mais ampla, talvez possamos regular.
Yihua Liao [00:29:32] Acho que nós, como profissionais de IA, também devemos ter muita responsabilidade quando se trata de IA responsável. Aqui na Netskope, temos um comitê interno de governança de IA para nos ajudar a definir a estratégia de IA, configurar os processos de revisão e assim por diante. E toda vez que começamos a trabalhar em uma New iniciativa ou New modelo de IA, sempre temos que passar por um processo de revisão de segurança e privacidade interna muito robusto, e temos que preencher questionários e então deixar bem claro, você sabe, o que entra no modelo. Qual é o modelo, como o modelo será usado, há alguma preocupação com privacidade e assim por diante. Então, acredito que alguns, não apenas o governo e a indústria, mas também todas as empresas e todos os profissionais de IA, deveriam estar cientes disso e levar isso a sério. E para garantir que todos nós possamos construir sistemas ou produtos de IA de forma responsável.
Emily Wearmouth [00:30:48] Obrigada. Essa foi uma pergunta maldosa para eu fazer a você. Então, obrigado por abordar isso. Então, estou realmente gostando dessa conversa e não tenho a mínima dúvida de que, se estivéssemos confortavelmente acomodados num pub britânico, ela provavelmente poderia durar muito mais horas. Mas nosso produtor está acenando para mim, e essa é a minha deixa para apitar e tentar encerrar o show para vocês. Então, vou tentar resumir e fique à vontade para interromper se estiver fazendo algo errado. Acho que é justo dizer que há muitos pontos interligados entre as diferentes maneiras como vocês três responderam à minha pergunta, mas também parece que há muito consenso. E acho que todos vocês concordam amplamente que queremos que as pessoas parem de usar chatGPT, IA e ML como sinônimos. Então, Neil, todos nós apoiamos seu desejo e tentaremos trabalhar nele. Nós também caímos na mesma armadilha nessa discussão. Não sei se você percebeu que eu estava me referindo ao mesmo exemplo, mas precisamos melhorar. E nós também, creio eu, concordamos amplamente que seria benéfico ter mais detalhes explícitos, sob o capô, para o ouvinte americano, por trás dessa rotulagem brilhante de IA que as pessoas estão colocando em tudo, seja em busca de atenção da imprensa ou de altas avaliações, para que organizações e usuários possam obter uma melhor compreensão de quanto risco devem aplicar em suas avaliações e no que podem ou não confiar. E então acho que o ponto final que abordamos e que veio da sua resposta principal, Suzanne, foi que definitivamente nos beneficiaríamos de mais conversas sobre propriedade de dados em toda a cadeia de suprimentos de IA, tanto em relação ao que está entrando quanto ao que está saindo. Então, estamos construindo um maior entendimento dentro da sociedade, das empresas e dos indivíduos sobre como é essa conversa sobre propriedade, para que as pessoas possam tomar decisões informadas. Mas só de pensar nessa lista, sabemos o quanto precisamos? Quer dizer, é uma lista muito modesta.
Neil Thacker [00:32:36] Parece fácil.
Suzanne Oliver [00:32:37] Yeah, all solved. In one podcast.
Emily Wearmouth [00:32:41] Pronto, eles deveriam nos chamar com mais frequência. Agradeço a todos vocês pelo seu tempo e por uma conversa tão interessante e multifuncional, suponho, com todos vocês trazendo suas perspectivas. E então, para os nossos ouvintes, eu só quero dizer que nos vemos na próxima vez no Security Visionaries. Obrigado.
Yihua Liao [00:33:00] Obrigado.
Neil Thacker [00:33:00] Obrigado a todos.
Suzanne Oliver [00:33:01] Obrigada.
){kind=icon}
