Modo de Sobreposição Segura (Safe Override Mode) em sistemas de IA que apoiam infraestruturas críticas nacionais é essencial para garantir controle humano definitivo
O Gartner, Inc., empresa de insights de negócios e tecnologia, prevê que, até 2028, Inteligência Artificial (IA) mal configurada em sistemas ciberfísicos (CPS) provocará a paralisação de infraestrutura crítica nacional em um país do G20.
O Gartner define CPS como sistemas projetados que orquestram sensoriamento, computação, controle, rede e análise para interagir com o mundo físico (incluindo seres humanos). CPS é o termo abrangente que engloba tecnologia operacional (OT), sistemas de controle industrial (ICS), sistemas de automação e controle industrial (IACS), Internet Industrial das Coisas (IIoT), robôs, drones ou Indústria 4.0.
“A próxima grande falha de infraestrutura pode não ser causada por hackers ou desastres naturais, mas sim por um engenheiro bem-intencionado, um script de atualização com falhas ou um decimal posicionado incorretamente”, diz Wam Voster, Vice-Presidente Analista do Gartner. “Um mecanismo seguro de desligamento de emergência (kill-switch) ou modo de sobreposição acessível apenas a operadores autorizados é essencial para proteger a infraestrutura nacional de desligamentos não intencionais causados por uma configuração incorreta da IA.”
A Inteligência Artificial mal configurada pode desligar de forma autônoma serviços vitais, interpretar erroneamente os dados dos sensores ou desencadear ações inseguras. Isso pode resultar em danos físicos ou interrupções de serviços em grande escala, representando ameaças diretas à segurança pública e à estabilidade econômica ao comprometer o controle de sistemas essenciais, como redes elétricas ou plantas industriais.
As redes elétricas modernas, por exemplo, dependem da IA para equilibrar em tempo real a geração e o consumo. Um modelo preditivo mal configurado pode interpretar erroneamente a demanda como instabilidade, acionando desnecessariamente o isolamento da rede ou o corte de carga em regiões inteiras ou até mesmo em países.
“Os modelos modernos de IA são tão complexos que muitas vezes se assemelham a ‘caixas pretas’”, diz Voster. “Mesmo os desenvolvedores nem sempre conseguem prever como pequenas alterações na configuração afetarão o comportamento emergente do modelo. Quanto mais opacos esses sistemas se tornam, maior é o risco representado por uma configuração incorreta. Portanto, é ainda mais importante que os seres humanos possam intervir quando necessário.”
Para mitigar os riscos, o Gartner recomenda que Chief Information Security Officers (CISOs) devem:
– Implementar modos de sobreposição seguros: para todas as infraestruturas críticas CPS, incluir um mecanismo de desligamento de emergência seguro (kill-switch) ou outros mecanismos de sobreposição acessíveis apenas a operadores autorizados, para que os seres humanos mantenham o controle final, mesmo durante a autonomia total.
– Gêmeos digitais: desenvolver um gêmeo digital em escala real dos sistemas que suportam infraestruturas críticas para testes realistas de atualizações e alterações nas configurações antes da implementação.
– Monitoramento em tempo real: Exigir monitoramento em tempo real com mecanismos de reversão para alterações feitas na Inteligência Artificial em CPS, garantindo também a criação de equipes nacionais de resposta a incidentes de IA.
Os clientes da Gartner podem saber mais em “Predicts 2026: Emergent Critical Risks of AI in CPS Security”. Saiba como navegar pelo caminho da modernização da infraestrutura no roadmap gratuito do Gartner, “Modern Infrastructure: Built for Tomorrow’s Business Demands”.
Gartner é a autoridade mundial em IA
O Gartner é o parceiro indispensável para executivos C-Level e fornecedores de tecnologia à medida que implementam estratégias de IA para alcançar suas prioridades de missão crítica. A independência e a objetividade dos insights do Gartner proporcionam aos clientes a confiança necessária para tomar decisões bem fundamentadas e desbloquear todo o potencial da IA. Clientes C-Level estão usando a ferramenta de IA do Gartner AskGartner para definir como aproveitar a IA em seus negócios. Com mais de 2.500 especialistas em negócios e tecnologia, 6.000 insights escritos, além de mais de 1.000 casos de uso e estudos de caso de IA, o Gartner é a autoridade mundial em IA. Mais informações podem ser encontradas aqui.
Sobre a Conferência Gartner Segurança & Gestão de Risco
Os analistas do Gartner apresentarão os mais recentes insights para os líderes de segurança e gestão de risco durante as Conferências Gartner Segurança & Gestão de Risco, que serão realizadas nos dias 09 e 10 de março em Mumbai (Índia), 16 e 17 de março em Sydney (Austrália), 1 a 3 de junho em National Harbor (Estados Unidos), 22 a 24 de julho em Tóquio (Japão), 4 e 5 de agosto em São Paulo (Brasil) e 22 a 24 de setembro em Londres (Reino Unido). Acompanhe as notícias e atualizações das conferências no X e LinkedIn usando #GartnerSEC.
Sobre Gartner for Cybersecurity Leaders
O Gartner for Cybersecurity Leaders equipa os líderes de segurança com as ferramentas para ajudar a reformular os papéis, alinhar a estratégia de segurança aos objetivos de negócios e construir programas para equilibrar a proteção com as necessidades das empresas. Informações adicionais estão disponíveis em https://www.gartner.com/en/cybersecurity/products/gartner-for-cisos. Siga as notícias e atualizações do Gartner for Cybersecurity Leaders no X e LinkedIn usando #GartnerSEC.
Sobre o Gartner
O Gartner, Inc. fornece insights objetivos e acionáveis que impulsionam decisões mais inteligentes e um melhor desempenho para as prioridades de missão crítica das empresas. Para saber mais, visite www.gartner.com.
