Risco de IA: threat modeling
O curso aplica threat modeling a sistemas de IA. Neles, todo texto que chega ao modelo é dado e instrução ao mesmo tempo, e o comportamento não pode ser enumerado. Os temas são prompt injection direta e indireta, a superfície de ataque de agentes que chamam tools e a confiança entre agentes encadeados. Também entram os riscos em dados de treino, arquivos de modelo e dependências. O curso separa os ataques ao modelo que são práticos para um produto Rails típico dos mais acadêmicos. A última lição reúne defesas em torno da fronteira de privilégio: tools com privilégio mínimo, aprovação humana, sandbox, limites de gasto e logs.
O que você vai aprender
- ✓Por que o input de um modelo é dado e instrução ao mesmo tempo, e o que isso muda no threat modeling
- ✓Prompt injection direta e indireta, e os limites das defesas no nível do prompt
- ✓Riscos de agentes: abuso de tools, confused deputy, excesso de autonomia, loops sem limite e envenenamento de memória
- ✓Uma policy de autorização de tools que nega por padrão, baseada em escopo concedido e reversibilidade
- ✓Riscos de cadeia de suprimentos em dados de treino, hubs de modelos, formatos de arquivo e dependências de IA
- ✓Defesas como sandbox, limites de gasto, validação de saída, proveniência e logs de incidentes
Dano por acidente, dano por atacante
O curso de nível Sênior "Ética de IA: justiça, transparência, prestação de contas" tratou do dano que um sistema causa funcionando como projetado. Um modelo treinado em histórico enviesado reproduz esse viés em escala. Uma decisão não pode ser explicada a quem foi afetado por ela. Ninguém atacou…
Ler a aula completa grátis →Currículo
7 aulasDano por acidente, dano por atacante
Por que sistemas de IA pedem threat modeling: o input mistura dado e instrução, e o comportamento não se enumera.
Prompt injection: direta e indireta
Injeção direta e indireta, por que defesas no prompt são probabilísticas e por que a fronteira de privilégio se sustenta.
A superfície de ataque específica de agentes
Abuso de tools, confused deputy, excesso de autonomia, loops sem limite e envenenamento de memória em agentes.
Confiança multi-agente e a fronteira de privilégio
Por que encadear agentes multiplica o risco, e um policy object Rails que autoriza cada chamada de tool.
Risco de dados e supply chain
Envenenamento de dados de treino, modelos com backdoor ou nomes imitados, formatos baseados em pickle e higiene de dependências.
Ataques voltados ao modelo: extração e vazamento
Extração de modelo, inferência de pertencimento e vazamento pelas respostas, separados entre riscos práticos e acadêmicos para apps Rails.
Defesas que se sustentam
Privilégio mínimo, aprovação humana, validação de saída, sandbox, limites de gasto, proveniência e logs para reconstruir incidentes.