Segurança de IA: injeção
A injeção de prompt existe porque o modelo recebe instruções e dados numa única sequência de tokens. O curso explica essa fronteira quebrada e o problema do delegado confuso. Depois mapeia a superfície de ataque, de mensagens do usuário a documentos recuperados, resultados de ferramenta e exemplos guardados. Mostra o que os atacantes querem, por que filtros e delimitadores falham e quais controles de arquitetura seguram. Por fim, trata a saída do modelo como entrada não confiável e propõe uma revisão de modelo de ameaças.
O que você vai aprender
- ✓Por que um modelo de linguagem não tem canal separado para instrução e dado
- ✓Como mapear cada entrada que o modelo lê e quem consegue escrevê-la
- ✓Os quatro objetivos de um atacante e como as ferramentas definem a gravidade
- ✓Controles de arquitetura: privilégio mínimo, autorização no código, portões humanos, controle de saída e isolamento
- ✓Como lidar com a saída do modelo ao renderizar, fazer parsing ou guardar
- ✓Como testar defesas contra injeção verificando que nada aconteceu
A fronteira de confiança quebrada
Todo modelo de segurança que você já usou depende de uma distinção: esta parte é instrução, aquela é dado. SQL tem uma consulta e os parâmetros dela. HTML tem marcação e conteúdo de texto. Uma função tem código e argumentos.
Ler a aula completa grátis →Currículo
7 aulasA fronteira de confiança quebrada
Explica por que o modelo mistura instrução e dado num só fluxo, o delegado confuso e a injeção indireta.
A superfície de ataque
Mapeia cada fonte que o modelo lê, quem consegue escrever nela e como o texto injetado se esconde.
O que um atacante quer
Apresenta exfiltração, ação não autorizada, manipulação de saída e negação de carteira, e como as ferramentas definem a gravidade.
Defesas que não funcionam
Explica por que instruções, filtros, detectores por modelo e delimitadores falham como defesa principal, e o que manter.
Defesas que funcionam
Apresenta privilégio mínimo nas ferramentas, autorização no código, portões humanos, controle de saída e isolamento por confiança.
O problema de segunda ordem
Trata a saída do modelo como entrada não confiável: exfiltração por markdown, cross-site scripting e sistemas como SQL.
Um modelo de ameaças acionável
Transforma a análise numa revisão de seis passos, uma checklist, testes de injeção e preparo para incidentes.