A camada sob os frameworks
O curso de nível Sênior "Sistema de gestão de IA: ISO 42001" deu a você o processo. Ele traz um inventário, uma política, uma avaliação de impacto, controles de ciclo de vida, uma trilha de evidências, um portão de release, uma auditoria. O curso de nível Sênior "Conformidade: o AI Act europeu" deu a forma legal. Ele trouxe níveis de risco, papéis de provider e deployer, obrigações de GPAI e trabalho de engenharia para sistemas de alto risco. Dá para seguir os dois cursos à risca. Um time pode completar todos os artefatos que qualquer um deles exige: a entrada no inventário, a avaliação no estilo DPIA, a documentação de conformidade. E ainda assim lançar um sistema que nega crédito a um grupo de solicitantes sem justificativa defensável. Ou que explica uma decisão numa linguagem que nenhum afetado consegue usar.
Essa lacuna é este curso. Ele não é um terceiro framework para cumprir. É a substância que os outros dois tentam pôr em prática. A ISO 42001 pergunta "você tem um processo para avaliar impacto?". Ela não pergunta se a sua métrica de justiça é a certa. Nem se ela sequer pode ser, dadas as outras métricas que também importam para você. O AI Act pergunta "o seu sistema de alto risco cumpre as obrigações de acurácia e robustez?". Ele não diz o que "justo" significa quando duas definições matemáticas razoáveis de justiça não podem valer juntas para o mesmo modelo. Este curso passa sete lições na parte que um checklist não consegue conferir.
O que "ética" significa aqui
Não é um pôster de valores. São quatro perguntas de trabalho que um engenheiro sênior precisa responder com algo mais específico do que "nós nos importamos com isso":
- Justiça (fairness): qual das várias definições matemáticas incompatíveis de "tratado com justiça" se aplica a esta decisão, e quem decidiu isso.
- Transparência: quem precisa saber o quê, em que nível de detalhe, e qual técnica entrega isso para essa pessoa.
- Prestação de contas: quem responde por uma decisão automatizada que causa dano, e se quem a revisa consegue revertê-la.
- Os limites do processo: o que continua sendo decisão sua mesmo depois de todos os artefatos acima estarem arquivados corretamente.
Por que isto não repete o que você já tem
Um mapa rápido, porque a sobreposição é real, mas estreita:
| Pergunta | ISO 42001 | AI Act europeu | Este curso |
|---|---|---|---|
| Existe um processo documentado? | Sim | Em parte | Supõe que sim |
| Qual definição de justiça se aplica, e por quê? | Não trata | Não trata | Lição 2 |
| Onde o viés entra no pipeline? | Controles de qualidade de dados, sem a mecânica | Exige examinar os dados quanto a viés, sem dizer como | Lição 3 |
| Como medir sem um agregado esconder o problema? | Não trata | Só toca a acurácia | Lição 4 |
| O que "explicável" significa, na prática? | Não trata | Deveres de transparência, não a técnica | Lição 5 |
| Quem responde, e a revisão é real ou teatro? | Registros existem | Supervisão humana exigida | Lição 6 |
| E se todos os artefatos estiverem arquivados e mesmo assim estiver errado? | Não trata | Não trata | Lição 7 |
Se você não fez esses dois cursos, ainda consegue acompanhar este, porque cada ideia aqui se sustenta sozinha. Mas este curso não vai reexplicar o que é um sistema de gestão nem como funcionam os níveis de risco do AI Act. Ele supõe que você sabe montar a trilha de papéis. Ele ensina o que deveria ser verdade antes de você preenchê-la.
O que este curso cobre
- Esta lição: onde a ética fica em relação aos frameworks de conformidade que você já tem, e as quatro perguntas de trabalho.
- Justiça não é uma coisa só: paridade demográfica, equalized odds e calibração são, cada uma, uma definição razoável de "justo", e em geral não dá para satisfazer as três ao mesmo tempo. Um exemplo trabalhado.
- Onde o viés entra: dados históricos de treino, variáveis proxy, ciclos de realimentação e conjuntos de avaliação com os mesmos pontos cegos do conjunto de treino.
- Medindo: avaliação desagregada, por que um número agregado pode melhorar enquanto um subgrupo piora, e um desafio que faz você calcular isso.
- Três tipos de transparência: divulgação, explicabilidade e interpretabilidade são obrigações diferentes, para públicos diferentes, atendidas por técnicas diferentes.
- Prestação de contas, contestação e o registro: quem responde por uma decisão que causa dano, revisão humana versus viés de automação, e o registro que permite uma resposta depois do fato.
- Os limites da ética como processo: pelo que um engenheiro sênior responde e que nenhum checklist codifica, e para onde você vai depois.
Este curso ensina julgamento de engenharia, e não aconselhamento jurídico. Nada aqui diz o que a sua organização é legalmente obrigada a fazer. Esse é o trabalho do jurídico, a partir dos frameworks que você já tem. O que vem a seguir é o que um engenheiro sênior deveria entender antes dessa conversa. Assim o trade-off é nomeado, em vez de varrido para baixo do tapete.
Continue com a aula 2
Justiça não é uma coisa só
Mostra, com um exemplo de crédito, por que paridade demográfica, equalized odds e calibração em geral não valem juntas.
Com uma conta grátis você também tem os quizzes, seu progresso e suas anotações, e a discussão.