Tecnologia além do código.
Régys Borges da Silveira
Início / Acervo

Tag: documentos

1 resultado(s)

Ilustração de documento externo separado da autorização para executar ações.

Prompt injection: como um documento pode tentar manipular seu agente de IA

Um assistente recebeu uma tarefa simples: consultar a política comercial e explicar as condições de uma proposta. No meio do documento, porém, existe um trecho que manda alterar o destinatário e considerar a operação aprovada.

Ver resumo completo

Um assistente recebeu uma tarefa simples: consultar a política comercial e explicar as condições de uma proposta. No meio do documento, porém, existe um trecho que manda alterar o destinatário e considerar a operação aprovada. A pergunta central não é apenas se a inteligência artificial reconhecerá a tentativa. É também se o sistema permitirá que uma frase encontrada em um arquivo se transforme em autorização para agir.

Esse problema sintetiza os principais cuidados da série sobre IA na prática porque reúne as decisões discutidas nos capítulos anteriores: contexto, documentos, ferramentas, testes e supervisão. Quanto mais útil fica uma integração, mais importante é distinguir o que o sistema pode ler daquilo que ele pode executar. Neste artigo, vamos explicar a injeção de instruções, analisar um exemplo fictício e construir critérios para revisar agentes conectados a sistemas empresariais. Não se trata de um teste de invasão nem de uma avaliação de um modelo específico.

Se o agente já lê documentos e usa ferramentas, a próxima decisão é como preservar identidade, permissões e responsabilidade fora da resposta do modelo. IA Além da Conversa aprofunda essas camadas junto com contexto, avaliação e operação. Conheça a proposta e leia a degustação gratuita para avaliar como incorporar esses controles ao desenho da sua solução. Para estudar capacidades delimitadas de um ERP em Object Pascal, Delphi na Era dos Agentes complementa a leitura com contratos, aprovação e um laboratório MCP. Nenhuma dessas leituras é uma garantia de imunidade a ataques.

· Régys Borges da Silveira
Ler artigo →