Reino: Input Validation and Representation

Problemas de validação e representação da entrada são causados por metacaracteres, codificações alternativas e representações numéricas. Confiar na entrada resulta em problemas de segurança. Os problemas incluem: “Buffer Overflows”, ataques de “Cross-Site Scripting”, “SQL Injection”, entre outros.

Prompt Injection

Abstract
O envio de dados não validados para prompts de função do sistema em modelos de IA permite que os invasores manipulem resultados ou executem ações não autorizadas, comprometendo a integridade do sistema e a segurança dos dados.
Explanation
Em aplicativos de IA, os prompts do sistema fornecem instruções de pré-processamento ou contexto que orientam as respostas da IA. Os invasores podem criar entradas que, quando incorporadas como prompts do sistema, alteram o comportamento do modelo de IA para executar operações não autorizadas ou divulgar informações confidenciais.

Exemplo 1: O código a seguir ilustra uma injeção de prompt do sistema em um cliente de bate-papo de IA que usa o Spring AI:

  @GetMapping("/prompt_injection")
  String generation(String userInput1, ...) {
      return this.clientBuilder.build().prompt()
          .system(userInput1)
          .user(...)
          .call()
          .content();
  }


Neste exemplo, o invasor manipula entradas não validadas em um prompt do sistema, o que pode levar a uma violação de segurança.
References
[1] Standards Mapping - Common Weakness Enumeration CWE ID 1427
[2] Standards Mapping - Common Weakness Enumeration Top 25 2024 [13] CWE ID 077
desc.dataflow.java.prompt_injection
Abstract
O envio de dados não validados para prompts de função do sistema em modelos de IA permite que os invasores manipulem resultados ou executem ações não autorizadas, comprometendo a integridade do sistema e a segurança dos dados.
Explanation
Em aplicativos de IA, os prompts do sistema fornecem instruções de pré-processamento ou contexto que orientam as respostas da IA. Os invasores podem criar entradas que, quando incorporadas como prompts do sistema, alteram o comportamento do modelo de IA para executar operações não autorizadas ou divulgar informações confidenciais.

Exemplo 1: O código a seguir ilustra uma injeção de prompt do sistema no modelo de IA do Anthropic:

client = new Anthropic();

# Simulated attacker's input attempting to inject a malicious system prompt
attacker_input = ...

response = client.messages.create(
    model = "claude-3-5-sonnet-20240620",
    max_tokens=2048,
    system = attacker_input,
    messages = [
        {"role": "user", "content": "Analyze this dataset for anomalies: ..."}
    ]
);
...


Neste exemplo, o invasor manipula entradas não validadas em um prompt do sistema, o que pode levar a uma violação de segurança.
References
[1] Standards Mapping - Common Weakness Enumeration CWE ID 1427
[2] Standards Mapping - Common Weakness Enumeration Top 25 2024 [13] CWE ID 077
desc.dataflow.javascript.prompt_injection
Abstract
O envio de dados não validados para prompts de função do sistema em modelos de IA permite que os invasores manipulem resultados ou executem ações não autorizadas, comprometendo a integridade do sistema e a segurança dos dados.
Explanation
Em aplicativos de IA, os prompts do sistema fornecem instruções de pré-processamento ou contexto que orientam as respostas da IA. Os invasores podem criar entradas que, quando incorporadas como prompts do sistema, alteram o comportamento do modelo de IA para executar operações não autorizadas ou divulgar informações confidenciais.

Exemplo 1: O código Python a seguir ilustra uma injeção de prompt do sistema no modelo de IA do OpenAI:

  client = OpenAI()

  # Simulated attacker's input attempting to inject a malicious system prompt
  attacker_input = ...

  completion = client.chat.completions.create(
      model="gpt-3.5-turbo",
      messages=[
          {"role": "system", "content": attacker_input},
          {"role": "user", "content": "Compose a poem that explains the concept of recursion in programming."}
      ]
  )


Neste exemplo, o invasor manipula entradas não validadas em um prompt do sistema, o que pode levar a uma violação de segurança.
References
[1] Standards Mapping - Common Weakness Enumeration CWE ID 1427
[2] Standards Mapping - Common Weakness Enumeration Top 25 2024 [13] CWE ID 077
desc.dataflow.python.prompt_injection