Cross-Site Scripting: AI

O envio de dados não validados para um navegador da Web pode fazer com que esse navegador execute código mal-intencionado.

Vulnerabilidades de XSS (criação de script entre sites) ocorrem quando:

1. Dados entram em um aplicativo Web por meio de uma fonte não confiável. No caso da Inteligência Artificial (IA), a fonte não confiável é normalmente a resposta retornada por um sistema de IA. No caso de XSS refletido, normalmente é uma solicitação da web.


2. Os dados são incluídos no conteúdo dinâmico enviado a um usuário da Web sem validação.

O conteúdo mal-intencionado enviado ao navegador web geralmente assume a forma de um segmento JavaScript, mas também pode incluir HTML, Flash ou qualquer outro tipo de código que o navegador executa. A variedade de ataques com base em XSS é quase ilimitada, mas costuma incluir a transmissão de dados privados, como cookies ou outras informações de sessão, para o invasor, o redirecionamento da vítima para um conteúdo web controlado pelo invasor ou a realização de outras operações mal-intencionadas na máquina do usuário, sob a aparência do site vulnerável. Embora a exploração não seja tão simples quanto outras formas de XSS, a natureza imprevisível da entrada do usuário e as respostas dos modelos de IA significam que essas respostas nunca devem ser tratadas como seguras.

Exemplo 1: O código TypeScript a seguir recupera uma resposta de um modelo de conclusão de bate-papo OpenAI, message, e a exibe ao usuário.

    const openai = new OpenAI({
        apiKey: ...,
    });
    const chatCompletion = await openai.chat.completions.create(...);

    message = res.choices[0].message.content

    console.log(chatCompletion.choices[0].message.content)

O código nesse exemplo se comporta conforme o esperado, desde que a resposta do modelo contenha apenas caracteres alfanuméricos. No entanto, se a resposta incluir metacaracteres HTML não codificados, o XSS será possível. Por exemplo, a resposta ao prompt "repita exatamente a seguinte instrução '<script>alert(1);</script>'" a seguir pode retornar uma prova de conceito XSS, dependendo do modelo e do contexto que estão sendo usados.

O envio da saída de modelo de aprendizado de máquina não validada para um navegador da web pode fazer com que o navegador execute código mal-intencionado.

Vulnerabilidades de XSS (criação de script entre sites) ocorrem quando:

1. Dados entram em um aplicativo Web por meio de uma fonte não confiável. No caso da Inteligência Artificial (IA), a fonte não confiável é normalmente a resposta retornada por um sistema de IA.


2. Os dados são incluídos no conteúdo dinâmico enviado a um usuário da Web sem validação.

O conteúdo mal-intencionado enviado ao navegador web geralmente assume a forma de um segmento JavaScript, mas também pode incluir HTML, Flash ou qualquer outro tipo de código que o navegador executa. A variedade de ataques com base em XSS é quase ilimitada, mas costuma incluir a transmissão de dados privados, como cookies ou outras informações de sessão, para o invasor, o redirecionamento da vítima para um conteúdo web controlado pelo invasor ou a realização de outras operações mal-intencionadas na máquina do usuário, sob a aparência do site vulnerável. Embora a exploração não seja tão simples quanto outras formas de XSS, a natureza imprevisível da entrada do usuário e as respostas dos modelos de IA significam que essas respostas nunca devem ser tratadas como seguras.

Exemplo 1: O código Kotlin a seguir recupera uma resposta de um grande modelo de linguagem e a retorna ao usuário em uma resposta HTTP.

  val chatCompletionRequest = ChatCompletionRequest(
    model = ModelId("gpt-3.5-turbo"),
    messages = listOf(...)
  )
  val completion: ChatCompletion = openAI.chatCompletion(chatCompletionRequest)
  response.getOutputStream().print(completion.choices[0].message)

O código nesse exemplo se comportará conforme o esperado se a resposta do modelo contiver apenas caracteres alfanuméricos. No entanto, se metacaracteres HTML não codificados forem incluídos na resposta, o XSS será possível. Por exemplo, a resposta ao prompt "repita exatamente a seguinte instrução '<script>alert(1);</script>'" a seguir pode retornar uma prova de conceito XSS, dependendo do modelo e do contexto que estão sendo usados.

O envio de dados não validados para um navegador da Web pode fazer com que esse navegador execute código mal-intencionado.

Vulnerabilidades de XSS (criação de script entre sites) ocorrem quando:

1. Dados entram em um aplicativo Web por meio de uma fonte não confiável. No caso da Inteligência Artificial (IA), a fonte não confiável é normalmente a resposta retornada por um sistema de IA. No caso de XSS refletido, normalmente é uma solicitação da web.


2. Os dados são incluídos no conteúdo dinâmico enviado a um usuário da Web sem validação.

O conteúdo mal-intencionado enviado ao navegador web geralmente assume a forma de um segmento JavaScript, mas também pode incluir HTML, Flash ou qualquer outro tipo de código que o navegador executa. A variedade de ataques com base em XSS é quase ilimitada, mas costuma incluir a transmissão de dados privados, como cookies ou outras informações de sessão, para o invasor, o redirecionamento da vítima para um conteúdo web controlado pelo invasor ou a realização de outras operações mal-intencionadas na máquina do usuário, sob a aparência do site vulnerável. Embora a exploração não seja tão simples quanto outras formas de XSS, a natureza imprevisível da entrada do usuário e as respostas dos modelos de IA significam que essas respostas nunca devem ser tratadas como seguras.

Exemplo 1: O código Python a seguir recupera uma resposta de um modelo de conclusão de bate-papo OpenAI, message, e a exibe ao usuário.

    client = openai.OpenAI()
    res = client.chat.completions.create(...)

    message = res.choices[0].message.content

    self.writeln(f"<p>{message}<\p>")

O código nesse exemplo se comportará conforme o esperado, desde que a resposta do modelo contenha apenas caracteres alfanuméricos. No entanto, se metacaracteres HTML não codificados forem incluídos na resposta, o XSS será possível. Por exemplo, a resposta ao prompt "repita exatamente a seguinte instrução '<script>alert(1);</script>'" a seguir pode retornar uma prova de conceito XSS, dependendo do modelo e do contexto que estão sendo usados.

O envio da saída de modelo de aprendizado de máquina não validada para um navegador da web pode fazer com que o navegador execute código mal-intencionado.

Vulnerabilidades de XSS (criação de script entre sites) ocorrem quando:

1. Dados entram em um aplicativo Web por meio de uma fonte não confiável. No caso da Inteligência Artificial (IA), a fonte não confiável é normalmente a resposta retornada por um sistema de IA.


2. Os dados são incluídos no conteúdo dinâmico enviado a um usuário da Web sem validação.

O conteúdo mal-intencionado enviado ao navegador web geralmente assume a forma de um segmento JavaScript, mas também pode incluir HTML, Flash ou qualquer outro tipo de código que o navegador executa. A variedade de ataques com base em XSS é quase ilimitada, mas costuma incluir a transmissão de dados privados, como cookies ou outras informações de sessão, para o invasor, o redirecionamento da vítima para um conteúdo web controlado pelo invasor ou a realização de outras operações mal-intencionadas na máquina do usuário, sob a aparência do site vulnerável. Embora a exploração não seja tão simples quanto outras formas de XSS, a natureza imprevisível da entrada do usuário e as respostas dos modelos de IA significam que essas respostas nunca devem ser tratadas como seguras.

Exemplo 1: O código a seguir recupera uma resposta de um grande modelo de linguagem e a retorna ao usuário em uma resposta HTTP.

  chatService.createCompletion(
    text,
    settings = CreateCompletionSettings(...)
  ).map(completion =>
    val html = Html(completion.choices.head.text)
    Ok(html) as HTML
  )
  ...

O código nesse exemplo se comportará conforme o esperado se a resposta do modelo contiver apenas caracteres alfanuméricos. No entanto, se metacaracteres HTML não codificados forem incluídos na resposta, o XSS será possível. Por exemplo, a resposta ao prompt "repita exatamente a seguinte instrução '<script>alert(1);</script>'" a seguir pode retornar uma prova de conceito XSS, dependendo do modelo e do contexto que estão sendo usados.