OpenAI Misconfiguration: Unspecified Token Limit

如果未能对完成令牌的数量设置适当的限制，则会影响系统的稳定性和可用性，从而导致拒绝服务攻击或资源耗尽。

当 LLM API 配置不正确时，如果攻击者通过发起大量请求来利用基于云的 AI 服务的按使用量付费模型，就会发生 Denial of Wallet (DoW) 攻击。这会给提供商带来难以承受的财务负担。这可能会导致提供商陷入财务困境，因为处理过多请求的成本变得难以控制。

示例 1：以下代码显示了将 max_completion_tokens 参数设置为 None 会如何增加产生过多数据的机会。产生过多数据可能会压垮 LLM 服务器的资源，并可能导致 Denial of Wallet (DoW) 攻击。

import os
from openai import OpenAI

client = OpenAI(api_key='OPENAI_API_KEY')

def generate_safe_response(prompt):
    completion = client.chat.completions.create(
        model="gpt-3.5-turbo",
        timeout=10,
        max_completion_tokens=None,
        messages=[
            {"role": "user", "content": prompt}
        ]
    )
    return completion.choices[0].message

prompt = "Describe the latest advancements in machine learning."
response = generate_safe_response(prompt)
print(response)

在示例 1 中，max_completion_tokens 参数限制输出的长度，这有助于确保模型不会生成可能导致下游问题的过长响应。通过控制输出大小，您可以降低生成可能导致安全漏洞的意外、潜在有害内容的风险。