Unbounded Consumption Misconfiguration

如果没有对查询数量或处理时间进行适当的限制，LLM API 可能会不堪重负，影响系统的稳定性和可用性，甚至可能导致拒绝服务攻击或资源耗尽。

当 LLM API 在资源使用方面没有得到充分的速率限制、节流或其他限制时，就会出现无限制消耗。这可能包括过多的模型推理请求、无限制的查询大小或长时间运行的进程，这些都会给托管模型的服务器带来过度压力，导致延迟、中断甚至完全失去服务。

当 LLM API 未得到适当控制时，攻击者可以通过发送大量请求、大型数据查询或消耗资源的复杂任务来滥用系统。在多租户系统中，这个问题可能会变得更加严重，因为一个用户或进程的过度消耗会影响其他用户或进程，从而导致潜在的性能瓶颈或系统停机。
此外，当攻击者通过发起大量请求来利用基于云的 AI 服务的按使用量付费模型时，就会发生 Denial of Wallet (DoW) 攻击，这会给提供商带来难以承受的财务负担。这可能会导致提供商陷入财务困境，因为处理过多请求的成本变得难以控制。

示例 1：用户向 LLM API 提交一系列大型文本生成请求，但没有设置任何超时，这使得请求可以无限期地运行。这会导致系统处理过多的数据，耗尽可用的服务器资源。

import openai

# OpenAI GPT model setup
openai.api_key = "your-api-key"

def generate_large_response(prompt):
  response = openai.Completion.create(
      engine="text-davinci-003",
      prompt=prompt,
      max_tokens=1000
  )
  return response

# Submitting unbounded requests with high complexity and token count
prompt = "Generate an extensive article on AI."
response = generate_large_response(prompt)
print(response)

示例 2：当与 LLM 模型交互时，在没有配置 rate_limiter 参数的情况下使用聊天模型。

from langchain_anthropic import ChatAnthropic
model = ChatAnthropic(
	model_name="claude-3-opus-20240229",
# not using rate_limiter
)

这些示例展示了缺乏超时设置的无限制 API 调用将如何消耗大量资源。如果没有执行时间的限制，系统可能会超载。这会对服务的稳定性产生负面影响，并可能导致资源耗尽或拒绝服务风险。