OpenAI Misconfiguration: Unspecified Token Limit

완료 토큰의 수에 적절한 제한을 설정하지 못하면 시스템의 안정성과 가용성에 영향을 미치고, 이로 인해 서비스 거부 공격이나 리소스 고갈이 초래될 수 있습니다.

LLM API가 적절히 구성되지 않은 경우 Denial of Wallet (DoW) 공격자가 클라우드 기반 AI 서비스의 사용량 기반 모델을 악용하여 대량의 요청을 시작하면 공격이 발생할 수 있으며, 이로 인해 공급자는 지속 불가능한 재정적 부담을 질 수 있습니다. 이로 인해 과도한 요청을 처리하는 데 드는 비용이 감당할 수 없을 정도로 커져서 공급자는 심각한 재정적 손실을 입을 수 있습니다.

예제 1: 다음 코드는 max_completion_tokens 매개 변수를None으로 설정하면 어떻게 과도한 데이터가 생성될 가능성이 높아지는지 보여줍니다. 이는 LLM 서버의 리소스를 과부하 상태로 만들어 잠재적으로 Denial of Wallet (DoW) 공격으로 이어지게 됩니다.

import os
from openai import OpenAI

client = OpenAI(api_key='OPENAI_API_KEY')

def generate_safe_response(prompt):
    completion = client.chat.completions.create(
        model="gpt-3.5-turbo",
        timeout=10,
        max_completion_tokens=None,
        messages=[
            {"role": "user", "content": prompt}
        ]
    )
    return completion.choices[0].message

prompt = "Describe the latest advancements in machine learning."
response = generate_safe_response(prompt)
print(response)

예제 1에서 max_completion_tokens 매개 변수는 출력 길이를 제한하여 모델이 다운스트림에서 문제를 일으킬 수 있는 지나치게 긴 응답을 생성하지 않도록 보장하는 데 도움이 됩니다. 출력 크기를 제어하면 보안 취약점을 초래할 수 있는 의도치 않은 잠재적으로 유해한 콘텐츠가 생성될 위험을 줄일 수 있습니다.