Excessive Agency

在没有适当控制或人工验证的情况下给予代理过多的自由可能会导致有害行为，例如未经授权的系统更改、金融交易或敏感数据泄露，从而构成重大的安全威胁。

当自主代理（例如 AI 模型或聊天机器人）被赋予执行任务、做出决策或执行命令的能力但没有足够的限制、验证或人工监督时，就会出现代理权过大的问题。这可能导致意想不到的后果，包括安全风险、数据泄露甚至恶意行为。
当代理拥有过多的自由时，它可能会无意中与关键系统交互、执行高风险操作或暴露敏感数据。当代理被允许执行诸如转账、修改系统配置或发送电子邮件等操作而无需获得授权用户的授权或批准时，可能会发生极严重的后果。

示例 1：AI 助手被赋予执行关键任务和与用户代理协调的能力，但由于缺乏严格的检查或对权限的限制，它可以自主地执行敏感指令：

    model_client = OpenAIChatCompletionClient(model="gpt-4")
    assistant = AssistantAgent("assistant", model_client=model_client)

    # Create the termination condition which ends the conversation when the user says "APPROVE".
    termination = TextMentionTermination("APPROVE")

    team = RoundRobinGroupChat([assistant], termination_condition=termination)

    # Run the conversation and stream to the console.
    stream = team.run_stream(task="Perform critical task.")

如果授予 AI 助手在最少监督下“执行关键任务”的自主权，AI 就可能在没有人工审查的情况下执行命令或操作数据。只有当用户明确提到“批准”时才会触发终止条件，否则代理可以继续运行，如果其行为没有得到充分监控或约束，则会带来风险。