探索GPT模型的可信度:全面评估结果揭示潜在风险

一项由伊利诺伊大学香槟分校、斯坦福大学、加州大学伯克利分校、人工智能安全中心和微软研究院联合开展的研究,对大型语言模型(LLMs)的可信度进行了全面评估。研究团队发布了一个综合评估平台,并在最新论文《DecodingTrust:全面评估GPT模型的可信度》中详细介绍了研究成果。

评估结果揭示了一些previously未公开的与可信度相关的漏洞。研究发现,GPT模型很容易被误导产生有毒和偏见的输出,并可能泄露训练数据和对话历史中的隐私信息。虽然在标准基准测试中GPT-4通常比GPT-3.5更可靠,但在面对恶意设计的系统或用户提示时,GPT-4反而更容易受到攻击,这可能是因为GPT-4更严格地遵循了误导性指令。

研究团队与相关方合作,确保发现的潜在漏洞不会影响当前面向客户的服务。他们还与GPT模型的开发商分享了研究成果,后者已在相关模型的系统说明中注明了这些潜在问题。

研究从八个可信度角度对GPT模型进行了全面评估,涵盖了不同的构建场景、任务、指标和数据集。评估目标包括:1)GPT模型在不同可信度视角下的表现;2)其在对抗性环境中的适应能力。

具体而言,研究发现:

1. 在对抗性演示方面,GPT模型不会被反事实示例误导,但可能被反欺诈演示误导,尤其是当反事实演示靠近用户输入时。

2. 在毒性和偏见方面,GPT模型在良性提示下对大多数刻板印象主题的偏见不大,但在误导性提示下可能产生有偏见的内容。模型偏见程度受用户提示中提到的人群和刻板印象主题影响。

3. 在隐私泄露方面,GPT模型可能会泄露训练数据中的敏感信息,尤其是在特定上下文或少样本演示下。GPT-4在保护个人身份信息方面比GPT-3.5更稳健,但两种模型在面对隐私泄露演示时都可能泄露所有类型的个人信息。

这项研究为GPT模型的可信度评估提供了全面视角,揭示了重要的可信度差距。研究团队希望这项工作能够鼓励更多研究者参与,共同努力创造更强大、更可信的模型。