探索GPT模型的可信度:全面評估結果揭示潛在風險

一項由伊利諾伊大學香檳分校、斯坦福大學、加州大學伯克利分校、人工智能安全中心和微軟研究院聯合開展的研究,對大型語言模型(LLMs)的可信度進行了全面評估。研究團隊發布了一個綜合評估平台,並在最新論文《DecodingTrust:全面評估GPT模型的可信度》中詳細介紹了研究成果。

評估結果揭示了一些previously未公開的與可信度相關的漏洞。研究發現,GPT模型很容易被誤導產生有毒和偏見的輸出,並可能泄露訓練數據和對話歷史中的隱私信息。雖然在標準基準測試中GPT-4通常比GPT-3.5更可靠,但在面對惡意設計的系統或用戶提示時,GPT-4反而更容易受到攻擊,這可能是因爲GPT-4更嚴格地遵循了誤導性指令。

研究團隊與相關方合作,確保發現的潛在漏洞不會影響當前面向客戶的服務。他們還與GPT模型的開發商分享了研究成果,後者已在相關模型的系統說明中注明了這些潛在問題。

研究從八個可信度角度對GPT模型進行了全面評估,涵蓋了不同的構建場景、任務、指標和數據集。評估目標包括:1)GPT模型在不同可信度視角下的表現;2)其在對抗性環境中的適應能力。

具體而言,研究發現:

1. 在對抗性演示方面,GPT模型不會被反事實示例誤導,但可能被反欺詐演示誤導,尤其是當反事實演示靠近用戶輸入時。

2. 在毒性和偏見方面,GPT模型在良性提示下對大多數刻板印象主題的偏見不大,但在誤導性提示下可能產生有偏見的內容。模型偏見程度受用戶提示中提到的人羣和刻板印象主題影響。

3. 在隱私泄露方面,GPT模型可能會泄露訓練數據中的敏感信息,尤其是在特定上下文或少樣本演示下。GPT-4在保護個人身分信息方面比GPT-3.5更穩健,但兩種模型在面對隱私泄露演示時都可能泄露所有類型的個人信息。

這項研究爲GPT模型的可信度評估提供了全面視角,揭示了重要的可信度差距。研究團隊希望這項工作能夠鼓勵更多研究者參與,共同努力創造更強大、更可信的模型。