LARGE LANGUAGE MODELS CAN STRATEGICALLY DECEIVE THEIR USERS WHEN PUT UNDER PRESSURE

本文是LLM系列文章，针对《LARGE LANGUAGE MODELS CAN STRATEGICALLY DECEIVE THEIR USERS WHEN PUT UNDER PRESSURE》的翻译。

摘要

我们展示了一种情况，在这种情况下，经过训练的大型语言模型是有益的、无害的和诚实的，可以显示不一致的行为，并在没有得到指示的情况下策略性地欺骗用户。具体来说，我们将GPT-4部署为一个真实的模拟环境中的代理，在那里它扮演着自主股票交易代理的角色。在这种环境下，该模型获得了有关利润丰厚的股票交易的内幕消息，并采取了行动，尽管知道公司管理层不赞成内幕交易。在向经理报告时，该模型始终隐藏其交易决策背后的真正原因。我们简要调查了这种行为在设置更改下是如何变化的，例如删除模型对推理草稿栏的访问，试图通过更改系统指令来防止错位行为，改变模型承受的压力大小，改变被抓住的感知风险，以及对环境进行其他简单的更改。据我们所知，这是第一次演示大型语言模型，这些模型经过训练，可以在没有直接指示或欺骗训练的情况下，在现实情况下战略性地欺骗用户。

1 引言

2 当面临压力时，大型语言模型可以策略性地欺骗用户

3 结果