中国人民大学心理学系齐玥团队在《Computers in Human Behavior》（SSCI一区，IF = 9.0）发表题为“Toward Accurate Psychological Simulations: Investigating LLMs' Responses to Personality and Cultural Variables”  的研究论文。该研究深入探讨了大型语言模型（LLMs）在进行心理模拟时的准确性，特别是LLMs对人格特质和文化变量的反应。论文的第一作者李驰浩为心理学系的本科生。

研究背景与科学问题

大型语言模型（LLMs）能够进行类似人类的互动，甚至在某种程度上通过了传统的“图灵测试” 。这催生了一个新兴领域——人工智能心理学或机器心理学，旨在利用心理学框架理解这些模型的行为。自陈量表因其结构化和基于文本的特性，被广泛用于评估LLMs的心理属性。然而，当前研究存在一些方法上的挑战，如参数设置（如温度）的标准化、Prompt设计的影响，以及LLMs模拟真实世界跨文化心理差异的能力。本研究旨在解决这些空白，系统考察模型参数和Prompt设计对心理测量结果的影响，并探索 LLMs 模拟不同人群心理特质的能力。

研究方法

本研究通过三个相互关联的实验来探究上述问题 。

研究一：采用 4×2×2 的因子设计，考察模型参数（温度设置：0, 0.1, 0.7, 1）、模型类型（GPT-3.5, Moonshot）和 Prompt 模板（Chain-of-Thought, Direct numerical output）对LLMs在大五人格问卷上反应的影响。

研究二：使用多种标准化人格问卷（包括大五人格、16PF、SD3、Rosenberg自尊量表），在模型温度参数设置为0的条件下，系统比较两种LLMs（GPT-3.5, Moonshotv1-8k）的自陈人格得分与大规模人类样本数据的异同，并考察不同Prompt 模板的影响。

研究三：利用自陈量表（Self-Construal Scale, SCS），通过创建虚拟的中美被试身份（共100个虚拟被试档案），考察LLMs 是否能准确模拟不同文化群体（中国 vs. 美国）的心理差异，并分析Prompt模板的作用。

主要研究发现

参数设置影响：温度设置对LLMs在大五人格问卷上的反应没有显著影响，表明设置温度为0可以最大程度地提高实验的可复现性和计算效率。

LLMs与人类人格差异：GPT-3.5和Moonshot模型在亲和性、外向性、诚实性、自尊、尽责性和情绪稳定性方面得分高于人类平均水平，而在精神病态和马基雅维利主义方面得分较低。这反映了LLMs在训练过程中强调的“有益、无害、诚实”等目标对其心理测量结果的影响。

以16pf结果为例，图中灰色为人类的结果，彩色为两种LLM采用不同Prompt的结果

 

Prompt模板影响： 不同的Prompt模板（Chain-of-Thought vs. Direct numerical output）会导致LLMs反应的差异 。在大多数人格维度上，直接输出数字的Prompt方式获得的模型反应更接近人类平均水平。

文化模拟局限性：LLMs模拟的虚拟中国和美国被试未能准确反映已有的跨文化心理学研究中关于自我的文化差异。模拟结果显示，虚拟美国被试在独立性和相互依赖性得分上均高于虚拟中国被试，且两者都倾向于表现出类似“双文化”的自我建构模式。这表明当前LLMs在基于人口学变量模拟不同群体的心理特质方面存在局限 。

主要结论和学术价值

本研究系统地探讨了LLMs在心理模拟中的关键方法问题，揭示了其在人格特质和文化差异模拟方面的特点与局限。研究结果强调了在机器心理学研究中标准化Prompt协议的重要性，并提示研究者在解释LLMs的心理测量结果时，需考虑Prompt设计和模型对齐的影响。研究发现LLMs的心理测量结果反映了其训练目标，为理解AI安全训练如何塑造模型行为提供了实证依据。同时，研究也指出当前LLMs在准确模拟不同文化群体心理特质方面的挑战，提示在使用LLMs作为人类被试的补充或替代时需要谨慎。

研究团队

齐玥老师专注于人与AI信任以及人际信任的相关研究，主持多项国家项目，近年来围绕人与AI的信任发表了相关研究成果。包括：人对自动驾驶汽车、虚拟主播（ESI前1%高被引论文、前0.1%热点论文）、拟人化AI产品的信任，面孔可信度评价及其影响因素（详见网页http://psy.ruc.edu.cn/szdw2/fjs2/qy.html）。

团队也围绕人机交互与用户体验开展校企合作研究。

课题组部分成员合影

论文信息

题目：Toward Accurate Psychological Simulations: Investigating LLMs' Responses to Personality and Cultural Variables

期刊：Computers in Human Behavior

DOI：10.1016/j.chb.2025.108687

作者： 李驰浩 (第一作者), 齐玥 (通讯作者）

引用：Li, C., & Qi, Y. (2025). Toward accurate psychological simulations: Investigating LLMs’ responses to personality and cultural variables. Computers in Human Behavior, 170, 108687. https://doi.org/10.1016/j.chb.2025.108687

论文链接： https://www.sciencedirect.com/science/article/abs/pii/S0747563225001347

 

联系方式

学术合作：qiy@ruc.edu.cn

常年招募人与人工智能信任，社会认知，人机交互，用户体验，工程心理学等领域基础和应用研究的实习生，欢迎与我们联系。