心情学商讨的结论能否被再次,具身认识研商面临可重复性危害

(文/Ed
Yong)为了验证心理学实验的可靠性,一个庞大的国际研究组已经成功地重复了13个已发表的实验中10个的结果。他们同时也发现其中有两个实验结果无法被再现。

图片 1

具身认知横扫心理学的各个分支与研究主题,并逐渐成为一种强势的、流行的心理学实验文化。然而,当前的具身认知研究正在经历“可重复性危机”。“可重复性”是衡量科学的“黄金标准”,也是科学与非科学的分界线。

由于对心理学经典研究的重复实验一再失败,该学科的可信度正日益遭受质疑。重复实验失败有可能意味着最初的研究是有缺陷的,或者是重复的实验做得不对,要不然就是两次实验的环境设定或者针对人群不一致。

封面图来源:

近十年来,具身认知(embodied
cognition)横扫心理学的各个分支与研究主题,并逐渐成为一种强势的、流行的心理学实验文化。然而,近来的种种迹象显示,“可重复性”(replicability)或“再现性”(reproducibility)问题已成为悬挂在具身认知实验上方的“达摩克利斯之剑”,如不引起研究者的足够警惕,它随时可以摧毁该领域现有的科学公信力。

图片 2由于对心理学经典研究的重复实验一再失败,该学科的可信度正日益遭受质疑。图片来源:Pixabay/Tiyo
Prasetyo

文|施佳鑫

● ● ●

重复100项刊登在心理学顶级期刊的研究,结果只有36%的实验结果得到重现。去年8月,一个名为“开放科学合作”(The
Open Science
Collaboration,简称OSC)的科学家团体在《科学》杂志上发表了这一结果,引起了心理学界乃至整个社会科学界不小的震动。

OSC的270个科学家成员来自世界各地,他们选取了心理学顶级期刊《心理科学》(Psychological
Science)、《人格与社会心理学》(Journal of Personality and Social
Psychology)和《实验心理学杂志:学习、记忆与认知》(Journal of
Experimental Psychology: Learning, Memory and
Cognition)在2008年发表的111项研究进行重复,最终完成了其中100项。原有的100项实验中,有97项得到了统计显著的效应,而在他们的重复实验中,仅有36项统计显著。此外,83%的重复实验的效应量(Effect
Size,
因变量和自变量的关联强度的指标)都小于原研究。这项研究的发表引发了关于心理学研究“可重复性危机”(Reproducibility
Crisis)的广泛讨论。

然而,今年3月,哈佛大学心理学教授Danial Gilbert、政治学教授Gary
King、博士研究生Stephen Pettigrew和弗吉尼亚大学心理学教授Timothy
Wilson在《科学》杂志上撰文指出,这项研究存在诸多问题,他们认为OSC的研究并不能说明心理学研究存在“可重复性危机”。根据他们的分析,36%的重复成功率并不低,相反,这一结果表明心理科学研究的结果可重复性很强。

“概念性重复”并非“直接重复”的有效替代方案

为了解决这个“可重复性危机”,36个研究小组组成了多实验室重复实验项目(Many
Labs Replication
Project)来重复13项心理学实验。这个联合体把这些先前做过的实验合并在同一个问卷之中——完成这张问卷需要15分钟——并交给来自12个国家的6344位志愿者来填写。

1.哈佛团队的质疑

首先,Gilbert等人的文章质疑OSC的研究在对100个心理学研究的取样上存在问题。Gilbert表示,“他们的取样是带有倾向的、武断的,他们排除了许多心理学分支学科,许多心理学研究采用了极为严谨、科学的研究方法,但它们都被排除在外。OSC甚至让实验操作者自己选择重复哪个实验。如果他们用这样随意的抽样方法来研究人,没有一家有声誉的学术期刊会录用它。”

除了抽样的问题,Gilbert等人的文章主要从三方面来质疑OSC的研究:误差(Error)、解释力(Power,正确评估实验成功率的指标)和偏误(Bias)。

重复一项实验需要从研究对象中重新抽取样本,考虑到抽样上可能产生的误差,统计学上认为5%及以下的重复失败率是可以容许的。在原有的100项研究中,97%得到了实验者预期的效应,OSC考虑到抽样误差,于是认为在重复失败率不应超过8%,并把8%作为衡量标准。Gilbert等人认为OSC低估了实际的失败率,因为除了抽样误差,还有其他误差。

有些实验在重复时样本选择和原有实验不一样,例如一项原实验测试了美国人对非裔美国人的态度,OSC在重复时的研究对象是意大利人,而意大利人对非裔美国人的刻板印象和美国人很可能不同。

另外,OSC的许多实验过程也背离了原实验。一项研究让儿童在一块屏幕上做“定位目标”的任务,而OSC在重复时选取了年纪较大的儿童,任务更简单,所用的屏幕更大。可以想象,不严格遵循原有实验步骤,很可能得出不一样的结果。考虑抽样误差的同时也应考虑其他可能带来误差的因素,Gilbert等人重新计算了统计学可以容忍的重复失败率,得到的结果是34.5%,而非OSC认为的8%。

Gilbert认为OSC的研究第二个问题在于分析方法的选择,因此引发“解释力”的问题。OSC的通讯作者Brian
Nosek曾参与另一项名为“多实验室”(Many Labs
Project,简称MLP)的重复性研究项目,在这个项目中,研究者们让36个独立实验室各自重复了16个心理学实验,把所有数据汇总再进行统计分析,得到重复成功率为85%。而OSC的研究对100项实验只重复了一遍,Gilbert等人认为这种方法导致了对重复实验成功率的低估,如果MLP也采取OSC那样的计算方法,成功率只有34%。

最后,Gilbert等人的文章认为OSC的研究带有一定偏误。OSC在重复一项原有研究时,通常会询问原作者他们的重复是否严格遵循了实验规程,而有31%的重复实验没有这一步骤,Gilbert等人认为有这一步骤代表重复实验的“忠实度”较高,其余的则较低。他们比较了高忠实度重复实验的成功率(59.7%)和低忠实度重复实验的成功率(15.4%),发现前者是后者的4倍。如果因没有严格按照原有实验而引起的误差是随机的(同等机会增大或减小成功率),高低忠实度的重复成功率应该接近,而不是如此悬殊。所以,Gilbert等人认为OSC的研究带有一定的偏误,这种偏误导致了他们的对实验结果重现成功率的低估。

在认识论层面上,“可重复性”特指科学研究被重复实施时得到的结论与原研究结论之间的一致性程度。它是衡量科学的“黄金标准”,也是科学与非科学的分界线。原则上,科学证据的所有组成部分都可以由其他研究者遵循原始的方法而得到独立的再现,并由此检验先前研究者的探究发现是否真实有效。然而,当前的具身认知研究正在经历“可重复性危机”。早在20世纪90年代中期,耶鲁大学的社会心理学家Bargh等人就通过实验用句子启动关于老年人的刻板印象,启动并没有涉及与缓慢相关的字词,但是被启动的被试较之那些没有被启动的被试在离开实验室时,走路的速度变得更加缓慢,而参与者自己并没有意识到。该研究开启了“社会性启动效应”(social
priming
effect)时代,并被视为具身认知领域内无可争辩的研究范例。2012年,Doyen等人在研究中重复了该报告的实验二,并使用红外装置测速代替Bargh等人实验中的人工计时,结果却发现并不存在上述启动效应。这一事件旋即引发了心理学内部一场规模庞大的“唇枪舌战”,甚至连著名心理学家、诺贝尔奖获得者Daniel
Kahneman出面调停都无济于事。

项目组选择了各种不同的效应,以代表心理学科学的多样性,题目来自已经得到多次重复的经典实验到从未重复过的当代实验。

2.OSC对质疑的回应

OSC的成员之一、荷兰埃因霍芬理工大学的心理学教授Daniel
Lakens在博客上表示不接受Gilbert等人的批评。他认为,Gilbert等人计算出来的34.5%的失败容忍率已经高到足够说明心理学研究的“可重复性危机”。他还表示,这样的评论被刊登出来,很可能是由于《科学》的评论板块没有很好的同侪审查机制。

实际上,在《科学》杂志刊登Gilbert等人评论的同一期,也发表了OSC的回应,他们认为,“统计上的误读和对数据的选择性解读造成了Gilbert等人对心理学研究可重复性的乐观评估”。OSC在回应中写道:“基于OSC的重复性实验数据,乐观或是悲观的结论都有可能,但没有一方是确切可靠的。”

OSC在回应中称,没有哪个重复性实验能够做到跟原有实验一模一样。他们认为,重复性实验应该建立在原有的理论基础上,所设定的实验条件应该预期和原实验获得一样的结果。“如果重复的结果不一样,则应该考虑扩展假设并检验为何会不一样,如果重复结果一样,则重复的研究为原有研究结论的推广提供了一定的证据。和我们所重复的那些实验一样,我们的研究也只提供了初步性的证据,并不是决定性的。”

OSC的另一位成员、荷兰蒂尔堡大学社会和行为科学教授Marcel van
Assen接受了《知识分子》的采访,他表示Gilbert等人的评论并没有改变他对OSC研究的看法。双方的一大争论点是,重复的实验究竟多大程度上忠实于对原有的实验。Assen说:“重复实验应该尽可能和原实验接近,我们都同意这一点。我只能说,在这一点上OSC团队已经尽力了。”

此外,Assen认为Gilbert等人没有解决一个重要的问题:如果误差是由于社会情境或者研究设计的差异引起的,重复的时候实验效果既可能增强也可能减弱,而原有的99个研究在重复时,只有17个是实验效果增强的。这很可能是由于“发表性偏误”(Publication
Bias)——研究者们常常为了发表而只报告统计上显著的结果,而忽略那些不显著的结果。Assen承认OSC的分析以及结论的得出有不完善之处,许多学者也开始重新分析OSC的数据,“到现在为止,所有分析都表明原有的实验相比重复实验更加显著,这也暗示了发表性偏误的存在。”Assen说。

Assen承认,Gilbert等人的批评让他认识到,在重复一项研究时,应该更加小心地设计,尽可能让重复实验和原实验相同,这比他原来想象的难。此外,他认为挑选研究进行重复时,应选择那些具有大样本,以及统计显著性较强的研究,在这样的情况下,重复的实验不显著才更能说明问题。

与之形成鲜明对照的是,从表面上看,具身认知领域的研究数量及相关证据依然在逐年激增。这些海量具身认知研究秉承的是
“概念性重复”(conceptual
replication)策略。与“直接重复”旨在尽可能忠实地再现原始的科学证明不同,概念性重复往往刻意改变研究设计中核心要素的操作化。在当前的具身认知实验中随处可见这种设计。你用物体的粗糙程度来启动对社会性任务困难程度的评估,我就用物体的坚硬程度来启动性格判断。然而,概念性重复在理论上并非一种对直接重复的有效替代方案。正如具身启动效应的批判者Nosek所言:“直接重复能够产生事实,而概念性重复只可能产生理解。因为原始设计的特征被刻意地改变了,概念性重复仅仅被用来证实原始的结论,而不能用来证伪它。一个成功的概念性重复研究可以被用作原始结论的证据,但一个失败的概念性重复却会因为没有对原始现象进行检验而惨遭摒弃。”

有十种效应在不同样本中重复出现。其中包括诺贝尔经济学奖获得者,新泽西普林斯顿大学的心理学家丹尼尔•卡尼曼(Daniel
Kahneman)的经典实验,例如得-失框架效应,说明与冒险来获得收益相比,人们更愿意冒险来避免损失;以及锚定效应,即人们首先获得的信息能对其后的决策产生影响。项目组所得到的锚定效应甚至比卡尼曼当初获得的还要强得多。

3.重复性研究重要吗?

尽管OSC的研究存在较多争议,但不少科学家都认为重复性研究十分必要。美国俄勒冈大学的心理学家Sanjay
Srivastava在接受《知识分子》采访时表示,重复性研究对于任何一门科学来说都是重要的,因为它让我们辨识出那些最值得信赖的研究结果。Gilbert也认为重复性研究在科学研究中是一个重要的部分,“针对既有研究的元科学(Meta-Science)研究也仅仅是科学研究,所以‘正确’地做可重复性研究要求遵循科学研究的规则。”Gilbert说。

评论文章的第二作者Gary
King在接受《哈佛大学校报》采访时说,“无论你的研究对象是人,还是既有的研究,都必须遵守所有科学研究的规则,包括抽样、计算误差以及不告知实验者研究假设等。元科学也同样不能免除这些束缚,违反了科学的基本规则,就会得到错误的结果。”

在Gilbert看来,如果让他来做重复性研究,他会在各个心理学分支内抽样,或者把研究对象限定在所抽样的分支中。他说,“我不会让实验者们自己来选择重复哪项研究。我会让所有重复性研究尽可能地忠实原有的研究,把那些不忠实的剔除掉。这些都会让我的研究变得很难,但这是完成研究目的所必须的。”

4.心理学研究出现问题了吗?

Srivastava对此议题的态度较为乐观,他认为,得益于技术的发展,重复性研究变得更加容易,也正因为如此,重复性议题相比以前显得更加重要了,他举例,“云计算和网络技术能让我们把宏观的、数据密集的重复性研究项目做得更好。”他也不认为当下的心理学不够“科学”,“任何一个科学领域都需要让它的方法和它所研究的现象相适应,如果心理学变得像物理学,物理学变得像心理学,那么,两者都会变得很糟糕。”

牛津大学的神经心理学家Dorothy
Bishop对此事也颇为关注,她在博客上写道,“当前媒体把焦点集中在‘可重复性’这一统计术语上,是因为许多争论点都和统计相关,但这会让人们忽视了更加基本的问题,那就是心理学是否存在问题。”在Bishop看来,如今的心理学的确存在问题,但她否认心理学比其他使用统计推论的学科差。Bishop分析了为什么现在的心理学研究可重复性较差,而这些也正说明了当下心理学所存在的问题。

首先,Bishop认为现在的心理学研究内容和过去已经大不相同。早期的心理学关注的内容相对来说不那么细枝末节,她相信早期的许多心理学理论是经得起重复的,比如“系列位置效应”(Serial
Position
Effect,指人们在记忆时更容易记住开头和结尾的内容)。很重要的一个原因是心理学家们常常会做一系列实验来更好地了解早期的这些心理学理论的适用条件,而这个过程本身也是一种重复研究。

还有一种可能是因为类似于“系列位置效应”这样能够明显观察到的效应都已经被研究过了,现在的心理学只剩下对细微的效应的研究。如果样本数太小就很可能错把偶然出现的显著效应当成是真的效应,为了避免这种情况,需要用大样本来证明细微的效应,而现在的心理学研究基本还是沿用了相对不具有说服力的小样本。

除了效应不明显外,现在的心理学效应还容易随社会情境(Social
Context)改变。某个心理学效应可能在一定的社会情境下适用,但一旦情境发生一点改变,就不适用了。Bishop认为这与其说是问题,不如说是心理学研究的机遇,心理学家们可以通过改变实验条件,来更细致地理解某个心理学理论的作用机制。Srivastava也认为,尽管心理学存在着普遍适用的理论,但也有相当多的理论只适用于一定的社会情境,为了搞清楚某个理论究竟是适用于全人类,还是只适用于一定人群,心理学家们需要在不同社会情境中检验一个理论。

Bishop还批评了当前许多心理学家过分迷信P值(是否统计显著)的现象,她认为如果变量足够多,以及研究者熟练掌握各种统计方法,就很容易出现因为偶然而造成的统计显著。“现在只要点几下鼠标就可以得到统计结果,这使得许多研究者只关注于那些显著的变量,而忽视理解内在的联系,这样就很容易造成虚假的显著效应。”Bishop说。去年12月,《心理科学》(Psychological
Science)和美国心理学协会(American Psychological
Society)共同宣布将致力于改善心理学研究的可重复性,作为具体举措之一,前不久《心理科学》杂志聘用了6位统计学专业背景的顾问,这些顾问的职责主要是检查文章中所用的统计方法是否合理。

Gilbert同意心理学有许多问题还未解决,“从头等的问题(关于人类行为的什么问题是最重要的)到细微末节的问题(应该如何计算效应量)都存在着问题”。但他认为问题并不等同于危机。“科学是一个人们朝着真理跌跌撞撞前行的过程,路上的曲折在所难免”,他说,“心理学在过去一个世纪取得了巨大的进步,下一个世纪也将同样如此。英语里面我们常说‘进两步,退一步’,我们在进步的同时也可能退步。有的人认为我们的心理学没有问题,有的人认为我们尽是问题,我认为两个观点都不对。心理科学是奇妙的,而且它每天都在进步。”

参考文献:

1.Gilbert D T, King G, Pettigrew S, et al. Comment on “Estimating the
reproducibility of psychological science”[J]. Science, 2016,
351(6277): 1037-1037.

2.Anderson C J, Bahník S, Barnett-Cowan M, et al. Response to Comment
on “Estimating the reproducibility of psychological science”
[J].Science,2016,351(6277): 1037-1037.

3.Meet Psychological Science’s New Statistical Advisors

4.

(责任编辑 陈晓雪)

知识分子,为更好的智趣生活。

关注请加微信号:the-intellectual或长按下方二维码。投稿、授权事宜请联系:zizaifenxiang@163.com。

图片 3

科学研究中普遍存在“证实偏见”

令人鼓舞的结果

“这项倡议对心理学确实意义重大,”加利福尼亚大学洛杉矶分校的心理学家丹尼·奥本海默(Danny
Oppenheimer)说,他的研究正在审议之中,可是并没有参加此次合作。“这说明所谓的重复性问题,当然绝不是微不足道,但也不像这个领域的某些批评者所说的那样普遍存在。”

项目的共同领导人之一,弗吉尼亚州夏洛茨维尔市开放科学中心(the Center of
Open Science in Charlottesville,
Virginia)的心理学家布莱恩·诺斯克(Brian
Nosek)认为这次的结果令人振奋。“这显示了我们的学科中那些重要的效应是能够可靠重复的,”他说。“不过这也不是说每13个效应中都有10个是可重复的。”

卡尼曼同意上述观点。这项研究“看起来非常成功,极具说服力,”他说,“尽管根据这一次努力,就对整个学科做出一个绝对性的结论实在是太早。”卡尼曼曾在2012年发表了一封公开信,呼吁对心理学中主要的一些效应进行“衔接式”的重复性检验,在这样的实验中,微妙的暗示有可能影响实验对象后来的行为。

在刚刚完成的这次检验中,全部13种效应中有一种只有微弱的效果,还有两种完全不能重复。两种不能再现的效应都与社会启动效应有关。其中一种是认为,人们在接触到金钱之后就会更加认同现行社会制度。另一种认为美国人见到美国国旗之后就会更加认同保守价值观。

领导最初的国旗启动效应研究的缅因州沃特维尔市科尔比学院(Colby College in
Waterville, Maine)社会心理学家特拉维斯•卡特(Travis
Carter)说他感到失望,不过他完全信任诺斯克的团队,但是在进一步评论之前需要先检验对方的数据。而领导最初的金钱启动效应研究的伊利诺伊州芝加哥大学行为科学家尤金·卡鲁索(Eugene
Caruso)说:“我们应该利用这次未能再现的事实来更新我们对于该效应的可靠性和普遍性的信任,”这是因为考虑到这次多实验室项目“大得多而又多样得多的样本量”。上述两位研究者都赞扬了这次倡议。

在实用论层面上,使用概念性重复作为直接重复的替代方案反映了科学研究中普遍存在的“证实偏见”,而具身认知正在成为这种偏见在心理科学中的新代言人。所谓“证实偏见”,就是研究者倾向于偏爱那些能够支持他们信念或假说的信息,反映在研究设计中一般表现为各种“期望效应”。例如,Klein等人以及Loersch和Payne分别在研究中指出,实验者的“期望效应”或由此引发的被试的“心理污染”(mental
contamination)是导致Bargh等人实验中出现社会性启动效应的原因。“证实偏见”导致的更为严重的后果是,以选择性筛选数据(cherry-pick
data)获取阳性统计结论等直接的学术造假。这个问题严重影响了具身认知研究的信誉与形象。例如,2011年,荷兰著名社会心理学家Diederik
Stapel的学术造假案中牵涉到的多篇研究报告,均曾被视为具身认知的重要支撑证据。随后,以从事具身认知研究成名的Dirk
Smeesters、Lawrence
Sanna等人纷纷陷入学术造假丑闻。据笔者不完全统计,自2011年以来,《心理科学》、《人格与社会心理学杂志》、《实验社会心理学杂志》等重要学术期刊撤销了十余篇与具身认知相关的实验稿件。伴随具身认知研究结论的不可重复性的频繁曝光,具身认知运动正陷入一场空前的信任危机之中。

文档公开

多实验室研究组的协调指导人还包括来自位于盖恩斯维尔(Gainesville)的佛罗里达大学的理查德·克莱因(Richard
Klein)和凯特·拉特利夫(Kate
Ratliff),以及来自意大利帕多瓦大学(University of
Padua)的米开朗基罗·维亚内罗(Michelangelo
Vianello),在这次研究中他们发现,无论是在线测试还是在实验室中,实验结果基本不受到接受测试的志愿者国籍的影响,也不怎么受到实验设置条件的影响。而存在影响的情况仅限于类似于锚定效应这样显著的效应之中,在类似于看到国旗的启动效应这样微小的效应中则没有发现。

这就反驳了一个被频繁提及的论调,即“有些心理学研究(尤其是那些关于微妙的社会启动效应的研究)之所以很难重复,是因为它们对于诸如测试对象或是最初实验者的技术水平这类条件的差异很敏感”的观点。社会启动效应研究难以重复的说法“对我个人而言就特别困扰,”诺斯克说,“因为社会启动效应是我的研究工作中很重要的一部分”。

只要条件允许,多实验室项目的计划都尽可能地请研究项目的原始作者审查,并记录在公开的文献中,刊载在《社会心理学》(Social
Psychology
)期刊上,其研究方法要求任何实验在完成之前都要经过同行评议。研究结果现已提交给期刊,可以在线查询。“这样的公开化应该成为所有科研工作的标准,”伊利诺伊大学厄巴纳-尚佩恩分校(University
of Illinois at Urbana–Champaign)的丹尼尔·西蒙斯(Daniel
Simons)说,他正指导着一项类似的合作研究,以验证未列入此次多实验室项目的心理学经典实验。“我希望这能够成为心理学上的一个标准方法。”奥本海默说,其他学科可以受益于此次多实验室的研究方法。“心理学并不是近年来唯一一个存在可重复性问题的领域。”

针对上述问题,近两年来心理科学界掀起了一轮有关可重复性的大规模检省与调查。2012年11月,《心理科学透视》出版专辑探讨了可重复性对于心理科学研究的重要性。最近,在Pashler倡导下运营的“心理文件柜”(psychfiledrawer)网站成立,并已经对20余项具有影响力的心理学实验进行了一系列严格的直接重复研究。相关结果令人触目惊心——具身认知领域内的大量研究存在不同程度的不可重复:与老年人有关的词汇启动步伐速率,画线段的长短启动与家庭成员关系的心理距离,金钱概念启动自立动机(self-reliance
motivation)从而影响助人行为等。与此同时,Nosek组织的“公开科学协作”(Open
Science
Collaboration)运动更是邀请了来自全球范围内41个心理学研究机构的71位志愿科学家来为心理科学研究的可重复性把脉。这些措施也得到《公共图书馆·综合》等期刊的大力支持。最近,英国伦敦大学学院的心理学家Shanks等人在该杂志发表的实验报告直接重复并质疑了荷兰心理学家Dijksterhuis等人开展的一项著名的具身认知实验的结论:有关智力高低形象的刻板印象直接影响个体在一般知识测验上的成绩。例如,联想到大学教授的被试要比联想到足球流氓的被试在知识测验上表现更好。此外,心理统计学家Simonsohn等坚持以统计学手段来甄别、打击与消除当前心理科学实验中由“证实偏见”导致的伪阳性(false
positives)的研究结论。阿姆斯特丹大学实验心理学家Wicherts则呼吁,实验心理学家们应尽可能透明化地公开自己研究的原始数据以供他人进行重复验证。

编译自:Ed Yong. Dozens of Labs Respond to Call to Bolster Reliability of Psychology Research. scientificamerican.com

近来,面对上述种种猜忌与质疑,无论是Bargh还是Dijksterhuis都给出了自己的回应。Dijksterhuis甚至抱怨:“近来心理学家中存在的意识形态就是不愿相信我们的行为可以受到环境的无意识提示。”然而,具身认知的支持者应该牢记:实验心理学家的使命不在于“斗嘴”,而在于拿出确凿的实验证据,没有任何一个研究者或研究可以例外。因此,若想摘下具身认知实验上方悬挂的“达摩克利斯之剑”,《心理学家》杂志给出了一剂出奇简单的“药方”,那就是:可重复性!可重复性!可重复性!

文章题图:explorable.com

 

(本文系中央高校基本科研业务费专项资金项目和浙江省哲学社会科学规划项目(13NDJC172YB)阶段性成果)

相关的果壳网小组

  • 环球科技观光团
  • 科学技术史

(作者单位:浙江大学语言与认知研究中心)

相关文章