Dispersion Of Thought Between Heart And Mind

导语

研究者们从经济学视角切入脑力劳动研究，为基于脑力投入的决策提供了新线索，利用稀缺性、成本效益分析等思路揭示了一些本来可能不会被考虑的新问题，并衍生出新的理论视角。与此同时，这些研究对心理学研究也有重大意义，人们通常以一种非线性的方式来衡量脑力劳动的收入与心理价值之间的非线性关系。这篇综述详细解读了这一系列研究。

论文题目：

Mental labour

论文原文：

https://www.nature.com/articles/s41562-018-0401-9

摘要

近期，热爱跨界和挖坑的深思(Deepmind)团队联合哈佛大学，剑桥大学，伦敦城市学院在《自然：人类行为》子刊发表了一篇关于脑力劳动的综述。综述主要从经济学和强化学习两个方面阐释了脑力劳动的研究现状。

现代社会中，随着社会的发展与分工的细化，繁重的体力工作被机械所代替，越来越多的脑力劳动者应运而生。他们为自己创造的价值感到自豪，与此同时，优秀的脑力劳动者也正在获得越来越高的报酬。

从这种说法来看，我们似乎把大脑的投入与交换和劳动的概念联系起来。简而言之，我们以经济学的方式来认识脑力劳动。

虽然在更多时候，脑力劳动是大众心理学中的一个基本概念，也是日常反思体验(daily reflection experience)中常见的一种形式。在心理学研究中，脑力劳动仍然相当难以捉摸。认知心理学通过将脑力的投入与认知控制功能联系起来，为理解投入如何影响表现提供了一些工具。然而脑力投入的分配原则仍然不为人知。

在什么情况下人们选择投入脑力？又是在什么时候拒绝这样做呢？当脑力投入被应用时，如何调节它的强度呢？

对脑力劳动研究的经济学方法已经揭示了基于脑力投入的决策的重要方面。在关于心理投入的科学研究中，越来越认真对待其与经济学的这种联系，从经济学角度切入，运用行为经济学和劳动经济学工具来理解其运作。

尽管这种方法相对较新，但它已经揭示了基于投入的决策的一些关键特点。为了强调这一潜力，本综述追溯了这一研究的发展趋势，调查其最新文献并审议其未来前景。

脑力劳动中的经济学

脑力投入科学的定义是”脑力活动的主观强化”，这种活动”调节了一个有机体在某些任务上的潜在表现和实际表现”[2]。从心理学和经济学的角度来看，从这个定义中存在的问题是，决定特定脑力活动强度的因素是什么？

对这个问题的研究是从两个关键概念开始的。

首先，在标准的经济范式中，人们认为脑力投入的分配应该是理性的。也就是说，人们通过脑力上的投入来增加收益，或者用规范的经济学术语来表达，即为主观效用最大化。

其次，人们认为脑力投入与消极效用有关，即这种投入代价高昂。将这两个概念结合在一起，所产生的挑战是要从成本效益分析的角度理解脑力投入的分配，这种分析衡量了脑力投入的潜在收益与其固有成本之间的关系。

早期行为主义流派提出了“少工作法则(law of less work)”，即”如果两个或两个以上的行为序列，每一个都涉及不同数量的能量消耗或工作，那么这个有机体将逐渐学会选择相较不费力的行为序列，从而实现强化状态”[3]。

从经济学角度来看，脑力投入是这个工作的一种自然延伸。虽然这个提案没有用明确的经济术语来表述，但是这个法则的经济意义是显而易见的，并且其后的研究已借由劳动力供给理论，将该法则用明确的经济术语进行了阐释。

少工作法则最初是为了解决体力劳动的问题。不过，投入最小化的概念很快在认知和决策研究中凸显。

在社会心理学中，阿尔波特用这些术语解释了种族偏见：”我们喜欢轻而易举地解决问题。为什么？这是因为，除了我们最感兴趣的领域外，投入往往是令人不快的。”

同样，在讨论政治信息的处理过程中，Mc Guire 认为人类是尽可能减少精力消耗的”懒惰的有机体”。与此同时，在认知心理学中，Baroody 和 Ginsburg 通过呼吁”认知经济驱动”来解释算术中的策略选择。在总结这一观点基础上，泰勒将人类决策者描述为”认知上的吝啬鬼”。

在大多数继承这一思路的早期工作中，关于脑力投入的成本折衷概念的处理是非正式的。然而，参考文献[9]《关于人类处理系统的经济性》，这篇论文开创性地，同时更进一步地，从经济学中引入效用函数的概念，总结了从任务表现中得到的积极效用，以及与脑力投入本身有关的负面效用。

相反，经济学开始转向心理学，最终在决策中发挥了脑力投入的作用。

例如，经济学家史密斯和沃克提出了一个经济选择的劳动理论，其特点是捕捉认知投入的无用性，卡梅勒和霍加斯提出了一个类似的资本劳动生产框架，该框架强调脑力投入需求对认知能力的依赖。

其后一篇论文提出了激励意识（ motivating intuition）的一种直白表达：”经济学家本能地认为思考是一项代价高昂的活动。脑力投入就如同身体上的投入一样——两者都不被人们所喜爱。”

内在投入成本的证据

迄今为止，所综述工作的一个重要局限是，利用投入成本的概念对问题进行解释，而不是直接作为问题的假设。文章[16]的工作走出了克服这一局限的第一步，在该工作提出的任务中，参与者在两个视觉刺激中反复选择。

在做选择时，每个刺激根据本身呈现的颜色产生一系列数字(图1)。这项任务的关键在于，一个选择刺激产生的数字要求在两个分类任务之间频繁切换(高需求) ，而另一个则要求得出更少的数字切换(低需求)。

在这一系列的实验中，参与者始终倾向于低需求选项(图1)。这种误差在参与者（无论是老年人还是年轻人）中普遍存在，无法从避免错误或尽量减少任务时间的角度来解释，但是，当金钱激励与高投入选择相联系时，这种误差就会减少，这证实了高投入对动机因素的敏感性。

图1 | 认知控制成本的行为模式

另一项工作提供了类似的对认知投入成本的验证。在这篇文章设定的任务中，参与者会执行一项低投入的工作记忆任务来获得较低的金钱奖励，或执行高投入的工作记忆任务来获得较高的回报(图1)。在每个选择之后，一个自适应调整算法改变对低投入项的奖励，直到确定两个选项之间的无差异点。

通过几项研究发现，这种无差异点将高投入选项与高奖励联系得更加紧密。与高回报任务相关的盈余量可以看作是脑力投入的量化。

随后一些研究采用类似范式来进一步探讨投入成本。例如，有证据表明[21]，认知和体力的投入分别与不同的函数相关联。研究表明，投入成本与元认知监测功能有关，而不是与固有的任务需求有关。

这一系列研究有助于澄清：哪些特定类型的心理活动与投入成本相关。

尽管在一系列大规模任务处理中都发现了投入逃避( effort avoidance )现象[16,17,23–26]，但常见的似乎是自上而下的认知控制，可能与大脑执行者的参与或多重需求的网络工作有关。但这并不奇怪，因为长期以来人们一直认为主观的脑力投入与认知控制功能的调动有关[35,36]。

投入成本函数形态

投入成本的概念现在已经被直接验证，一些研究旨在描述潜在效用函数的形状，并询问当投入的强度增加时，主观的投入成本是如何增加的，就如之前行为经济学的工作曾经提出的，金钱奖励的主观效用如何随着货币价值的增加而增加。

虽然一个简单的线性成本函数模型已被证明足以模拟一些行为现象[9,38]，其他工作指向一个非线性函数。例如，已经发现，人们不愿意付出投入，宁愿在风险前景上做出可预测的投入。

将标准的行为经济分析应用到这个结论中，表明投入的成本函数应该是凸的（图2.1-a），投入的成本函数应该逐渐增加，而且费用越来越高。似乎与这个结论相矛盾，最近的一项研究[21]比较了几个候选函数，发现这些数据最好用一个凹(双曲线)成本函数（图2.1-b)来描述。

图2.1 | 脑力投入与效用功能

为了解决这种明显的差异，还需要进一步研究，也许还要解释双曲线如何解释完全放弃投入和回报的决定，因为这样的贴现永远不能完全抹去预期收益的价值。与此同时，普遍存在的不确定性，可以使我们关注到一些与脑力投入的成本函数无关的难点。

至关重要的是，这样做需要以某种固定单位来量化投入的可能性。

这本身就很困难，因为投入不仅仅是目标任务的一个特性，而且也是个人认知能力的一个功能，以及为这项任务而自愿调动的投入程度，而这反过来又是个人奖励敏感度的函数。

这些因素可能很难通过行为观察来分解，这个问题可以被恰当地称为脑力劳动中的计量经济学问题[33,39]。

在不通过调查劳动成本，而是通过总结投入回报权衡的净效用函数的总体形状的条件下，取得了更加一致的结果。经济学的 LST 已经被用来评估这个问题。这一经济学分支涉及工人如何在工作和休闲之间分配时间的问题，尤其是如何受到小时工资的影响。

Lst 的基本假设是，工人将货币收入的价值与休闲的价值进行权衡，本质上是工作成本或投入成本的反比。收入和休闲时间的任何特定组合都转化为单一的效用，所有收入休闲配对的空间都被一个实用的表面所跨越，如图2所示。 Lst 的一个中心原则是，本实用新型表面是凹陷的，向起点弯曲，向上翻腾，如图所示。

图2 | 劳动供给理论与脑力投入

虽然这听起来可能只是一个技术问题，但是效用函数的凹度对选择行为有重要影响。最根本的是，这意味着，一个工人，如果有可用的工资和工作时间的选择，总是倾向于收入和休闲时间之间的平衡(图2)。

有证据表明[23]，基于脑力劳动的决策可能与LST准则相一致。 LST 效用函数的凹形有效的预测了一种特殊形式的工资增长，称为收入补偿增加。这种工资的增长将引发工作的增加，而减少收入这部分工资将导致工作减少(图2b)。

让这些预测变得微不足道的是，鉴于工资变化的详细结构，决策者在工资变化后可以像以前那样在同一水平上工作，并达到完全相同的收入水平(图2b)。来自 LST 的预测认为工人将放弃这个机会。这一预测在劳动市场研究[41-43]，以及在动物条件作用下观察体力劳动分布的实验中，得到了成功的验证。

同样的实验方法也适用于基于心理投入的决策[23]。参与者在30分钟的测试期间，每花一分钟在一项认知要求高的任务上，参与者会得到一份”工资”(以糖果为单位) ，剩余的时间用于一项无偿的低需求任务。收入补偿的工资变化导致工作分配的变化，正如 LST (图2c)所预测的那样。

这些结果表明，最初设计用来解释经济劳动力市场的 LST 的核心特征也可能适用于脑力劳动。

具体来说，这意味着人们以一种非线性的方式衡量来自脑力劳动的收入与心理价值之间的非线性关系，从而导致人们更倾向于两者的平衡组合。在一个更好的粒度下，结果意味着脑力劳动的边际成本从根本上取决于基线：相对于奖励变化而言，投入成本取决于已经投入了多少投入以及已经收到了多少收入。

脑力劳动的回报

在其他研究中，经济工具被用来进一步研究一系列与脑力投入相关的问题。例如，脑力投入透支模式已应用在啮齿动物研究中，文献[44-46]展示了老鼠如何权衡认知投入和奖励。有趣的是，老鼠在投入敏感度上表现出稳定的个体差异。这在人类身上也得到了观察，投入逃避和激励效应与其他认知和人格特征[17，47，48]有关(图3)。

另外，还报告了基于年龄[17]和精神状况[20,49](图1和3)的群体差异。

图3 | 基于脑力投入的决策中个别差异相关性的证据

一个有趣的问题是：从个体差异角度来看，脑力投入除了固有的成本之外，还可以带来回报。例如，在《Learned Industriousness》一书中[50]，人们被建议通过多年生活在一个“多劳多得”的世界中，进而习得投入的价值。劳动者对回报的期待，有时似乎是认知不足时的一种无可奈何的动力。

所以到底是乐观者的工作体验更轻松？或是他们为之工作的目标更有价值？解决这个问题应该成为今后研究的中心目标，经济框架似乎为实现这一目标提供了一套行之有效的工具。

策略选择

在基于投入决策的研究方面，最近一个有趣的趋势是关注选择策略，人们通过成本效益分析来选择认知策略，同时考虑到投入成本[7、8、54]。新近研究通过计算明确的竞争战略模型，在证实这一假设方面取得了进展。与本综述特别相关的是战略选择违背经济激励措施方面的例子。

最近的一项研究就提供了一个生动的例子[57]。这项工作的重点是在两中基于奖励的决策策略之间做出选择，一种策略是基于习惯，另一种是通过基于对可能的输出情景进行搜索[58-61]。

在强化学习理论中，第一种策略对应’无模型’系统，这个系统重视获得了奖励的行为；第二种策略对应基于模型的系统，这种系统设计了一个存在于内部、可产生奖励的环境模型[62-64]。

关键问题是决策者如何在这两种策略之间做出选择。以经济学观点来看，这是成本-收益问题，需考虑基于模型的系统可带来多少收益。

图4 | 过渡结构、试验事件序列和多阶段决策任务的结果

除了这些行为研究，越来越多的人类和动物实验都运用了神经经济学技术来阐明基于投入的决策的神经基础。虽然这种神经科学研究不属于本文探讨的范围，但值得注意的是，成本效益分析的思路在这种工作中变得越来越重要、越来越正式化。

例如，在关于前额叶电路最大限度地实现”控制的预期价值”的提议中，这一数量计入了投入成本[31,32]。新近的一些文章已综述了这项研究以及其他有关脑力劳动的神经科学研究。[21，26,31,33,34,70-72]

为什么

精神劳动成本高昂

随着脑力投入成本的存在得到越来越明确的验证，其特性也日益受到探讨，随之而来的一个问题越来越受到关注，即：为什么精神上的投入要付出高昂的代价？

乍一看，这种代价似乎有悖常理，因为根据大众心理学的观念，投入通常会产生积极结果。由此产生的谜题还没有完全解开。

然而，在这里，文章再次应用了经济学的观点。一般的看法是投入可能在某种意义上吸引稀缺资源。因此，成本可以理解为保护这种资源。

一个早期的假设是，与体力劳动相似，脑力劳动可能会提高新陈代谢中的能量消耗。这种想法的动机是行为的”消耗”效应，即经过一阵劳动之后体力耗尽。在一个权威理论中，这种效应被用以反映血糖消耗[73]。

然而，葡萄糖假说并没有得到证实[74]，行为损耗的存在本身就是问题[75,76]。实时任务的消耗效应似乎确实存在[77,78]，这些效应与激励相互作用[79]。

然而，这些似乎更适合用动机变量来解释，而不是通过新陈代谢的能量消耗来解释[80]。

一个更为站得住脚的想法是，脑力投入成本与有限的资源有关，这种资源在本质上是认知或计算，而不是新陈代谢[9]。在某些工作中，这种资源在计算或信息处理方面具有广泛的特征[54,55]。事实上，人类决策者确实表现出倾向于选择尽量少计算需求的信息处理策略或算法[55]。

计算本身就需要时间，另一个关于投入成本的观点是，它们通过机会成本与时间紧密相连。机会成本的另一种形式来自“利用-探索”困境，即利用既定知识和探索环境获得新的知识之间的内在权衡。有人提出[80]，投入逃避可能反映出一种适应性偏见，这种偏见不鼓励利用型的认知任务，而是鼓励探索型任务。(参见 [30])

另一个并不矛盾的观点是将有限的认知资源更具体地与认知控制联系起来。长期以来，人们一直认为，控制功能是认知信息处理的瓶颈[55,85,86]。这解释了为什么子目标成本与其分配特别相关。

事实上，一些认知模型企业已经明确地纳入了’最小控制'[87,88]或者’最小投入’原则，再次提到认知控制[54,89]。

在讨论了这些问题后，值得注意的是，有限资源的概念并不足以解释脑力劳动成本的存在。

原则上，一个合理的分配策略应该能够最大限度地利用这种有限的资源(不论其性质如何) ，而不需要固有成本。为了解决这个问题，有人认为[90]，脑力劳动的成本在进化中形成了一个固定的启发式连接，这个连接在不需要计算密集型的详细分配决策时，阻止认知控制的浪费分配(参见参考文献。 81).

图5 | 拟议的（proposed）多任务学习模式示意图

另一种更新颖的可能性在深度强化学习的基础上提出。在神经网络结构中，多任务学习既学习了通用的默认“刺激-响应”策略（图5-b）还研究了一组特定任务的策略[91]。

至关重要的是，在学习过程中，默认策略的更新是通过”提炼”特定任务策略的集合，将它们的共同特性吸收到默认策略中而实现的，但针对特定任务的策略则是由一个成本条款决定的，因此违约政策将因违反默认策略而受到惩罚。

这种设置的基本原理是它将鼓励出现一个最有用的默认策略，并且模拟结果表明，学习架构比没有相关特性的架构显示出更大的稳定性和可靠性。

尽管这项研究并没有涉及到人类心理学，但它引发了一个关于脑力劳动成本的有趣想法。与自动对照行为的标准认知模型相比，最近研究的体系结构中的默认策略[91]可被认为是实施一系列自动或习惯行为，特定任务策略是一组受控的行为，在适当的时候会覆盖自动行为(图5-a)。

从这个角度来看，仿真结果[91]表明，对自上而下的认知控制附加成本可能是有益的，因为它鼓励发展最佳习惯，从而形成一个尽可能少依赖控制的系统，并在多任务环境中显示可靠、稳定的学习(参见[92])。

结语

经济学视角的脑力劳动，对心理学研究产生重要影响。其促进了重要的新工具开发，目前正在加以利用，以便为基于脑力投入的决策提供新线索。与此同时，它揭示了一些本来可能不会被考虑的新问题，并提出新的理论视角。

目前来看，经济学方法对于脑力劳动这一问题将保持生产力，继续在重要问题上起作用。与此同时，新近研究表明，经济学方法可能受益于来自其它领域的观点，特别是来自强化学习理论和最优控制的观点。在这方面，最近关于人工智能的研究爆炸式增长可能提供了一些有益想法。

参考文献

1. Belden, T. G. & Belden, M. R. The Lengthening Shadow: The Life of Thomas J. Watson (Little, Brown, Boston, 1962).

2. Inzlicht, M., Shenhav, A. & Olivola, C. The effort paradox: effort is both costly and valued. Trends Cogn. Sci. 22, 337–349 (2017).

3. Hull, C. L. Principles of Behavior (Appleton-Century, New York, NY, 1943).

4. Kagel, J. H., Battalio, R. C. & Green, L. Economic Choice Theory: An Experimental Analysis of Animal Behavior (Cambridge Univ. Press, Cambridge, 1995).

5. Allport, G. W. The Nature of Prejudice (Addison Wesley, New York, NY, 1954).

6. McGuire, W. J. in The Handbook of Social Psychology (eds Lindzey, G. & Aronson, E.) 136–314 (Addision-Wesley, Reading, 1969).

7. Baroody, A. J. & Ginsburg, H. P. in Conceptual and Procedural Knowledge: The Case of Mathematics (ed. Hiebert, J.) 75–112 (Lawrence Erlbaum Associates, Hillsdale, 1986).

8. Taylor, S. E. in Cognition, Social Behavior, and the Environment (ed. Harvey, J. H.) 189–211 (Erlbaum, Hillsdale, 1981).

9. Navon, D. & Gopher, D. On the economy of the human-processing system. Psychol. Rev. 86, 214–255 (1979).

10. Smith, V. L. & Walker, J. M. Monetary rewards and decision cost in experimental economics. Econ. Inq. 31, 245–261 (1993).

11. Camerer, C. F. & Hogarth, R. M. The effects of financial incentives in experiments: a review and capital-labor-production framework. J. Risk Uncertainty 19, 7–42 (1999).

12. Shah, A. K. & Oppenheimer, D. M. Heuristics made easy: an effort-reduction framework. Psychol. Bull. 134, 207–222 (2008).

13. Shugan, S. M. The cost of thinking. J. Consum. Res. 7, 99–111 (1980).

14. Simon, H. A. A behavioral model of rational choice. Q. J. Econ. 69, 99–118 (1955).

15. Payne, J. W., Bettman, J. R. & Johnson, E. J. Adaptive strategy selection in decision making. J. Exp. Psychol. 14, 534–552 (1988).

16. Kool, W., McGuire, J. T., Rosen, Z. & Botvinick, M. M. Decision making and the avoidance of cognitive demand. J. Exp. Psychol. 139, 665–682 (2010).

17. Westbrook, A., Kester, D. & Braver, T. S. What Is the subjective cost of cognitive effort? Load, trait, and aging effects revealed by economic preference. PLoS ONE 8, e68210 (2013).

18. Westbrook, A. & Braver, T. S. Cognitive effort: a neuroeconomic approach. Cogn. Affect. Behav. Neurosci. 15, 395–415 (2015).

19. Westbrook, J. A. & Braver, T. S. The economics of cognitive effort. Behav. Brain Sci. 36, 704–705 (2013).

20. Culbreth, A., Westbrook, A. & Barch, D. Negative symptoms are associated with an increased subjective cost of cognitive effort. J. Abnorm. Psychol. 125, 528–536 (2016).

21. Chong, T. T.-J. et al. Neurocomputational mechanisms underlying subjective valuation of effort costs. PLoS Biol. 15, e1002598 (2017).

22. Dunn, T. L., Lutes, D. J. & Risko, E. F. Metacognitive evaluation in the avoidance of demand. J. Exp. Psychol. Hum. Percep. Perform. 42, 1372–1387 (2016).

23. Kool, W. & Botvinick, M. A Labor/leisure tradeoff in cognitive control. J. Exp. Psychol. Gen. 143, 131–141 (2014).

24. Apps, M. A., Grima, L. L., Manohar, S. & Husain, M. The role of cognitive effort in subjective reward devaluation and risky decision-making. Sci. Rep. 5, 16880 (2015).

25. Manohar, S. G. et al. Reward pays the cost of noise reduction in motor and cognitive control. Curr. Biol. 25, 1707–1716 (2015).

26. McGuire, J. C. & Botvinick, M. Prefrontal cortex, cognitive control, and the registration of decision costs. Proc. Natl Acad. Sci. USA 107, 7922–7926 (2010).

27. Posner, M. I. & DiGirolamo, G. J. in The Attentive Brain (ed. Parasuraman, R.) 401–423 (MIT Press, Cambridge, MA, 1998).

28. Shiffrin, R. M. & Schneider, W. Controlled and automatic information processing: II. Perceptual learning, automatic attending, and a general theory. Psychol. Rev. 84, 127–190 (1977).

29. Botvinick, M. M. & Cohen, J. D. The computational and neural basis of cognitive control: charted territory and new frontiers. Cogn. Sci. 38, 1249–1285 (2014).

30. Schouppe, N., Ridderinkhof, K. R., Verguts, T. & Notebaert, W. Context-specific control and context selection in conflict tasks. Acta Psychol. 146, 63–66 (2014).

31. Shenhav, A., Botvinick, M. M. & Cohen, J. D. The expected value of control: an integrative theory of anterior cingulate cortex function. Neuron 79, 217–240 (2013).

32. Shenhav, A., Cohen, J. D. & Botvinick, M. M. Dorsal anterior cingulate cortex and the value of control. Nature Neurosci. 19, 1286–1291 (2016).

33. Botvinick, M. & Braver, T. Motivation and cognitive control: from behavior to neural mechanism. Annu. Rev. Psychol. 66, 83–113 (2015).

34. Sayalı, C. & Badre, D. Neural systems of cognitive demand avoidance. Neuropsychologia https://doi.org/10.1016/j.neuropsychologia.2018.06.016 (2018).

35. Kahneman, D. Attention and Effort (Prentice-Hall, Englewood Cliffs, 1973). 36. Posner, . I. & Snyder, C. R. R. in Information Processing and Cognition: The Loyola Symposium (ed. Solso, R. L.) 55–85 (Erlbaum Associates, Hillsdale, 1975).

37. Glimcher, P. W., Camerer, C. F., Fehr, E. & Poldrack, R. A. Neuroeconomics: Decision Making and the Brain (Academic, Oxford, 2009).

38. Verguts, T., Vassena, E. & Silvetti, M. Adaptive effort investment in cognitive and physical tasks: a neurocomputational model. Front. Behav. Neurosci. 9, 57 (2015).

39. Musslick, S., Cohen, J. D. & Shenhav, A. Estimating the costs of cognitive control: theoretical validation and potential pitfalls. In Proc. 40th Annu. Meeting Cognitive Science Society (2017).

40. Nicholson, W. & Snyder, C. M. Microeconomic Theory: Basic Principles and Extension (Cengage Learning, Mason, OH, 2008).

41. Charness, G. & Kuhn, P. What Can Labor Economists Learn from the Lab? NBER Working Paper No. 15913 (2010).

42. Dickinson, D. L. An experimental examination of labor supply and work intensities. J. Labor Econ. 17, 638–670 (1999).

43. Fehr, E., Goette, L. & Zehnder, C. A behavioral account of the labor market: the role of fairness concerns. Annu. Rev. Econ. 1, 355–384 (2009). 44. Hosking, J. G., Cocker, P. J. & Winstanley, C. A. Prefrontal cortical inactivations decrease willingness to expend cognitive effort on a rodent cost/benefit decision-making task. Cereb. Cortex 26, 1529–1538 2015). 45. Cocker, P. J., Hosking, J. G., Benoit, J. & Winstanley, C. A. Sensitivity to cognitive effort mediates psychostimulant effects on a novel rodent cost/benefit decision-making task. Neuropsychopharmacology 37, 1825–1837 (2012).

46. Hosking, J. G., Floresco, S. B. & Winstanley, C. A. Dopamine antagonism decreases willingness to expend physical, but not cognitive, effort: a comparison of two rodent cost/benefit decision-making tasks. Neuropsychopharmacology 40, 1005–1015 (2015).

47. Sandra, D. A. & Otto, A. R. Cognitive capacity limitations and need for cognition differentially predict reward-induced cognitive effort expenditure. Cognition 172, 101–106 (2018).

48. Chevalier, N. Willing to think hard? The subjective value of cognitive effort in children. Child Dev. 89, 1283–1295 (2018).

49. Culbreth, A. J., Moran, E. K. & Barch, D. M. Effort-based decision-making in schizophrenia. Curr. Opin. Behav. Sci. 22, 1–6 (2018).

50. Eisenberger, R. Learned industriousness. Psychol. Rev. 99, 248–267 (1992).

51. Olivola, C. Y. & Shafir, E. The martyrdom effect: when pain and effort increase prosocial contributions. J. Behav. Decis. Making 26, 91–105 (2013). 52. Norton, M. I., Mochon, D. & Ariely, D. The IKEA effect: when labor leads to love. J. Consum. Psychol. 22, 453–460 (2012).

53. Festinger, L. A Theory of Cognitive Dissonance (Stanford Univ. Press, Stanford,

CA, 1962).

54. Anderson, J. R. The Adaptive Character of Thought (Erlbaum, Hillsdale, 1990). 55. Shenhav, A. et al. Toward a rational and mechanistic account of mental effort. Ann. Rev. Neurosci. 40, 99–124 (2017).

56. Lieder, F. & Griffiths, T. L. Strategy selection as rational metareasoning. Psychol. Rev. 124, 762–794 (2017).

57. Kool, W., Gershman, S. J. & Cushman, F. A. Cost-benefit arbitration between multiple reinforcement-learning systems. Psychol. Sci. 28, 1321–1333 (2017). 58. Kahneman, D. Maps of bounded rationality: psychology for behavioral economics. Am. Econ. Rev. 93, 1449–1475 (2003).

59. Dickinson, A. Actions and habits: the development of behavioural autonomy. Phil. Trans. Roy. Soc. Lon. B 308, 67–78 (1985).

60. Wason, P. C. & Evans, J. S. B. Dual processes in reasoning? Cognition 3, 141–154 (1975).

61. Sloman, S. A. The empirical case for two systems of reasoning. Psychol. Bull. 119, 3–22 (1996).

62. Daw, N. D., Niv, Y. & Dayan, P. Uncertainty-based competition between prefrontal and dorsolateral striatal systems for behavioral control. Nat. Neurosci. 8, 1704–1711 (2005).

63. Dolan, R. J. & Dayan, P. Goals and habits in the brain. Neuron 80, 312–325 (2013).

64. Daw, N., Gershman, S. J., Seymour, B., Dayan, P. & Dolan, R. J. Model-based influences on humans’ choices and striatal prediction errors. Neuron 69, 1204–1215 (2011).

65. Otto, A. R., Gershman, S. J., Markman, A. B. & Daw, N. D. The curse of planning: dissecting multiple reinforcement-learning systems by taxing the central executive. Psychol. Sci. 24, 751–761 (2013).

66. Otto, A. R., Skatova, A., Madlon-Kay, S. & Daw, N. D. Cognitive control predicts use of model-based reinforcement learning. J. Cogn. Neurosci. 27, 319–333 (2014).

67. Smittenaar, P., FitzGerald, T. H., Romei, V., Wright, N. D. & Dolan, R. J. Disruption of dorsolateral prefrontal cortex decreases model-based in favor of model-free control in humans. Neuron 80, 914–919 (2013).

68. Kool, W., Cushman, F. A. & Gershman, S. J. When does model-based control pay off? PLoS Comput. Biol. 12, e1005090 (2016).

69. Kool, W., Gershman, S. & Cushman, F. A. Planning complexity registers as a cost in metacontrol. J. Cogn. Neurosci. https://doi.org/10.1162/jocn_a_01263 (2018).

70. Botvinick, M. M., Huffstetler, S. & McGuire, J. C. Effort discounting in human nucleus accumbens. Cogn. Affect. Behav. Neurosci. 9, 16–27 (2009).

71. Schmidt, L., Lebreton, M., Cléry-Melin, M.-L., Daunizeau, J. & Pessiglione, M. Neural mechanisms underlying motivation of mental versus physical effort. PLoS Biol. 10, e1001266 (2012).

72. Frobose, M. I. et al. Catecholaminergic modulation of the avoidance of cognitive control. Preprint at bioRxiv https://doi.org/10.1101/191015 (2017).

73. Gailliot, M. T. et al. Self-control relies on glucose as a limited energy source: willpower is more than a metaphor. J. Pers. Soc. Psychol. 92, 325–336 (2007).

74. Inzlicht, M., Schmeichel, B. J. & Macrae, C. N. Why self-control seems (but may not be) limited. Trends Cogn. Sci. 18, 127–133 (2014).

75. Randles, D., Harlow, I. & Inzlicht, M. A pre-registered naturalistic observation of within domain mental fatigue and domain-general depletion of self-control. PLoS ONE 12, e0182980 (2017).

76. Hagger, M. S. et al. A multilab preregistered replication of the ego-depletion effect. Perspect. Psychol. Sci. 11, 546–573 (2016).

77. Braun, D. A. & Arrington, C. M. Assessing the role of reward in task selection using a reward-based voluntary task switching paradigm. Psychol. Res. 82, 54–64 (2017).

78. Blain, B., Hollard, G. & Pessiglione, M. Neural mechanisms underlying the impact of daylong cognitive work on economic decisions. Proc. Natl Acad. Sci. USA 113, 6967–6972 (2016).

79. Brewer, G. A., Lau, K. K., Wingert, K. M., Ball, B. H. & Blais, C. Examining depletion theories under conditions of within-task transfer. J. Exp. Psychol. 146, 988–1008 (2017).

80. Inzlicht, M. & Schmeichel, B. J. in The Handbook of Self-Regulation (eds Vohs, K. D. & Baumeister, R. H.) 165–181 (Guilford, New York, NY, 2016).

81. Kurzban, R. The sense of effort. Curr. Opin. Psychol. 7, 67–70 (2016).

82. Kurzban, R., Duckworth, A., Kable, J. W. & Myers, J. An opportunity cost model of subjective effort and task performance. Behav. Brain Sci. 36, 661–679 (2013).

83. Otto, A. R. & Daw, N. The opportunity cost of time modulates cognitive effort. Neuropsychologia https://doi.org/10.1016/j. neuropsychologia.2018.05.006 (2017).

84. Wilson, R. C., Geana, A., White, J. M., Ludvig, E. A. & Cohen, J. D. Humans use directed and random exploration to solve the explore–exploit dilemma. J. Exp. Psychol. 143, 2074–2081 (2014).

85. Feng, S. F., Schwemmer, M., Gershman, S. J. & Cohen, J. D. Multitasking versus multiplexing: Toward a normative account of limitations in the simultaneous execution of control-demanding behaviors. Cogn. Affect. Behav. Neurosci. 14, 129–146 (2014).

86. Musslick, S. et al. Controlled vs. automatic processing: a graph-theoretic approach to the analysis of serial vs. parallel processing in neural network architectures. In Proc. 38th Annu. Conf. Cognitive Science Society 1547–1552 (2016).

87. Taatgen, N. A. in Integrated Models of Cognitive Systems (ed. Gray, W. D.) 368–379 (Oxford Univ. Press, New York, NY, 2007).

88. Yeung, N. & Monsell, S. Switching between tasks of unequal familiarity: the role of stimulus-attribute and response-set selection. J. Exp. Psychol. Hum. Percep. Perform. 29, 455–469 (2003).

89. Gray, W. D. The nature and processing of errors in interactive behavior. Cogn. Sci. 24, 205–248 (2000).

90. Kool, W. & Botvinick, M. The intrinsic cost of cognitive control. Behav. Brain Sci. 36, 697–698 (2013).

91. Teh, Y. et al. Distral: Robust multitask reinforcement learning. Adv. Neural Inf. Process. Syst. 30, 4497–4507 (2017).

92. Genewein, T., Leibfried, F., Grau-Moya, J. & Braun, D. A. Bounded rationality, abstraction, and hierarchical decision-making: An information- theoretic optimality principle. Front. Robot. AI 2, 27 (2015).

93. Hassabis, D., Kumaran, D., Summerfield, C. & Botvinick, M. Neuroscience-inspired artificial intelligence. Neuron 95, 245–258 (2017).

94. Miller, E. K. & Cohen, J. D. An integrative theory of prefrontal cortex function. Annu. Rev. Neurosci. 24, 167–202 (2001).

95. Białaszek, W., Marcowski, P. & Ostaszewski, P. Physical and cognitive effort discounting across different reward magnitudes: tests of discounting models. PLoS ONE 12, e0182353 (2017).