技术如何演化:创新背后的数学递归结构-集智俱乐部


导语
新技术是如何起源和演化的?组合创新理论认为技术并非从零开始,而是从现有技术组合中递归建立的。2019 年底两名研究者对此进行了定量化研究,不仅建立了技术创新的数学模型,还推导出了技术递归的预期收益公式,通过语言、美食与药品三个领域测试研究发现,以最佳配对大小的技术组件作为拓展模块进行重复递归,可以有效提高新技术产生的效率,从 2 倍到 28 倍不等。此外论文中还给出了技术创新过程的解释和相关实践策略。


论文题目:

The mathematical structure of innovation

论文地址:

https://arxiv.org/abs/1912.03281


技术的本质是什么?它是如何进化的?


尽管我们熟悉风力涡轮机、触摸屏和 GPS 等各种具体技术,但“新技术究竟如何诞生”对我们来说依然是一个谜。一方面,在传统观念中,人们往往把技术当做科学的附庸,并潜意识认为技术对人类具有某种潜在性的威胁,一方面以往人们对技术的思考大多由哲学家和社会学家们进行,工程师们大多热衷并忙于具体技术细节,无暇顾及。这都导致了人们长期以来将技术本身当做一个外部客观对象,潜藏在一个个具体的“黑箱”中。

 

正如如果没有基因学说和解剖学研究,就很难厘清物种之间的关系一样,如果不深入到技术内部中去,也很难看清它们是如何相互联系,如何起源以及如何进化的。


著名经济学家、圣塔菲研究所外聘教授布莱恩·阿瑟(Brian Arthur)在《技术的本质》[1]一书中,曾从复杂系统视角对技术本质及进化做出过清晰阐述:


  1. 所有技术都来自其他次级技术的组合,元初技术是对自然现象及其效应的捕获;
  2. 通过组件模块化和技术集群形成的域,技术进化有一个自下而上的层级递归结构;
  3. 与人类需求互动,技术进化创造并引发经济进化而与人类共生。如果技术让人远离自然,则是危险的,反之人性的技术则给人类带来生命活力与繁荣。

 

如下图 1 所示,我们熟知的 GPS 这项技术,就是由原子钟,卫星和接收器三种组件组成的,并以分层的方式由更原始的技术组成。这种将原始组件组合转化为新技术和组件的过程被称为技术递归(Technological recursion)。
 

       技术如何演化:创新背后的数学递归结构-集智俱乐部      

图 1:技术的递归结构。GPS 由原子钟、卫星和接收器组成。而原子钟又由激光器、微波腔和真空室等组成,逐层递推。并且 ,GPS 本身也是后续技术的一个组件,如导弹、地震监测仪和手机中的地图导航。
 
那么,技术递归究竟是如何导致技术诞生并促使技术发展的?这个问题就已经不是定性描述所能阐释清楚的了。


2019 年底,来自伦敦数学科学研究所的两位数学家,在 arxiv 上发布了一篇预印本论文:《The mathematical structure of innovation》,他们对布莱恩·阿瑟的技术理论进行了定量化研究,不仅建立了技术递归创新的数学模型,还推导出了技术递归的预期收益的公式,通过语言、美食与药品三个领域测试研究发现,以最佳配对大小的技术组件作为拓展模块进行重复递归,可以有效提高新技术产生的效率,从 2 倍到 28 倍不等。此外论文中还给出了技术创新过程的解释和实践策略。




组合进化与递归


从布莱恩·阿瑟的技术理论我们可以看到,技术的本质是通过原有技术的组合,对捕获的自然现象有目的地进行编程。


因此,技术本身可以由各种不同类型组件构成 [1-7],可以是一种物质对象(如电容器),一个过程(如聚合酶链反应),或一种是工作技能(例如 Java 编程)。组件数量并没有限制。不同成分组成的新组件,要么是一项新技术,要么就不是技术,这种不断进行组合转换的递归过程即技术递归。

上面 GPS 的例子表明,如果不进行技术递归,GPS 将由至少 13 个,而不是目前 3 个组件组成。显然 13 个组件会大大增加技术创新的复杂度和制造难度。而如果采用技术递归,即使很复杂的技术和设备——如有数亿乃至数十亿零件的航空母舰,也能由更少的上一级组件组成,变得更容易制造了。

不过另一方面,在技术研发过程中,由于额外组件组合同样需要跟踪调试(以组成完整技术),且组合可能性数量会随组件数呈指数级增长,因此虽然将正确的组件组合转换为新的组件可以大大增加可制造技术的数量,但是将有太多的组件组合也会产生相反的效果。
 
设想有三个孩子,Eve、Frank 和 Grace,在玩三种不同组合的乐高玩具,目标都是制作尽可能多的玩具。Eve 有一套普通的乐高积木,Frank 与之相同但进行了改造:将一些经常用组件,如车轮和车轴固定在了一起,这样就可以在需要的时候更快利用到这些模块。Grace 采纳了类似Frank 的模块策略,但进一步的,不仅把玩具中经常用到的东西粘在一起,还把偶尔用到的东西也粘在了一起,比如底板和门。

现在,让每个孩子从自己的乐高积木盒子里随机挑出一堆数量相同的组件。Eve 只有单独的零件,Frank 有一部分是他预装好完整模块,Grace 有更多的模块和更少的独立零件。
 
哪个孩子可能制造的玩具数最多?当 Eve 忙于组装单个组件,Frank 已经充分利用包含更多零件的预装模块进行更高层次的组合了。与此相对,Grace 虽然有更多的模块,她却很可能倒数第一,太多不相关组件粘合的模块,限制了她的大部分零件组合的可能性。
 
在论文中,研究者还展示了一个语言词汇创造的例子。表明将基本组件转化为模块可增加制造技术的数量变化情况。

如图 2 所示,组件是字母 a、b、c 和 d,技术是由它们组成的 10 个英语单词。从 A 到 B,在将 ad 作为 θ 拓展为新组件后,一些单词变得由比以前更少的组件组成了。但并非组件越多越好。在图 2.C 的随机统计结果中可以看到,平均增加一个新组件,会使可造词的预期数增加 3.2 倍,增加两个组件则是 1.6 倍,当增加三或更多时,则降得更低了,灰色的虚线曲线显示了所有另外较多组件数组合的结果,没有一个具有优势。

技术如何演化:创新背后的数学递归结构-集智俱乐部       
图2:A. 由组件 a、b、c 、d 组成的10个英语单词。忽略顺序和重复,有1个单词有1种不同的组件,5个单词有2种,4个单词有3种。B. 将一个单词 ad 转换成一个组件θ以扩展组件库,于是一些单词由比以前更少的组件组成了。现在4个单词由一种组件组成,5个有2 种,1个有3种。
C. 随机选择 n 个组件时,平均能制造单词情况。A 是黑色实线,B 是紫色线段。


从乐高游戏和字母组成单词例子我们可以看到的,将正确的组件组合转换为新的组件可以大大增加可制造技术的数量,但是将太多的组合转换为组件会产生相反的效果。




技术创新的数学模型


现在来考虑一般技术组合过程。


任何技术都是由次级技术组件组成。这些组件可能是某项基本技术、一个技术组合或技术模块。

 

对任何技术, 若由 c 个不同组件组成,则称其技术的大小 为 c。组件排列顺序和出现次数无关。例如对单词“ innovation”具有 c = 6 个组件,而不是10 个。

 

假设上帝的“橱柜”中共有 N 个可能的组件。但在任何现存的技术阶段,人只能取到自己“篮子” n(黑体) 中 n 个组件。则包含 n 个技术组件的篮子n 可得技术数量为 p(n)。

 

显然,p(n) 大小取决于篮子中的特定组件成分之间的组合,而非能组合的总量。例如从英文字母 abcde 能获取的单词数,要比最后五个字母要更多。即对 n=5 的两个篮子n1n2,有 p(n1) >  p(n2) 。

 

在篮子中,大小为 c 可制造技术数量用 p(n,c) 表示。例如在 abced 中,目前存在

{cab、bad、bed、cad、dab、deb、ace、bae},故 p(n,c) = 8

 

此外,研究还定义了技术空间的预期大小以及其中技术大小 c 的情况。前者是从上帝的橱柜 N 中取所有大小为 n 可能篮子能产生技术数的平均值。例如在字母表中 abcde、vwxyz…等都是 n = 5 的字母篮子。后者是所有可能篮子中大小为 c 技术 p(n,c) 的平均值。

 

       技术如何演化:创新背后的数学递归结构-集智俱乐部  

     

c 个随机组件产生技术可能大小


在先前工作 [4,8] 中,研究者们证明了对任何两个包含不同组件数 n 和 n' 的技术阶段,例如在 n = 5 和 n' = 4 中,所有可能篮子 c 大小的技术数满足一个精确的恒等式:
        
技术如何演化:创新背后的数学递归结构-集智俱乐部
 

其中分母组合数C(n,c)。两边大小都代表组件数为 c 随机组合成一种技术的可能性大小。


这就是说,假如我们在 26 个英文字母中随机取 5 个字母 4 个字母,那么大小为 c = 3 的单词数的平均值,分别除以二者组合数,两边数值是相等的。

 

组合可用性与模块


在技术组合中,显然包含某些组件组合而成的技术要比其他组合更多。例如在 abcde 大小 c = 3 的单词  {cab、bad、bed、cad、dab、deb、ace、bae} 中,有 4 个单词出现了“ ab”(忽略位置和顺序,包括 ba等),说明包括“ab”组合成的单词比其它更多,即它的组合可用性(Combination usefulness)更高。
 
考虑在某些技术中都有出现、有 k 个组件的某种组合(对 ab,k = 2),称为模块θ。

在论文定义了θ的可用性大小,以及包含θ大小为 c 的技术的可用性大小。
       技术如何演化:创新背后的数学递归结构-集智俱乐部
 
研究者们证明,对任何两个包含不同组件数 n n' 的技术阶段,组合可用性同样满足一个精确的等式:

技术如何演化:创新背后的数学递归结构-集智俱乐部
    


技术递归效应与拓展模块


有了以上基础,我们现在考虑技术递归过程中技术数量变化情况。

 

在方程 (1) 中,等式两边均代表两个不同技术阶段 n' 和 n 中 c 个随机组件产生技术的可能大小。因为作为分母的组合数所以,增加制造新技术的可能,就取决于分子。

 

现在考虑在技术递归中,用一个 k 个组件组成的模块θ替换原有的技术组合 θ。即 θ → θ,则技术新阶段篮子组件大小有:c + k − 1 → c。例如将 ab = θ,则 abcde 变为 θcde。技术递归的效果取决于替换后的关系网络的变化是积极的还是消极的。

 

在论文中,研究者们推导出了应用 θ→θ后可以制造的平均预期技术数的公式:

 

技术如何演化:创新背后的数学递归结构-集智俱乐部

       

其中 x = n / N(在假定非全知和无偏估计下),当应用模块θ后,即从 N 个组件的原始集合中提取的 n 个组件相比,我们可以从更新的 N + 1 个组件中制作更多的技术,则称增加可制造技术数量的组合θ称为一个扩展模块(Expanding module)


技术如何演化:创新背后的数学递归结构-集智俱乐部    

    


技术递归效应:语言、美食与药品

研究者们通过扩展模块理论对实际系统进行了测试,从三个技术领域(domain)展开了研究:语言、美食和药物。
 
  • 在语言中,技术是 38,970 个英语单词,组件是用来生成它们的 26 个英文字母。
  • 在美食中,这些技术是 56,498 种食谱,组件是381 种用来制作的食材和配料。
  • 在药品上,所有技术是已知的 1363 种药物治疗配方,其成分是用于制造它们的 901 种单独药物 [25]。
 
研究者对每个域做了以下实验:随机选择 n 个组件放入创新篮子中,并计算出可以从这些组件中获得多少技术。根据方程(1)和方程(3)计算所有大小为 n 可能篮子的平均值,以及加入大小为 k 的模块 θ 后(组件总数从 N 增加到 N + 1)的平均值。
 
实验结果如图3 显示。研究者们据此对技术模块分布情况得出了一系列重要结论。
      
技术如何演化:创新背后的数学递归结构-集智俱乐部
图3:不同尺寸模块生成的模块数。顶部黑色曲线是 c 个不同组件组合的模块总量,紫色实线是扩展模块数量,红色虚线代表作为完整技术而非部分技术组合的扩展模块数量。
 


扩展模块的组合很稀有


研究者对至少在一种技术中出现过、有 k 个组件的模块 θ 所有可能组合重复进行了实验。k = 2、3、4……对语言和美食测试了所有的 k,但因为服用限制,对药物仅计算了 k ≤ 5。
 
结果发现,这些组合中只有一小部分增加了可制造技术的数量。

对于 k≤5 的所有领域,发现在语言中有 128,413 种字母组合,其中只有 4,426 种是扩展模块;美食中有 65,157,341 种成分组合,有 9,839 种是扩展模块;在药品方面,有 3130 种药物组合,其中有 1381 种是扩展模块。在图 3 可以看到,紫色曲线远远小于代表全部模块的黑色实线。


拓展模块几乎都是完整技术


技术组合理论的前提假设就是,技术不是从零开始构建的,而是现有技术新组合的结果 [1,7]。也就是说,技术组合本身就该是一项完整的技术,而非单纯部分组件的组合。


研究者们通过进一步计算验证了这个假设。结果很显著,在语言、美食和药物三个领域,几乎所有扩展模块都是完整的技术,分别占全部模块的 98.70%、96.88% 和 98.62%。从图 3 中可以看到,代表二者的红色和紫色曲线几乎是重合的。



持续递归的惊人威力


到目前为止,还只是将单次技术递归应用于技术领域研究。如果持续进行技术组合转换、进行多次递归呢?
 
对所有三个领域,研究者们都找到了最佳扩展的配对模块(大小为 k = 2 的模块),并将其应用技术递归,重复这个过程。递归过程进行 20 次后的迭代结果如图4所示。通过这种方式,最终结果现实可制造技术的数量增加了 2 到 28 倍
 
研究者还发现,通常最好的配对模块包括先前形成的配对。这某种程度上说明了最新的技术往往并非全部推倒重来,而是包含之前优秀的技术成果。
       
技术如何演化:创新背后的数学递归结构-集智俱乐部
图4:多次递归将技术转化为组件。对于ABC 每个域,使用最佳配对模块数(大小为 k = 2)应用技术递归。总计重复递归过程 20 次,最终加速可制造技术数量 2~28 倍。 



总结:如何发现新技术?
模块化、相邻可能与环境

正确识别模块:

可能性、递归性、完整性


在任何部件系统的技术集群中,某些样式主题可能会重复出现:部件群组有规律地聚集在一起、或以同种方式相互关联。当这些被识别的主题能够更简洁地描述,或更容易操作时,系统就表现出了模块化[11,12,13]。
 
识别模块的一个挑战是,通常没有客观标准来判断一种主题图式在何时足够规则,以至于可以被单独识别并看做一个模块单元。正如数据分析中充满了欠拟合和过拟合的可能一样,一个由许多部分组成的系统也可能不够模块或过度模块化。极端情况下,每一个重复的主题图式都是一个模块,或没有一种样式主题足够通用到能成为一个模块。
 
这项研究为识别技术中的模块提供了一个客观的标准:如果能增加发现新技术的可能性,那么某个组件的组合就形成了一个新模块。

这样的技术组合虽然很少,但通常具有递归结构:它们具有一定组织化尺度的等级,且随着新技术的发现,这种等级规模会增加 [10] 。并且研究者还发现,技术中的模块本身几乎总是完整技术,而非技术单纯的组件组合。这为新技术是原有技术组合的理论定量支持 [1,7]。
 


转换相邻可能:随机变异、

重新定域、持续递归


技术创新可以被看做是一个不断探索扩大的可能性空间的过程。每个新的组件都以新的方式与我们现有的组件集相结合。

从这个角度来看,技术递归的实质就是,通过将曾经相距很远的区域拉近来改变空间,从而将组件组合成一个新组件。当一项由多个组件组成的技术成为一个单独的组件时,则更容易使该组件来制造新技术:因为现在使用它只需一步之遥,而非所有组件组合所需的多个步骤。
 
这样,技术递归改变了相邻可能(adjacent possible)[14,15] 的地图。创新者,特别是资源有限的创新者,倾向可能性空间附近的技术,因为他可能缺少的部分更少 [16]。

技术如何演化:创新背后的数学递归结构-集智俱乐部
图 5. 相邻可能的图示

“相邻可能”是理论生物学家斯图尔特 · 考夫曼(Stuart Kauffman)在《宇宙为家》(A Home in The Universe)中为解释“原始汤”中生命起源提出的一个概念。新的部件创新——无论是有机分子、DNA、蛋白质、还是更复杂的细胞与生物器官,只有在相邻可能环境中才可能被创造出来。实际上,通过变异遗传与自然选择,可以将整个生命、包括社会文化演化都看成是一条不断地开发和探索新的相邻可能的道路。相邻可能可以解释趋同进化、独立发明、天才为什么扎堆出现以及超前创意为什么往往失败(例如巴贝奇分析机)等自然和文化现象。
 
除了传统改变相邻可能的方式外,如重新对技术重新域定和知识场景迁移等,本项研究的见解提供了一种解决方案,进行恰当的重复技术递归可以最大程度地发现新技术 [17],尤其是结合利用已知技术的动态过程应用技术发现策略[18],可以将制造新技术的可能性提高几个数量级。
 
从图4 实验结果中我们可以看到,对不同技术领域,配对模块数 k = 2 提升创造技术的效率和数量最高,更多配对可以从二元配对中不断生成出来。


技术如何演化:创新背后的数学递归结构-集智俱乐部图 6:语言和美食领域模块配对随着持续递归的不断生成
 
 

新技术塑造自身环境:

长期不可预测性


在技术递归过程中,过程的输出成为同一过程的输入。因此递归过程很难理解,因为它们可以塑目前对人们未知的环境;例如,在创新过程中,不能再像以往进化模型中通常假设的那样,假设环境是恒定的,或缓慢变化的。
 
技术递归的输出,某种潜在的技术,成为用于制造新技术的组件库一部分。因此技术塑造了它们自己的环境:新技术出现的可能性可以被技术本身大大改变。

明年的技术将由今天的技术组成的,两年后的技术同样由明年的技术组成。因此,预测技术发展在不断扩大的组件空间中涉及到大量预测难题,这可以解释技术的长期不可预测性 [19,20]。


药品发现:旧药新用


药物组合治疗是研究者分析的三个领域之一,同时使用多种药物来治疗某种疾病。

然而因为有超过一千种独立可作用药物[25]成分,有大约一百万种可能两成分药物,十亿种三成分药物……等等,因此设计一种新的药物组合是极为困难的。
 
虽然存在一些经验规律,例如药物往往会在成功的疗效中同时出现,从而减少了可能空间,但药物组合治疗依然缺乏系统的设计原则 [21] [24]。
 
利用本项研究的洞察,制药公司可以通过战略性地重新定义药品组件库,将现有药物和药物疗法纳入其中,从而增加获得新药和药物组合疗法的机会 [22,23]。这类似于在语言中,音素会比字母更能成功地构成单词。协同制药公司持有的积极或消极效果疗效库,这将导致更高的药品发现命中率和更少试验浪费。
 
实际上,这种药物研发过程被称为“药物再利用”(drug repurposing),从现成的药品上重新发掘出新疗效、新作用,用来治疗其他类型的病,可以极大减少药物的研发时间和降低成本,尤其是药物风险也低得多,因为现有的药品本身都通过了测试,且被人们使用了多年,安全性有很大保障[25]。

由此可见,基于各行业经验,技术组合创新策略其实早已经被各个行业潜移默化地应用在产品实践中。


毫无疑问,本项研究进一步证实了布莱恩·阿瑟对技术本质和演化的洞察。另一方面也区别出与绝大多数理论家的不同:它超出了纯粹理论的范畴,通过对技术创新演化的数学模型的把握,同样能够成为一种应用对到技术本身的研发和管理技术。

并不出人意外,技术的本质,必然同样是技术的实践,这很符合技术的本质。



相关文献:  

[1] W. B. Arthur, The Nature of Technology: What It Is and How It Evolves (Penguin, London, 2010)

[2] H. Youn, D. Strumsky, L. Bettencourt, J. Lobo, Invention as a combinatorial process: evidence from US patents, J Roy Soc Interface44, 0272 (2015).

[3] T. Fink, M. Reeves, R. Palma, R. Farr, Serendipity and strategy in rapid innovation, Nat Commun 8, 2002 (2017).

[4] T. M. A. Fink, M. Reeves, How much can we influence the rate of innovation?, Science Advances 5, eaat6107 (2019).

[5] T. E. Stuart, J. M. Podolny, Local search and the evolution of technological capabilities, Strateg Manage J 17,21 (1996).

[6] L. Fleming, Recombinant uncertainty in technological search, Management Sci 47, 117 (2001).

[7] W. B. Arthur, The structure of invention, Res Policy 36, 274 (2007).

[8] M. Reeves, T. Fink, Harnessing the secret structure of innovation, MIT Sloan Manag Rev 37, 59 (2017)

[9] Y. Liu et al., DCDB 2.0: a major update of the drug combination database, Database 2014, bau124 (2014)

[10] R. N. Langlois, Modulay in technology and organization J Econ Behav Organ 49 1937 (2002).

[11] K. B. Clark, C. Baldwin Design Rules: The Power of Modularity (MIT Press, Cambridge, 2000)

[12] C. Hidalgo, R. Hausmann, The buildings blocks of economic complexity, Proc Natl Acad Sci 106, 10570 (2009).

[13] M. Christelli et al., A metrics for the economic complexity of countries and products, PLOS ONE 8, e70726 (2013).

[14] F. Tria et al., The dynamics of correlated novelties, Sci Rep 4, 5890 (2014).

[15] V. Loreto, V. Servedio, S. Strogatz, F. Tria, Dynamics on expanding spaces: Modeling the emergence of novelties, Creativity and Universality in Language, (2016).

[16] I. Iacopini, S. Milojevi´ c, V. Latora, Network dynamics of innovation processes, Phys Rev Lett 120, 048301 (2018).

[17] D. Rotolo, D. Hicks, B. R. Martin, What is an emerging technology?, Res Policy 44, 1827 (2015).

[18] W. B. Arthur, W. Polak, The evolution of technology within a simple com- puter model, Complexity 11, (2006).

[19] T. Felin, S. Kauffman, R. Koppl, G. Longo, Economic opportunity and evo- lution: Beyond landscapes and bounded rationality,Strateg Entrep J 8, 269 (2014).

[20] J. D. Farmer, F. Lafond, How predictable is technological progress?, Res Policy 45, 647 (2016).

[21] Y. Liu et al., DCDB 2.0: a major update of the drug combination database, Database 2014, bau124 (2014).

[22] D. Verhoeven, J. Bakker, R. Veugelers, Measuring technological novelty with patent-based indicators, Research Policy 45, 707 (2016).

[23] D. Strumsky, J. Lobo, Identifying the sources of technological novelty in the process of invention, Research Policy 44, 1445 (2015).

[24] J. Hunter, S. Stephens , Is open innovation the way forward for big pharma?, Nat Rev Drug Discov 9, 87 (2010).

[25] Drug repurposing: progress, challenges and recommendations,https://www.nature.com/articles/nrd.2018.168



(参考文献可上下滑动)

作者:十三维
编辑:张爽


技术如何演化:创新背后的数学递归结构-集智俱乐部

【购书赠扑克】技术的本质:技术是什么,它是如何进化的 | 布莱恩·阿瑟


技术如何演化:创新背后的数学递归结构-集智俱乐部

△ 购买《技术的本质》赠送复杂性科学知识卡片△ 


推荐阅读


深度学习首次验证进化数学模型:趋同演化增加生物多样性

怎样不在朋友圈浪费时间?数学模型给你答案

洞察谜题 : 用简单的数学模型探索复杂的因果关系

人类不平等的起源:为什么每一次技术变革都加剧了贫富分化

加入集智,一起复杂!




技术如何演化:创新背后的数学递归结构-集智俱乐部


集智俱乐部QQ群|877391004

商务合作及投稿转载|swarma@swarma.org

◆ ◆ 

搜索公众号:集智俱乐部


加入“没有围墙的研究所”

技术如何演化:创新背后的数学递归结构-集智俱乐部

让苹果砸得更猛烈些吧!

本篇文章来源于微信公众号:集智俱乐部