《ArtificialIntuition》读书笔记下创造一种新的语言
在上一篇相关的推送中,谈论了深度学习为什么说传统的机器学习有着显著的不同,为什么深度学习不是传统机器学习方法的小修小改,而是一个全新的物种,关键词是自组织,动态和负反馈(GAN中的猫鼠游戏,探索与利用的权衡),在下半部分,将要谈谈深度学习能够怎样帮助人们提高生产力,不止是更高的效率,更多的闲暇,还有全新的生产方式。
迁移学习,尤其是不同领域间的迁移学习(例如将一个能把英语翻译成法语的网络迁移到英语翻译汉语上)做到极致,就会使模型具有模块化U盘化的特点,即插即用,还可以相互组合相互制约。而模型的目地是创造对真实世界有用的简化,从而使得人们能更好的认知外界。人类上一个符合这里描述的发明是文字,再上一个是语言。正是语言,使我们能够将知识隔代传递。而深度学习训练出的模型,其意义等同于创造了一种新的语言。
文字是为了解决口语无法准确的做到隔代传播而被发明的。而深度学习要解决的是文字难以大范围的即时传播的问题。为了理解这个问题,你可以回想你看一本书时,每个字都认识却连起来看不懂的感觉。这种情况下,你至少知道你自己看不懂,更多的时候,你以为你看懂了,但实际上却只看到了作者文字的皮毛。认知心理学家Leonid Rozenblit将其称为illusion of explanatory depth,在这之后,一个个实验都证实了不管在什么话题的文章中,读者都无法抓住文章的全部知识点和细节。不用做什么实验,只需要想想从小到大做的阅读理解,不管是高考英语还是GRE的阅读,要拿满分那有那么容易。
那这个微观层面的问题在人类这个群体的宏观上有什么影响了?文字使我们能够保留上一代人新创造的知识50%,剩下的由于来不及写下来丢失了,印刷机的普及使这个比例增加到了90%,而互联网的普及使得这个比例增加到了99.99%,可问题是在文字稀少的年代,人们有大把的时间阅读,理解的比例是99.99%,但如今认知过载的年代,理解的比例却只剩下了不到50%。如此一来,知识的积累效率反而比不上文字发明前的水平了。
与illusion of explanatory depth对等的一个概念叫知识的诅咒。说的是具有专业知识的人,无法意识到自己说的习以为常的东西对于行外人来说,无异于天书一般。如果能有一个APP,能够根据讲解的对象,自动的给出提出预警,告诉讲解者这里使用了未经解释的术语,那里的逻辑有些跳跃,这同样有助于信息的传递。
这就是深度学习能够帮助人类的第一个领域,去在屏幕(其他人)和我们的大脑之间构建一个便捷的接口(interface)。不止是优质信息的筛选,相关背景知识的提供,更关键的是保证阅读者真的读懂了这篇文章,讲解者提供了所需的全部信息。接下来让我们开开脑洞,具体的谈论些可能的应用场景。
Wiki上有一个认知谬误的列表(https://en.wikipedia.org/wiki/List_of_cognitive_biases),我觉得很有用,可以帮助自己在思考的时候检查有没有犯错。但如果有一个算法,能够自动检查文章中的逻辑错误,就像word会在语法错误下划线那样,那就更好了。另一个应用场景是在阅读中预测那些部分你阅读起来会有困难,然后给出相关的信息。预测的依据可以是之前的阅读记录,其他类似读者的反馈,当前阅读时的眼动信息,甚至还可以通过脑机接口,拿到你阅读时是否感到困惑和好奇的信息。而第三种应用场景是信息汇总,比如金融数据的自动摘要生成,医疗案例的结构化提取,这两项都是已经相当成熟的应用。
以上谈的是深度学习如何帮助人类提高生产力的第一种方式,缓解认知过载,避免认知偏差。相比于改进式的提升,接下来要说的会是革命性的。不止是因为人类的认知受制于大脑的内存容量和运行速度有限,也容易受到情感的干扰,还因为人类的认知是基于自身的。我们已经看到AI生成新知识的例子包括AI教会顶级的围棋和象棋选手新的下法,通过GAN来合成新药,用AI来做数学证明。但为什么会有这样的成功了,这里给出一种直觉的解释,即深度学习创造全新的词汇。
正如对于百万和千万这样的大数字,人们缺少直觉性的认识。对于过于细节的概念,人类的认知也会是无能为力的。人能够总结的概念受制于人的直接体验。比如之前的教育学研究,将学习者分成视觉型和听觉型,但这个分类,显然是不够精细,但要再分的细致,却不是更多的研究就可以的,这面临人类具身认知的一个局限。但AI拿到了更多的数据,就可以进行更细的分类,不会存在一个上线。深度学习可以通过越来越深的网络创造出越来越细分的概念,再通过细分概念间的组合创造出全新的分类方式。就如同精准医疗需要AI将病人分成不同的类别,未来的教育,扶贫,都可以借力AI,针对每一个人给出个性化的建议来。通过将人群细分,带来的生产力的进步以及个人幸福感的提升,将远远超过当前已出现的深度学习应用能带来的效果。
那在未来,有那种思维方式是人工智能无法取代的了?答案是反事实的思考。监督学习能够做关联,强化学习能够进行有目的的干预。但目前只有人能够问如果她不爱我,那她为什么会多看我一眼这样的问题。反事实的问题不止让人类可以计划未来,具有比AI更大的自主性,还可以让人类更方便的协作,具有比所有AI都强的多的社会智能和合作能力。
上述思考中用隐藏着用到的,是评价智能的三个维度。分别是自主性,社会性和计算性高效性,人类个体是在三个维度上都表现的很高的,而当前的人工智能,大多只在计算高效这一个维度上接近了人类的水平。而在科幻小说和电影中,则大多描述了在自主性上和人类比肩的机器人,在像机器人总动员中,则出现了社会智能超群的超级AI。
关于《artificial intuition》这本书,书中精华的内容还有很多,这本书光参考文献列表就有几十页厚,其中给出了很多值得细读的论文。这里只摘取了书中的部分精华内容,结合自己的理解,给出了粗浅的演绎。由于我买的是纸质书,因此没法提供书中的精细的插图。这里只列出书开篇的图,是深度学习的一个知识点的树状展开图。
更多阅读