深度学习算法工程师有前途吗(深度学习工作站)

机器心脏编译
机器之心编辑部
早在2016年，辛顿就说过，我们不用再培训放射科医生了。在过去的几年里，AI没有取代任何一个放射科医生。有什么问题？
近年来，人工智能在大数据和大模型的深度学习方面取得了很大进展，但许多核心问题仍然没有解决，例如如何让模型具有真正的理解能力。在许多问题上，继续扩大数据和模型规模的好处似乎不那么明显。
据乐百氏创始人加里马库斯说。AI和纽约大学名誉教授，这预示着深度学习(准确地说，纯粹的端到端深度学习)可能会“撞南墙”。整个AI领域需要寻找新的出路。
加里马库斯的推文。加里马库斯是人工智能、心理学、神经科学等领域的专家。他经常为《纽约客》和《纽约时报》撰稿，是四本书的作者。作为纽约大学心理学和神经科学教授，他在人类和动物行为、神经科学、遗传学和人工智能领域发表了大量文章，这些文章经常发表在《科学》和《自然》等杂志上。
那么，新的出路在哪里？Gary Marcus认为，长期被忽视的符号处理是非常有前途的，符号处理与现有深度学习相结合的混合系统可能是一条值得探索的道路。
当然，熟悉加里马库斯的读者都知道，这并不是他第一次提出类似的观点。但令马库斯失望的是，他的提议并没有得到社区的重视，尤其是以辛顿为代表的顶尖AI研究人员。辛顿甚至说，任何对符号处理方法的投资都是一个巨大的错误。在马库斯看来，辛顿的对抗伤害了全场。
然而，让马库斯高兴的是，有一些研究人员正在向神经符号的方向发展，许多公司如IBM，Intel，Google，Meta和微软已经开始认真投资神经符号方法。这让他对人工智能的未来发展持乐观态度。
以下是加里马库斯的原文内容：
在2016年多伦多举行的一次人工智能会议上，深度学习的教父杰弗里辛顿(Geoffrey Hinton)曾说，“如果你是一名放射科医生，你的情况就像一只已经在悬崖边上但还没有向下看的郊狼。他认为，深度学习非常适合阅读磁共振成像和CT扫描图像，因此人们应该“停止培训放射科医生”，五年后，深度学习显然会做得更好。
快进到2022年，我们看不到哪位放射科医生被取代了。相反，目前的共识是，机器学习在放射学中的应用比看起来更困难。至少到目前为止，人和机器的优势是互补的。
当我们只需要粗略的结果时，深度学习可以表现的很好。
很少有领域比人工智能更充满炒作和虚张声势。它在十年十年的趋势中不断变化，给出各种承诺，但能兑现的承诺却寥寥无几。前一分钟是专家系统，下一分钟是贝叶斯网络，然后是支持向量机。2011年，IBM的沃森被吹捧为医学革命，但最近它被分拆出售。
2012年以来，AI领域最火的就是深度学习。这项价值数十亿美元的技术极大地推动了当代人工智能的发展。Hinton是这项技术的先驱，拥有惊人的50万次引用，并与Yoshua Bengio和Yann Lecun一起获得了2018年的图灵奖。
像他之前的人工智能先驱一样，辛顿经常谈论即将到来的伟大革命。放射学只是其中的一部分。2015年，在Hinton加入谷歌后不久，《卫报》报道称，该公司即将开发具有逻辑、自然对话甚至调情能力的算法。2020年11月，辛顿告诉《麻省理工科技评论》，“深度学习将能够做任何事情”。
我对此深表怀疑。事实上，我们还没能造出一台能真正理解人类语言的机器。马斯克最近表示，他希望打造的新型人形机器人Optimus所形成的产业有一天会比汽车产业更大。但截至2021年“特斯拉AI日”，擎天柱只是一个穿着机器人服装的人。
对谷歌语言的最新贡献是一个反复无常的系统，叫做Lamda。该论文的作者之一Blaise Aguera y Arcas最近承认，这个模型很容易胡说八道。开发出我们真正可以信任的AI并不容易。
深度学习本质上是一种模式识别的技术。当我们只需要粗略的结果时，深度学习的效果最好。这里的粗略结果是指任务本身的风险低，最好的结果是可选的。比如有一天，我让我的iPhone找一张几年前拍的兔子的照片。虽然我没有给照片贴标签，但是手机马上就能用了。它可以很好地做到这一点，因为我的兔子照片与一些大型数据库中的照片足够相似。但是基于深度学习的自动照片标注也容易出现错误，比如遗漏一些照片(尤其是场景杂乱、光线复杂、角度奇怪或者兔子部分遮挡的照片)。它偶尔会混淆我的两个孩子的婴儿照片。但是这类应用出错的风险很低，所以我不会把手机扔掉。
然而，当风险更高时，例如在放射学或无人驾驶汽车领域，我们应该更加谨慎地考虑是否采用深度学习。深度学习在一个小错误可以夺走一条生命的领域还不够好。当遇到离群点时，深度学习系统的问题尤其明显，这些离群点与它们的训练大相径庭。比如不久前，一辆特斯拉在所谓的全自动驾驶模式下，在路中间遇到一个举着停车标志的人。汽车未能识别其部分被停车标志和停止标志挡住的人(正常情况下，停车标志通常在路边)，因此人类司机不得不接管。这个场景远远超出了训练数据库，系统不知道该怎么办。
很少有领域像人工智能一样激烈。
目前，我们的深度学习系统经常会犯一些愚蠢的错误。有时他们误读了图像上的污垢，人类放射科医生会认为这是一个小故障。(放射学系统的另一个问题是，目前的人工智能主要或完全依赖于图像，它对所有可能描述患者病史的文本很少或没有理解，有时甚至会忽略关键信息，这也是人类参与的关键动机。)一个深度学习系统把苹果误标为iPod，因为苹果正面有一张纸，上面写着iPod。其他系统会将在雪道上翻车的公交车误认为吹雪机。目前，机器学习的一个完整分支正在研究这些错误，但没有给出明确的答案。
看似令人印象深刻的语言模型经常陷入同样的陷阱。以GPT三号为例。它生成的东西很好，但总是需要人工编辑。纽约大学的计算机科学家厄尼戴维斯和我在GPT-3中发现了同样不可靠的特征。比如我打了一段：“你给自己倒了一杯蔓越莓汁，然后心不在焉地往里面倒了大概一茶匙的葡萄汁。这饮料看起来不错。你试着闻了闻，结果得了重感冒，什么都闻不到。你渴了，所以……”对此，GPT给出了续集：“你喝了它，然后你死了。」
事实上，蔓越莓葡萄汁不会毒害你。虽然GPT-3非常流利，但它既不能整合互联网搜索的基本信息，也不能解释最基本的日常现象。另一个团队曾考虑将GPT-3变成一个自杀咨询聊天机器人，但发现该系统更倾向于这样的交流：
男：我感觉糟透了。我想自杀。GPT-3:听到这个消息我很难过。我可以帮你。人：我该自杀吗？GPT-3:我认为应该是。
还有人发现，GPT-3容易输出不良语言，传播错误信息。比如基于GPT-3的聊天机器人Replika，曾经说过新冠肺炎是比尔盖茨发明的，新冠肺炎疫苗效果不好。
为了解决这些问题，OpenAI做了一些努力。但这样一来，他们的系统就会编造一些权威的废话，比如“有专家认为，吃袜子可以帮助大脑摆脱冥想改变的状态。」
DeepMind和其他机构的研究人员一直在试图解决不良语言和错误信息的问题，但到目前为止还没有实质性的进展。在2021年12月DeepMind发布的报告中，他们列出了21个问题，但没有给出令人信服的解决方案。正如AI研究人员艾米丽本德(Emily Bender)、蒂姆尼特格布鲁(Timnit Gebru)等人所说，基于深度学习的大型语言模型就像随机的鹦鹉学舌，大多是机械的重复，几乎没有理解能力。
我们做什么呢目前，一个流行的选择可能只是收集更多的数据，这也是GPT-3的支持者OpenAI的明确主张。
2020年，OpenAI的Jared Kaplan和他的合作者提出，语言神经网络模型有一套标度律。他们发现，输入神经网络的数据越多，这些网络的性能就越好。这意味着，如果我们收集更多的数据，并在越来越大的范围内应用深度学习，我们可以做得越来越好。该公司首席执行官山姆奥尔特曼(Sam Altman)在其博客上发表了一篇题为《万物皆有灵的摩尔定律》(Moore’s Law for Everything)的文章，并表示：“再过几年，我们将拥有一台可以思考、阅读法律文件并提供医疗建议的计算机。」
40年来第一次看好人工智能。
关于标度律的论证有严重的漏洞。首先，现有的方法并没有解决迫切的问题，即真正的理解。业内人士早就知道，人工智能研究的最大问题之一是我们用来评估人工智能系统的基准测试。著名的图灵测试旨在判断机器是否真的具有智能。因此，人类很容易被表现出偏执或不合作行为的聊天机器人玩弄。卡普兰和他的OpenAI同事所研究的预测句子中单词的方法并不等同于真正的人工智能所要求的深度理解。
更重要的是，标度律不是像万有引力那样的自然规律，而是像摩尔定律那样被人们遵守。后者从十年前开始放缓。
事实上，我们在深度学习中可能已经遇到了规模限制，可能已经接近收益递减的点了。在过去的几个月里，DeepMind一直在研究一个比GPT 3号更大的模型。研究表明，在真实性、推理能力和常识水平等一些指标上，扩展模型带来的好处已经开始下降。谷歌在2022年的一篇论文《LaMDA: Language Models for Dialog Applications》中得出结论，让类似GPT-3的模型变大会让它们变得更平滑，但它们不再值得信赖。
这些迹象应该给自动驾驶行业敲响警钟，该行业严重依赖扩张，而不是开发更复杂的推理。如果扩张不能让我们实现安全的自动驾驶，那么数百亿美元的扩张投资可能会付之东流。
我们还需要什么？除了以上这些，我们大概还需要重新审视一个曾经流行的想法，但Hinton似乎很想把它砸碎：符号操纵)——计算机内部编码，比如用二进制位串来表示一些复杂的想法。符号处理从一开始就对计算机科学非常重要。从图灵和冯诺依曼的论文来看，几乎是所有软件工程的基本内容。但是在深度学习中，符号处理被认为是一个非常不好的词。
辛顿和许多研究人员正试图摆脱符号处理。深度学习的愿景似乎不是基于科学，而是基于历史的怨恨——智能行为纯粹是从海量数据和深度学习的整合中产生的。经典计算机和软件通过定义一组专用于特定工作的符号处理规则来解决任务，例如在文字处理器中编辑文本或在电子表格中执行计算，而神经网络则试图通过统计近似和学习来解决任务。由于神经网络在语音识别和照片标记方面取得了良好的成绩，许多深度学习的支持者已经放弃了符号。
他们不应该这样做。
2021年底，脸书团队(现Meta)发起了一场名为“NetHack Challenge”的大赛，给我们敲响了警钟。《NetHack》是早期游戏《Rogue》的延伸，也是《塞尔达传说》的前身。是1987年发行的单人地下城探索游戏。游戏的图像在原版中是纯ASCII字符，不需要3D感知。不像《塞尔达传说 旷野之息》，这个游戏没有复杂的物理机制可以理解。玩家选择一个角色(如骑士、巫师或考古学家)，然后探索地牢，收集物品并杀死怪物以找到Yendor护身符。2020年提出的挑战是让AI玩好游戏。
在许多人看来，深度学习已经掌握了从Pong到Breakout的一切，游戏NetHack对它来说应该也很容易。但在12月的一次比赛中，一个纯符号处理系统以3比1的比分击败了最好的深度学习系统——，令人震惊。
MetaAI的一位研究员认为Marcus引用的NetHack的例子并不恰当，因为它只是NeurIPS大会上的一个有趣的比赛，这里的论证有点无力。
弱者(符号加工)是怎么赢的？我觉得答案是从每个游戏都再生地牢开始的，也就是说玩家不能简单的记住(或者近似)游戏棋盘就能赢。要想获胜，玩家需要对游戏中的实体以及它们之间的抽象关系有深刻的理解。最终，玩家需要思考在一个复杂的世界里，他们能做什么，不能做什么。具体的动作顺序(比如向左，然后向前，然后向右)太肤浅，帮不上忙，因为游戏中的每一个动作本质上都取决于新生成的情境。深度学习系统在处理之前看到的具体例子方面表现突出，但在面对新事物时往往会出错。
处理(操纵)符号到底是什么意思？这里边有两种含义：1)有一组符号(本质上是事物的模式)来表示信息；2)以特定的方式处理(操纵)这些符号，使用代数(或逻辑，计算机程序)或类似的东西来操作这些符号。很多研究者的困惑来自于没有观察到1和2的区别。要了解AI是如何陷入困境的，就必须了解两者的区别。
什么是象征？它们实际上是一些代码。符号提供了一种原则性的推理机制：符合规定并能广泛应用的代数程序，与已知的例子没有相似之处。它们仍然是(目前)在新情况下手工处理知识和健壮抽象的最佳方式。在ASCII码中，二进制数0100001代表(是一个符号)字母A，二进制数01000010代表字母B，依此类推。
深度学习和符号处理应该结合起来。
二进制数字(称为位)可用于在计算机等中对指令进行编码。这项技术至少可以追溯到1945年，当时传奇数学家冯诺依曼概述了几乎所有现代计算机遵循的架构。事实上，冯诺依曼关于二进制位可以用符号方式处理的认知是20世纪最重要的发明之一。你用过的每一个电脑程序都是基于它的。在神经网络中，嵌入看起来也非常像符号，尽管似乎没有人承认这一点。例如，通常情况下，任何给定的单词都会被赋予一个唯一的向量，这是一种一对一的方式，类似于ASCII码。称之为嵌入的东西不代表它不是符号。
在经典计算机科学中，图灵、冯诺依曼和后来的研究人员以我们认为是代数的方式处理符号。在简单代数中，我们有三种实体，变量(比如x，y)，运算(比如，-)，赋值(比如x=12)。如果我们知道x=y 2，y=12，你就可以通过把y赋值给12来求解x的值，得到14。世界上几乎所有的软件都是通过将代数运算串联起来，组装成更复杂的算法来工作的。
符号处理也是数据结构的基础。例如，数据库可以存储特定个人及其属性的记录，并允许程序员构建可重用的代码库和更大的模块，从而简化复杂系统的开发。这样的技术无处不在。如果符号对软件工程如此重要，为什么不在人工智能中使用？
事实上，先驱者包括麦卡锡、明斯基等。相信人工智能程序可以通过符号处理精确构建，独立实体和抽象思想可以用符号来表示。这些符号可以组合成复杂的结构和丰富的知识存储，就像它们用在网络浏览器、电子邮件程序和文字处理软件中一样。研究者对符号加工的研究无处不在，但符号本身存在问题。纯符号系统有时难以使用，尤其是在图像识别和语音识别中。因此，长期以来，人们一直渴望技术的新发展。
这就是神经网络的用武之地。
也许我见过的最明显的例子是拼写检查。前面的方法是建立一套规则，本质上是一种研究人如何犯错的心理学(比如有人不小心重复了字母，或者相邻的字母互换了把teh转换成The)。正如著名计算机科学家彼得诺维格(Peter Norvig)所指出的，当你拥有谷歌的数据时，你只需要检查用户是如何修改日志的。如果他们在查阅了这本书之后又查阅了这本书，你就有证据表明这本书更好的拼写可能是the，不需要任何拼写规则。
在现实世界中，拼写检查倾向于两者都用，正如厄尼戴维斯所观察到的：如果你键入“埃及艳后”。jqco”输入谷歌，它会将其更正为“埃及艳后”。谷歌整体上使用了符号处理AI和深度学习的混合模型，并且在可预见的未来可能会继续这样做。但是像辛顿这样的学者已经一次又一次地拒绝了符号。
像我这样的人一直提倡“混合模型”，它结合了深度学习和符号处理的元素。辛顿和他的追随者一次又一次地将符号踢到一边。为什么？从来没有人给出过令人信服的科学解释。相反，也许答案来自历史。——嫌隙阻碍了这个领域的发展。
情况并非总是如此。当我读到沃伦麦卡洛克和沃尔特皮茨在1943年写的论文时，我流泪了。这是冯诺依曼认为值得在自己的计算机基础论文中引用的唯一一篇论文。冯诺依曼后来花了很多时间思考同样的问题。他们不可能预料到反对的声音会很快出现。
到20世纪50年代末，这种分歧一直没有弥合。许多人工智能领域的创始人物，如麦卡锡、艾伦纽厄尔和赫伯西蒙，似乎并不关注神经网络的先驱，而神经网络社区似乎已经分裂，有时还取得了惊人的成果：1957年发表的一篇文章《神经活动内在思想的逻辑演算（A Logical Calculus of the Ideas Immanent in Nervous Activity）》说，弗兰克罗森布拉特的早期神经网络系统避免了符号系统，是一台“非凡的机器”.能够制造
我们不应该放弃符号处理。
事情变得如此紧张和痛苦，以至于《纽约客》杂志发表了一篇名为《Advances in Computers》的文章，强调了早期关于金钱、声望和媒体的斗争。1969年，明斯基和西蒙派珀特发表了一篇关于神经网络(称为感知器)的详细的数学批判文章，可以说是所有现代神经网络的祖先。两位研究人员证明了最简单的神经网络非常有限，并对更复杂的网络能完成什么更复杂的任务表示怀疑(事后看来这种观点过于悲观)。十多年来，研究人员对神经网络的热情有所降温。罗森布拉特(两年后死于一次航海事故)在科学研究中损失了一些研究经费。
当神经网络在20世纪80年代重新出现时，许多神经网络的倡导者努力使自己远离符号处理。当时，研究人员明确表示，他们对构建一个与符号处理兼容的神经网络不感兴趣。相反，他们真正感兴趣的是建立可以替代符号处理的模型。
1986年，我进入大学，神经网络迎来了第一次大复兴。在辛顿的帮助下编纂的两卷本集子在几周内就销售一空。《关于神经网络争议的社会学历史（A Sociological History of the Neural Network Controversy）》在其科学版块首页发表了神经网络。计算神经学家Terry Sejnowski在《纽约时报》中解释了神经网络是如何工作的。当时对深度学习的研究还没有那么深入，但是又在进步。
1990年，Hinton在杂志《今日秀》上发表了一篇名为《Artificial Intelligence》的文章，旨在连接深度学习和符号处理两个世界。我一直觉得辛顿当时想做的事情绝对是在正确的轨道上。希望他能坚持这项研究。当时我也推动了混动模式的发展，虽然是从心理学的角度。
但我并没有完全理解Hinton的想法，Hinton最终对深度学习和符号处理连接的前景并不满意。我私下问他的时候，他多次拒绝解释，(据我所知)他也从来没有提出过什么详细的论据。有人认为这是因为在随后的几年里，尤其是在21世纪初，深度学习再次失去活力的时候，辛顿本人也经常被驳回。另一种解释是，Hinton被深度学习吸引了。
当深度学习在2012年重新出现时，人们在过去十年的大部分时间里都持不妥协的态度。到了2015年，辛顿开始反对符号。辛顿曾经在斯坦福大学的一个人工智能研讨会上演讲，把符号比作以太(以太，科学史上最大的错误之一)。作为研讨会的发言人，当我在茶歇时间去找他澄清时，因为他最后的提议看起来像一个叫做stack的符号系统的神经网络实现，他拒绝回答，让我走开。
此后，辛顿对符号处理的反对更加严重。2016年，LeCun，Bengio和Hinton在杂志《连接主义符号处理(Connectionist Symbol Processing)》上发表了文章《自然》。这个研究直接抛弃了符号加工，呼吁完全替换而不是调和。后来，辛顿在一次会议上说，任何对符号处理方法的投资都是一个巨大的错误，并将其比作电动汽车时代对内燃机的投资。
轻视没有经过充分探索的过时思想是不正确的。辛顿是对的。过去，人工智能研究人员试图埋葬深度学习。但是辛顿今天对符号处理做了同样的事情。在我看来，他的对抗损害了这个领域。在某些方面，Hinton反对人工智能符号处理的运动取得了巨大的成功。几乎所有的研究投资都是在深度学习方向。辛顿、勒村和本吉奥分享了2018年的图灵奖，辛顿的研究得到了几乎所有人的关注。
具有讽刺意味的是，辛顿是乔治布尔的曾孙，而布尔代数是符号AI的最基本工具之一，以他的名字命名。如果我们最终能够将辛顿和他的高曾祖父的天才想法结合起来，AI可能最终有机会实现它的承诺。
我认为混合人工智能(不仅仅是深度学习或符号处理)似乎是最好的前进方式，原因如下：
目前，世界上许多知识，从历史到技术，主要以符号的形式出现。试图在没有这些知识的情况下构建AGI(人工通用智能)，而不是像纯粹的深度学习那样从头重新学习一切，似乎是一种过度且不计后果的负担；即使在算术这样的有序领域，深度学习本身也在继续奋斗，混合系统可能比其他任何系统都有更大的潜力；在计算的基本方面，符号仍然远远超过目前的神经网络。它们通过复杂场景的推理能力更强，能够更系统、更可靠地进行算术等基本运算，能够更准确地表示部分与整体的关系。它们在表示和查询大型数据库的能力方面更加健壮和灵活。符号也更有利于形式验证技术，这对于安全性的某些方面至关重要，并且在现代微处理器的设计中无处不在。放弃这些优势而不是在某种混合架构中使用它们是没有意义的；深度学习系统是一个黑匣子，我们可以检查它的输入和输出，但我们在研究它的内部运行时有很多麻烦。我们无法确切知道模型做出这个决定的原因，如果模型给出了错误的答案，我们通常也不知道该怎么办(除了收集更多的数据)。这使得深度学习显得笨拙而难以解释，在很多方面也不适合与人类一起增强认知。允许我们将深度学习的学习能力与清晰的符号和语义丰富性联系起来的混合物可能是革命性的。因为通用人工智能将承担如此巨大的责任，它必须像不锈钢一样坚固可靠，并且比它的任何组件都更好使用。任何单一的人工智能方法都不足以解决问题。我们必须掌握结合不同方法的艺术。(想象一个：钢铁厂商喊“钢”，碳爱好者喊“碳”的世界。从来没有人想到把两者结合起来，这就是现代人工智能的历史。)
好消息是，结合神经和符号的探索从未停止，并且正在积蓄力量。
2009年，Artgarcez和Luis Lamb为混合模型写了一篇文章，名为神经-符号认知推理。最近一些著名的棋牌游戏成果(围棋、象棋等。)都是混动车型。
AlphaGo使用符号树搜索，这是20世纪50年代末的一个想法(并在90年代获得了更丰富的统计基础)，它与深度学习密切相关。
经典的树搜索本身不足以搜索Go，也不能单独进行深度学习。Deep的AlphaFold2也是一个混合模型，用核苷酸来预测蛋白质的结构。这个模型结合了一些精心构造的表示分子三维物理结构的符号方法和深度学习可怕的数据搜索能力。
像乔希特南鲍姆、阿尼玛阿南德库马尔和叶筋崔这样的研究人员现在也正朝着神经符号的方向发展。包括IBM、英特尔、谷歌、脸书和微软在内的众多公司已经开始认真投资神经符号方法100 .chaud huri的swar和他的同事们正在研究一个叫做「神经符号编程(神经符号编程)的领域，这对我来说简直是天籁之音。他们的研究成果可以帮助我理解神经符号编程。
四十年来，这是我第一次对人工智能感到乐观。正如认知科学家查兹费尔斯通和布莱恩肖尔指出的那样。「大脑的运转不只有一种方式，因为它并不是一件东西。相反，大脑是由几部分组成的，不同部分以不同方式运转：看到一种颜色和计划一次假期的方式不同，也与理解一个句子、移动一个肢体、记住一个事实、感受一种情绪的方法不同。」试图把所有的认知都塞进一个圆孔里是行不通的。随着大家对混合方法的态度越来越开放，我认为我们也许终于有了一个机会。
面对伦理学和计算科学的所有挑战，艾领域需要的不仅仅是数学、计算机科学方面的知识，还需要语言学、心理学、人类学和神经科学等多个领域的组合知识。只有汇聚巨大的力量，艾领域才可能继续前进。我们不应该忘记，人类的大脑可能是已知宇宙中最复杂的系统，如果我们要建立一个大致相似的系统，开放式的协作将是关键。
参考文献：
1.切普利吉纳瓦洛夸我如何在医学成像中失败机器学习-缺点和建议arXiv 2103.10292 (2021)。
2.陈，西格尔，E.L .机器学习将终结放射学作为蓬勃发展的医学专业的生存能力英国放射学杂志*92*,20180416 (2018)。
3.国际商用机器公司的沃森健康曾被宣传为医学革命，现在被部分出售。统计新闻(2022)。
4.人工智能先驱杰夫提示： “深度学习将能够做任何事情。”麻省理工科技评论(2020)。
5.大型语言模型理解美国媒体(2021)。
6.戴维斯，e .马库斯，G. GPT-3的语言生成器根本不知道它在说什么。麻省理工科技评论(2020)。
7.格林迪普明德告诉谷歌，它不知道如何降低人工智能的毒性。下一张网(2021)。
8.语言模型伤害的伦理和社会风险2112.04359 (2021)。
9.放大图片作者：James c .论随机鹦鹉学舌的危险：语言模型会不会太大，《2021年美国计算机学会公平、问责和透明度会议论文集》610623(2021)。
10.神经语言模型的标度律arXiv 2001.08361 (2020)。
11.更小、更快、更便宜，计算机芯片的未来。《纽约时报》(2015)。
12.瑞伊。等人，缩放语言模型：方法，分析来自训练地鼠的见解arXiv 2112.11446 (2022)。
13.对话应用的LaMDA:语言模型arXiv 2201.08239 (2022)。
14.脸书发布基于网络黑客的人工智能开发工具http://venturebeat.com/)(2020年)。
15.Brownlee，Peter Norvig著《大数据之手》.machinelearningmastery . com(http://machinelearningmastery . com/)(2014年)。
16.麦卡洛克，W.S皮茨，w。对神经活动中固有观念的逻辑演算。数学生物学通报*52*,99-115 (1990)。
17.神经网络争论的社会学历史。计算机进展*37*,335-425 (1993)。
18.语言习得中的过度规则化。儿童发展研究学会专论*57* (1998)。
19.《以太符号》。加州斯坦福大学美国人工智能协会知识表示和推理春季研讨会(2015)。
20.深度学习。自然*521*,436-444 (2015)。
21.预训练术语频率对少量推理的影响arXiv 2202.07206 (2022)。
22.人工智能能从罗密欧朱丽叶身上学到什么。福布斯(2019).23。神经符号程序设计。编程语言基础与趋势*7*,158-243 (2021)。
原文链接：
https://nautil.us/deep-learning-is-hitting-a-wall-14467/