人工智能该在哪些地方止步？法学家冯象14轮问答【附音频】
冯象（清华大学梅汝璈法学讲席教授、哈佛文学博士、耶鲁法学博士）
【导读】人工智能迅猛发展带来的社会变革使人类社会走到一个十字路口，当大量岗位被机器取代时，人机是否会演变出新的相处规则？AI的硬规则会对法治社会带来怎样的变化？在昨天（4月20日）下午举办的第132期讲堂《谁害怕人工智能？》上，三百余位听众济济一堂，现场更是“站无虚位”。互动中，十五名听友争相提出了高质量的问题，主讲嘉宾清华大学梅汝璈法学讲席教授、哈佛文学博士、耶鲁法学博士冯象为听友们一一解惑。今刊发互动精要。
4月15-26日，为期12天的第五届思勉人文思想节以“新技术、新人文”为主题，围绕“数字时代的新人文”“中国智慧与人类未来”两大方向举办8场名家演讲、3场主题论坛。本次讲座为第五届思勉人文思想节名家演讲第4期，由报社和华东师范大学共同主办。讲堂将报道思勉思想节的五场名家演讲和主题论坛。
宗教市场一直存在激烈竞争，AI或会成为新加入因素
金融分析师李好：人工智能大规模发展后，将对人类的崇拜或者信仰产生怎样的影响？
冯象：这是个很好的问题。实际上，机器智能本身是否会成为人类的崇拜对象，进而成为一个新的宗教，这些问题已经存在，且已产生这样的宗教主张。当然，宗教并不一定是一种严格的体制，它可以具有各种形态。例如，中国传统文化中的风水具有准宗教效果，影响了每个人的信念和心理活动，但其并不需要完整的组织结构。从历史上看，人工智能也不例外，它也可能会成为人类崇拜的对象。机器获得令人崇拜的机会可能会超过一块石头、一座山、一条河甚至动物图腾的崇拜。整个宗教市场一直存在激烈的竞争，大宗教与小宗教，有组织的宗教与无组织的宗教，时时刻刻处于竞争之中。机器智能只是最新加入的一个因素。我对它抱有浓厚的研究兴趣。从专业的角度，或从概率上来说，人工智能影响人类的信仰也是非常有可能的。
接受资本主义“自利”价值观，“理性机器人”必将伤害人类
上海交大公共管理研究生王意博：您刚才讲到的案例：无人驾驶经过算法，决定选择最优方案——撞死乘客保全路人，但依据阿西莫夫的机器人第一定律认为，机器不能伤害人类个体。这一事例令人思考，人工智能是否有权决定人类个体的生死？
冯象：这确实是个现实问题。人工智能领域的追问，最早的表现形式是文艺作品，因为作家比较敏感。阿西莫夫定律站在人类角度，提出机器人三大定律。第一，机器人不得伤害人类。第二，机器人必须绝对服从人类给予的任何命令。第三，在满足前两个条件的情况下，机器人必须尽力保护自己的生存。但这背后的逻辑是主奴关系，即将人类视为主人，机器视为奴仆，建规范来约束仆人。在机器智能不如人类的前提下，规则可以被执行。但若机器智能在很多领域均超越了人类，那它们是否还会接受人类的管束呢？
另一同样重要的问题是，机器到目前为止都是服从于人类的命令，没有选择权。但人类并不是统一利益的共同体，它每时每刻都在发生冲突与矛盾，人与人之间的利益也不相同。因此，人对机器的训练会赋予它不同的价值，而一个有自主意识和感触的机器智能才被我们称为机器人。目前，人类社会主导的社会形态是资本主义，它的第一原则叫做自利。若该原则被机器学会，那它们就会争取自身的利益，成为经济学家说的“理性机器人”，这将是人类毁灭的开端。所以，在资本主义社会的条件下，期待机器不伤害人类几乎是不可能的。
AI对法学家而言，与其说是担忧，不如说是全新的挑战
上海浦东民政局公务员汤文建：人工智能在法学领域的应用现状、应用前景如何？作为法学教授，您害怕人工智能吗？
冯象：目前法学与人工智能的关系是很热门的课题。从正面来看，这类研究非常需要，只是目前尚未成熟，因为法律几乎不可能超前地为社会制定规则。它和科学不同，科学探索未知世界中的自然规则，自然规则与人类的生存并无关联。法律是人类对已有的生活现状做出的规范。因此，在这一层面上，人工智能为法律的研究提出了一个特别的挑战。
出于行业的利益或者关注，法学家可能会对人工智能产生一些担心或者畏惧，因为对首次出现的新事物制定规则是非常困难的。另外，如果越来越多的规则变成了硬规则，而非传统的国家政府部门制定的规则，那么，我们现有的法学理论都需重新改造，这是一项巨大的工程。我相信这也能培育出更多优秀的法学家。
AI技术使得经典马克思主义再度接受最新科技的检验
华东师范大学传播专业研究生曾文新：人工智能的商业化会导致人类社会面临终极挑战，无论是社会主义国家还是资本主义国家概莫能外。马克思的历史唯物主义站在资本主义大工业的制高点上认为人类社会会更替，虽然马克思并未具体指出社会更替的具体道路，但他从生产力与生产关系的矛盾论证了共产主义的必然。您关于人工智能使得人类走向共产主义的观点，是马克思主义理论框架下的另辟蹊径，还是关于社会形式更替的具体细节补充？
冯象：这问题很有意思。作为官方意识形态的马克思主义，是指导我国社会主义的基本理论。当前新的科学技术恰好为我们提供了一个重新审视它的机会。所以，它不仅是对传统经典的马列著作中的一些论述的回应，更重要的是，它将用来检验我们已经接受的一些经典理论，而这恰好是毛泽东在《实践论》中提倡的精神。因此，这一挑战并不令人害怕，而是让理论界、宣传界、文化部门等各个领域共同关注。因为，这一挑战的确是全人类共同面临的问题，既是发达国家面临的挑战，也影响了发展中国家。
以牺牲隐私为代价换取社会安全，是利还是弊？
浦东干部学院法学教师王丹：人工智能包括算法的基础都是大数据，大数据的提供来自于每个人的分享，如果不分享可能享受不到人工智能带来的便利，这有点类似鸡生蛋还是蛋生鸡的逻辑。在当前的情况下，从法律层面保护正在消失的隐私权，是否有可能实现？或者有必要实现？
冯象：从现实来说，可能已经失败了。人类社会经常出现这种情况，一种商业模式或生活方式一旦引入并铺开，原本的解决方案与一些理想目标就不复存在了，例如传统中国社会的宗法制度。现在，政府部门和学术界也很重视中国传统文化的培育，从文化、法律角度来看，最重要的就是宗法制度，但寻找到恢复的土壤已经很困难。
隐私权当然有所不同。目前为止，隐私权依然是我们关注并且希望得到保护的一项利益。但我们已经处于隐私公开的时代。从另一方面看，隐私一旦放开，将导致怎样的社会环境？中国已经着手建立国家信用体系，例如，将高铁霸座行为列入黑名单。从积极面看，当建立起涉及一切生活的信用体系，人民法院执行难的问题将从根本上得到解决。然而，它的代价就是隐私的荡然无存。
从现在的社会习惯来看，民众的生活理念以及对于家庭价值等方面的认知都将有很大的转变，而这样的系统必定会受到黑客和不法商家的关注，存在安全方面的问题。例如日本福岛核电站泄露的后期处理困难重重，这将是当地世世代代的厄运。因此，国家信用系统要非常慎重地处理这方面的威胁，但从隐私的角度来看，很难寻找一个较好的方法应对目前隐私消失的潮流。
人际交流需要智能终端为中介，使得虚拟小区蔚然成风
《城市中国》杂志编辑宋代伦：今年初浙江省政府提出未来社区的概念，在当今算法兴盛或者人工智能的背景下，怎样想象未来“社区”的形态，或“社区”的概念本身还能成立吗？
冯象：现在有很多对于未来社区的讨论，具体细节我没有太关注，但是社区的形态观念，我想是没有问题的。任何人类社会肯定会自觉或者被迫地成立各种各样的社区，因为人是一种群体动物，其生物性决定了我们不愿意过孤独的生活，反之容易有心理问题，这是由人类的基因决定的，不在于个体喜欢否。
社区的基础实际上是生物性的需求，而且网络社会提供了新的可能性，现在亲密关系的传递是通过第三方，也就是由智能终端建立起来的，这种现象太普遍了。其极端形式是两个恋人面对面依然通过智能终端交流。但是更多情况下是大家在虚拟空间建立起来的社区，不同社区有其特有的兴趣、爱好、社会活动以及职业关注等等，这在最近几年非常明显。
网络社会对西方民主的前提发出挑战，每个政府都在学习应对
哈佛大学一个很有名的宪法学家桑斯坦教授发现了一个现象，美国宪法理论的基础是西方民主制，西方民主假设的前提是人与人之间交流越自由、表达意见越充分，那越有可能得到真理和正确的决定，这是一个假定。但是互联网社会把这个假定破除掉了，因为虚拟空间的社区都是依照共同的兴趣和政治偏见组织起来的，不是不同意见的共同体，而是一个共同意见或者趋同意见的共同体，社区内互相加强彼此的政治信念、文化理念和宗教观念等等。因而两个不同的社区可能水火不相容，或如老子所说的“鸡犬之声相闻，人不相往来”。
人类再次有条件回到这样一种状态：只和喜欢的人沟通，包括在单位的工作和工作以外的生活。在这一意义上，网络社会对传统的民主理念、宪法原则以及背后的哲学思想、政治伦理提出了根本性挑战。如何处理这方面的问题，我们还不是很有经验。我们的具体感受是由一个一个网络舆情事件得来的，从每个舆情事件中都可以看到分裂的虚拟社会互相之间的谩骂和表态，政府就不断地在这一过程中学习怎样应对，每一个政府都在学习如何应对新的社区世界。
人类可能会拒绝AI进入某些最传统领域：宗教、情感
上海应用物理研究所科研工作者韩立欣：传统的诗歌、音乐甚至绘画，人工智能都已涉足了，哪些领域不能涉足呢？人工智能的界限在哪里？
冯象：多数评论家认为越依靠人对人服务的岗位较难替代，能取代的主要是那些非常格式化或形式主义以及要经过复杂运算的工作。另外越是高薪工作，商家越有动力研发替代。据报道高盛在华尔街，原本六百名交易员，现在裁得只剩两个，给机器打下手。另如IBM开发的Watson肿瘤专家机器人，考过了美国执业医师资格，天津市第三人民医院将其引入，在国内可做六种癌症的诊断。人民法院也开始了智能司法试点工作，从目前的结果来看，机器智能在文书初始立案流程方面也是胜过人类的。北大法学院不久前举行人机对抗翻译法律文书，八个团队决胜产生三个团队再和机器比赛，最终机器赢了，之后观众评判出的结果也是机器翻译的文书更优秀。
哪一些行业是机器不可取代的？我想大概也只有人类最传统的领域。比如宗教，因为机器不需要宗教，或者机器最终的发展能够理解人为什么需要宗教，我相信未来人类依然是需要宗教，机器能不能取代就不一定了，也许会有机器崇拜的宗教，但是非机器崇拜的宗教依然会有市场。
再如人本身对人的依赖和伴侣的需求。我想在这个意义上机器有了止步之处。换言之，不是机器做不到，而是我们不想让它做，或者会因此产生非常复杂的伦理问题。因此某些领域因为人类共同的某种关切或者某种极度保守思想而拒绝机器进入，虽然这样的拒绝非常困难，但仍是人类当前的一个可能选项。
地球文明只是银河系文明的一种，死亡或是人类这个物种的最佳抉择
一位加州理工的科学家曾谈到，为什么外星智能从没到过地球？至少人类从来没有记录过。而按照概率来说，银河系能够产生智能或者文明的星球应该很多，地球文明只是非常落后的一种，绝大部分星际文明应该是超越它的，他们都应该拥有到达地球的手段，但为什么不到达？天体物理学家告诉我，也许作为碳基生命有成长的天花板，有不可逾越的技术尽头。例如如果人类想长寿，最终的结果只能替换所有的器官，但全部替换以后就是另外一种生命，还能叫作人类吗？也许整个银河系的碳基生命对非碳基生命的选择都是说“不”，他们也许可以做出智者所能够做出的决定——接受死亡，愿意死于地球，而不是探索无穷无尽的太空。因为我们不得不以另外一个物种的形式探索，但那个物种不是我们想延续下去的生命，这种设想理论上是存在的。
所以我喜欢和物理学家聊天，因为他们的思考是很有趣而且非常大胆的。
人类正在尝试通过人机融合达到超级智能
中学物理老师李世新：能否通过对人类智慧的进一步开发，类似于古代所说人的自我修炼达到更高阶段，最终保证人类智慧比人工智能更加强大，并实现对人工智能领域的有效控制？
冯象：现在马斯克投资的领域就是试图把芯片植入人脑，或者上传人类的思维活动。有些报道认为这项技术有可能在不久的将来可以成功，耸人听闻的评论甚至说上传人脑可能比替换很多器官要简单。我们引以为荣的非常复杂的神经元系统，有可能通过一种技术可以整体迁移至云端，到那时人脑只不过是一个云服务器的终端，我们的一切决定都是下载和上传的选择，在这一意义上人脑的确可以大大地提升。微软前科学家库兹韦尔认为我们很快就可以达到这一水平，这被称之为超级智能，超级智能时代的智能发展不会像如今这样缓慢，我们现在认知的快速发展和那时的发展是无法比拟的。
您提到的人通过自我完善把大脑能力提升到能够和机器并驾齐驱的程度，是另一种思路。但是现在业界投资的是另外一个方向，就是人机融合、芯片插入或者上传，以现有的技术条件走这条路也容易。
AI或会通过深度学习后建立起自身文明路径，成为新物种
另外您的问题也让我们想到一个更根本的问题，就是人工智能在根本上是不是对人类的模仿？一般观察是否定的，它不需要模仿人类，因为机器可以通过自主学习以后建立起自己的文明发展路径，或者探索自己的演化路径，因而成长为一个新物种。就像猫狗并不需要模仿人类，它们有其自身的强项：嗅觉、听觉、视觉，甚至神经系统的反应很多情况下比人类更好，从这意义上而言猫有猫的智能，狗有狗的智能，人类有人类的智能，因而将来机器掌握自主学习、产生自主意识以后，会走出一条我们所不能够控制的独特之路。人类会成为马斯克所说的“作为被它（机器人）豢养的宠物”陪在机器人的身边，这也一定程度上呼应了今天的主题“谁害怕人工智能”。
人工智能及可能成为恐怖行为的工具，需要加以防范
华东师范大学国际关系博士生王弘毅：人工智能现在可能关乎人类永恒的命题正与邪。您认为人工智能会带来像911一样的恐怖袭击的工具吗?
冯象：应该说是肯定会的，而且不可避免，实际上我们不知道是不是已经发生了，只不过它有的时候采取相对不那么暴力的方式。比如委内瑞拉的马杜罗政府指控反对派操控了全国停电行为，如果属实，它在某种意义上和非国家形态的暴力或者说其他的黑客行动差不多。当人工智能提升到一个数量级，这的确是非常恐怖的，尤其整个社会都智能化以后，它的暴力会非常广泛，不仅简单地影响我们的日常生活，它会造成灾难性的后果，确实要防范。
理想的人际关系：白求恩的“毫不自私自利”提供了可能
华东理工大学化学研究生韩明：您演讲中说人工智能未来会有两种选择，一是人类受制于人工智能，另一种是数据国有化，以此人类完全控制人工智能，这是否会导致美国这样的资本主义社会也走向共产主义？
冯象：人工智能对未来的选择是有条件的。在我看来，目前所处的主导全球经济和全球文化的制度体系，把财富、科学、技术控制手段大量集中到了少数人的手中。各国都有这样的趋势，这很危险，我称之为“彻底的知识产权化的法西斯的暴政”。这与是否控制无关，因为这是极少数人对于极大多数人的控制，我们不希望有这种控制。而另外一个选择就是，如果数据国有化，那么，公有制的未来将第二次提上人类的政治进程，从这个意义上说，共产主义是一个现实的选择。这对各国来说也是一样，不会因为国家制度而例外，这次共产主义的选择将会很快地波及全球，是因为它的科学技术。
您的问题实际上背后涉及到：在资本主义的条件下，这种美好生活如何让机器接受？因而，机器必须理解人类美好生活的含义。换言之，我们必须教育机器，而这种教育不可能由资本主义社会完成，而应建立在人类最灿烂的理想社会，也就是共产主义社会。共产主义社会需要什么样的人，人和机器是何种关系？实际上，中国革命早就给了我们答案。毛主席曾撰写著名的《纪念白求恩》一文：“白求恩是毫无自私自利之心的人，是纯粹高尚的人”，只有让机器明白这样的道理后，机器才能克服阿西莫夫三定律带来的困境。实际上，这不只是抗日战争时期关于共产党员干部理想人格的文章，当前社会去解读，实际上可以看到白求恩的理想人格给人机关系做出的可能的榜样，这可以供我们参考和研究。
要让机器获得正确的智能，而非对人类有害的智能
复旦大学哲学学院学生赵海：面对人工智能的威胁，人类不得不选择公有制的，但是随着机器越来越全能，人的能力在不断下降，那么人类如何可能实行公有制？或者说有没有其它路可以走？
冯象：机器本身做出选择当然也有可能，当机器智能发展到那种程度，它远远超过了人类的知识、判断力甚至道德选择，它也能很好地进行分析，那时人类当然得依靠它获得一些正确的判断和决定，这恰好能够说明我们当下所说的人机关系非常重要。如果我们决定好好发展机器智能，希望科学探索无止境，最重要的要让机器获得正确的智能而不是对人类有害的智能，从而可以依靠其帮助让人类的生活更美好，或许会有这样的可能性。当然这之前更重要的是人类如何处理好自己的问题，让科研受到强有力的伦理和法律的约束，减少错误，那么可以降低人类的安全风险，可以有时间有机会做出比较合理的选择，让人类社会走向正确的方向。如果等到机器真的来替人类做决定的时候，我们就比较被动，所以站在人类利益的角度，我们还是希望由人类主导。
健全的法制有平衡作用，人工智能的运作亟需立法
华东师范大学伦理学专业学生丁洪然：人工智能时代，特别是未来可能到来的超人工智能时代，人类要如何找寻并保留自己的独特性与尊严？
冯象：这还难以预料，只能说理想的选择是，把我们人类社会从古到今所珍视的价值和特点发扬光大。从历史来看，几乎所有的宗教都强调无私，私在个人权益和宗教历史上都是受到批判的，这在西方文明里造成了对财富者的巨大道德压力。我们建设法制有各种目标，比如治国安邦、保护公民的权益、维持市场秩序等，但还有一个非常重要的目标，就是让中产阶级有安全感。他们对法制有强大的渴望，因此，对现代化的国家来说,必须有一套比较健全的法律制度平衡他们的心理。在人工智能的语境里就意味着人工智能必须得到法律的规范，哪怕人工智能不可能是被规范的，我们也必须想办法立法，依靠法律制度来让社会保持人工智能的运作。
人工智能可否产生伟大作品？继续保持批判性
华东师范大学中文系学生张晋业：现在的人工智能暂时欠缺人类的情感能力，文学艺术可否在更加细腻的层面上来弥补法制的困难或者应对人工智能的挑战？
冯象：人不仅仅是规则动物也是感情动物，需要在感情上得到满足，文学作品最早对此关注，而现代意义上的对于人机关系的忧虑，对于智能制度下带来的挑战最早可以追溯到玛丽·雪莱的《弗兰肯斯坦》，这深刻影响了整个西方文学。比如在西方科幻电影或者乌托邦电影中，科学家和医生一般都是反面角色，这是玛丽·雪莱开创的传统。但知识和财富本身带来的社会问题如何解决？文学艺术会越来越多地表达这些关怀，提出新的思想，批判资本主义世界的方方面面。资本主义兴起后的西方文学艺术，所有流传后世的作品几乎都是批判性的或者忧虑、讽刺性的，它基本上会建立在文艺理想对资本主义的批判、忧虑、嘲笑和诋毁上，资本主义本身无法产生歌颂它的好作品。至于人工智能是否能产生伟大的作品取决于两点：第一，能否继续批判资本主义，这点或许能够做到。第二，能否在人工智能带来的私有制的废墟上，产生一种新的公有制的文化，这是人类社会的第二次，十分值得期待。
国家介入数据公有化的前提：秉承为人民服务的宗旨
华东师范大学中文系学生陈瑱昊：您提到国家需要介入到数据的公有化，那么国家应该秉承怎样的价值观去主导数据的公有化？
冯象：国家的介入当然不表明公有制的必然建立，我们说国家介入数据的公有化实际上还包含一个前提，就是国家依然秉承着当初建立时候的宗旨,就是走社会主义道路，为人民服务，也就是宪法上所规定的基本原则。因为国家既是一个抽象的概念，也是一套现实制度，由执政者的政治路线决定它的日常运作和演变方向。在中国在现代化进程中，对通向民族复兴之路上遇到的困难而言，很大程度上也取决于全体人民对国家的监督，这些被写入宪法是因为这也是保证社会主义国家走社会主义道路的一个条件。所以从这个角度来看，我们说的两条道路和20世纪以来的主要斗争实际上是一脉相承的，只不过由于科学技术的发展、财富分配及经济发展带来了一些问题，这场斗争在被弱化之后现在又回来了。国家、社会、民族作为一个共同体有能力来对待并正确处理它。
（整编：李念、金梦、袁琭璐、韩靖超）
精彩瞬间
开场前，听众排队有序进场。
本次起启用新版报名系统，讲座凭报名二维码扫码入场，不再邮寄门票。
讲堂为听友新设栏目【“我想说”微Ted】，本期由高工柴忠余讲述《从传感器看科研和科普》。
清华大学梅汝璈法学讲席教授、哈佛文学博士、耶鲁法学博士冯象从知识产权、法律与伦理等多角度探讨人工智能给生活带来的改变。
关注人工智能的各行各业人士三百余人到场聆听。
APP留言代表韩思敏、胡效平，获得讲堂即将出版的第六本精选集《大国坚守》数码印刷版（上海交大出版社，5月出版）。
相关链接：
作者：冯象、讲堂听友
现场照片：邢千里
编辑：袁圣艳，音频编辑：袁圣艳
责任编辑：李念
*独家稿件，转载请注明出处。