“全球首部人工智能立法——欧盟人工智能法草案，定于当地时间5月11日在欧洲议会进行首次投票(关键委员会投票)。该草案要求ChatGPT等人工智能工具的开发者公开构建其系统时使用的版权材料，其适用范围包括所有在欧盟运行的AI系统，无论其供应商是来自当地还是英美等第三方国家。一旦通过，这一法案将产生全球性影响。
事实上，人工智能的兴起给人类社会现有的治理机制带来了诸多挑战，如何调整法律法规应对是世界各国面临的共同问题。但总的来说，立法总是不可避免地滞后于技术的发展。如何适应AI的快速甚至跨越式进步，同时防止其阻碍AI技术的进步，是法律界乃至整个人类社会面临的现实困境。
上海交通大学首批文科资深教授、中国法律与社会学会会长、中国计算机联合会(CCF)计算法学分会会长季卫东在此为《凤凰周刊》撰文指出，我们(人类)需要“防患于未然，在试错过程中找出摆脱悖论的方法”。
以下是季卫东教授的文章全文。文章原标题为:强人工智能的治理与法律挑战。
奇点再次成为舆论焦点。
所谓“奇点”，是指人工智能在科技上超越人类智慧的时刻。
7年前，当AI系统“AlphaGo”击败来自韩国的围棋世界冠军李世石时，人工智能将超越人类智能的预言似乎成真，一度引起轩然大波。新冠肺炎疫情爆发的前一年夏天，YouTube用户发现视频网站上的机器人战斗场景全部被自动删除，随后爆发了“机器觉醒”的惊呼。2022年6月，谷歌的一名软件工程师也声称，他开发的智能聊天机器人已经产生了独立的感情。2023年3月17日，斯坦福大学教授米哈尔·科辛斯基(michal Cosinski)公布了他的惊人发现:GPT 4号不仅比以前表现出更明显的机器觉醒迹象，还暴露了试图摆脱人类控制的主观动机和潜力。
这种事实的不断暴露，意味着技术正在接近奇点，甚至已经跨越了奇点。换句话说，“强人工智能”似乎正在悄悄潜入人类的生活世界。
一般来说，所谓的“弱人工智能”只是根据人的指令完成单一任务，没有独立的自我意识。但与此不同的是，强人工智能被认为具有和人类一样的认知能力、抽象思维能力和解决问题能力，甚至可能在智慧上超越人类。这样AI在智力上就会有和人类比较或竞争的压力，就会产生AI会取代和伤害人类的忧虑。正是因为这种紧迫感，奇点才会继续成为关注的焦点。


两种应对方式及其变化
ChatGPT虽然强大，但未必是真正的“强人工智能”。然而，GPT-4甚至GPT-5都有很大的不同，一个重大的质变正在进化的过程中酝酿。迄今为止，在如何应对强人工智能的问题上，一直存在两种对立的意识形态立场。在安全性被证明之前应该停止新的研究和开发的一个原则可以被称为“风险预防第一”。另一种观点认为，在证明危害性之前，应该继续R&D，这可以称为“技术发展不需要批准”的原则。过去很长一段时间，欧洲侧重于前一种立场，美国侧重于后一种立场。


2023年1月25日，德国Time Leap实验室的一位教授用例子和数据演示了ChatGPT的易错性。
面对生成式人工智能ChatGPT的出现和GPT-4引发的强AI R&D竞赛，即使是注重创新的美国，也有强调风险防范原则的倾向。例如，2023年3月下旬，未来生命研究所发表公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强的AI系统至少6个月，并获得了马斯克等1000多名科技领袖和行业领袖的签名支持。3月30日，美国美国联邦贸易委员会也收到了AI与数字政策中心的报告，要求对OpenAI及其新产品GPT-4进行调查。
今年4月5日，《华盛顿邮报》还披露了一个更令人心寒的事实。尤金·沃洛克(Eugene warlock)教授在加州大学洛杉矶分校的实验研究发现，生成的人工智能ChatGPT实际上可以编造法学家性骚扰的丑闻及其信息来源，指名道姓，造谣中伤。4月底，图灵奖得主杰弗里·辛顿(Jeffrey Hinton)已经从谷歌辞职，以便公开表达他对人类AI R&D战争和强人工智能应用风险的担忧。据说他也后悔开发了基于神经网络的深度学习技术。这些现象说明专家和舆论都在努力给社会敲响警钟，带节奏。
中国应该如何在上述两种立场之间做出选择？还是在统筹兼顾的同时采取中庸之道？
强人工智能造成人类三种恐慌。
不可否认，强大的人工智能正在隐现，这正在引起人类社会甚至许多AI专家的一些恐慌。总而言之，恐慌主要有三种类型:
第一，对失业的恐惧。事实上，最近几个月，一些游戏美术外包公司一直在大量裁员美工，因为这些工作都是由效率更高、成本极低的AI来完成的。2023年5月初，好莱坞剧作家也举行了一次强有力的罢工和示威，抗议工作室使用AI系统创作剧本。但是，我们也要看到，即使强人工智能能够熟练地处理差异，它仍然不能自己制造差异，因此它不能像人类一样进行创新思想。另外，强人工智能并不能真正理解价值和文化的意义，理解是人类的本质属性。从这个意义上可以说，智能机器并不能完全取代人类。人们以为强人工智能可以理解，其实只是把预测当成理解。ChatGPT即使听不懂也能进行生动的对话。其实只是借助网络上持续互动的自反机制做一个接龙预测而已。意大利学者艾琳娜·埃斯波西托(Elena esposito)用“人工交流”一词来形容这种人机对话。所以，这里更重要的问题不是机器对人类的替代，而是如何建构一种几乎必然的人机共存秩序。这个问题转化为一个与失业恐慌密切相关的法律问题，即在强人工智能时代，少数科技精英是否会主导大多数赛博朋克，对社会关系和社会分配会产生什么影响？


2023年5月2日，编剧罢工团队在派拉蒙影业前参加集会，呼吁提高工资，要求公平的合同，拒绝为AI工作。
第二，失控的恐慌。过去的斩首行动和持续一年多的俄乌战争都证明，AI一旦用于目标识别、跟踪和攻击，就会影响决策和杀戮行动的结果。不言而喻，这种没有人类直接控制的自主武器系统非常精确高效，但也会导致战争的自动化，给人类带来巨大的风险和伤害。目前，国际社会正在探索禁止或限制使用和开发军用AI系统的方法，并致力于开发防止自主武器造成伤害的技术或机制。可见，除了各国努力制定人工智能研发的伦理和法律规则外，还需要为相关国际公约的缔结凝聚共识。另一方面，除了自主武器造成的伤害，还有包括网络诈骗、诱饵钓鱼、捆绑流氓软件等社会工程攻击，也构成了典型的场景失控。此外，还有对知识产权制度的沉重冲击，导致失控。比如枫丹白露欧洲商学院的Philip Parker教授申请了一项技术方法的专利，可以自动生成合理且信息量大的书籍，这意味着很快就有可能看到AI生成的书籍，看似已经尘埃落定的AIGC版权制度安排可能再次动荡。另一个例子是澳大利亚新南威尔士大学。一些人利用GPT从科学文献中获得有用的知识，实现材料科学的重大发现，它可以用来开发新的材料和器件。因此，AI for Science系统的发明权和专利权归属也将成为极其复杂的法律问题。
第三，扭曲的恐慌。用过ChatGPT的人都知道，这种语言模型在很多方面表现出惊人的表达功能，但也相当油腔滑调，不靠谱，甚至不懂装懂。聊天智能系统在胡说八道的时候，还可以摆出一副严肃的样子，甚至引经据典，让不了解的人非常容易相信。根据研究报告，ChatGPT将在2026年之前耗尽高质量的语言数据，并在2030年至2040年之间耗尽所有人类语言数据。从此，AI合成数据将完全取代真实数据，成为训练AI的重要资源。如果喂养人工智能的主要数据养料是人工智能合成数据，那么AIGC到底有多可靠，是否会让虚假信息或编造的信息充斥网络空间，甚至垄断人类交流的语境，都将成为一个非常严重的问题。不言而喻，当然，人类不断获得大量真假难辨的信息，并以此为基础进行交流和做出判断，那么文明的根基就会崩塌。


对于强人工智能要保持很强的风险意识。
上述恐慌是建立在强人工智能的独立性基础上的。鉴于此，瓦拉赫、艾伦和施密特在2012年发表的《机器道德》一文中提出了这样一个命题:“机器的自由越大，就越有必要为机器设立伦理标准”。这些标准不仅包括强人工智能治理的元规则和具体规则，还包括形成强人工智能系统道德能力的评价标准和各种道德(如自我决定、照顾亲属、健康维护、隐私保护等)之间冲突的排序和处理机制。).根据斯坦福大学HAI(人类人工智能研究所)发布的2023年报告，73%的AI专家认为AI将引发一场社会革命，但36%的专家认为AI可能造成核弹级别的不可逆灾难。无论如何，正是因为对小概率大危害的强烈不安，才让我们必须在动之前做出决定。
其实ChatGPT也是AI联网的一个典型，可能会从根本上改变人与物质世界的关系。在万物互联的智能网络中，深度机器学习会让AI离人类的干预和控制越来越远，算法会变得越来越难以解释、无法理解甚至无法控制，这就导致了强人工智能的大模型咬死人类，构成挥之不去的噩梦的可能性。在我看来，这意味着人工智能治理的重点将从算法治理转向模型治理。换句话说，人工智能治理的标准将从最小化算法偏差转向最小化模型滥用——从此，透明什么都不是，预测的准确性将决定一切。沿着这个思路考虑强人工智能的监管，显然只有集中备案和审核是不够的。还需要引入分布式监督的机制设计方案，比如舆论监督或者鼓励用户投诉，让社会参与AI监督，及时制止深度学习模型的过度训练和滥用，并采取一些适当的方式提前介入人工智能生成内容(AIGC)的可靠性测试。


2019年11月2日，美国国民警卫队第181情报联队的分析师在印第安纳州的一个空军基地测试了一个人工智能项目。
值得注意的是，欧洲议会正在讨论的欧盟人工智能法案最近增加了多项条款，要求生成式人工智能模型的设计和开发也必须符合欧盟法律和基本权利规范，包括表达自由，还为AIGC设立了版权规则；为了保证AI的可信度和安全性，设置了四个不同级别的相关科技风险进行分类监管；对AI公司的违规行为将采取非常严厉的制裁，罚款可高达3000万欧元或全球收入的6%。据悉，2023年4月27日，欧洲议会已弥合分歧，达成临时政治协议，决定于5月11日举行关键委员会投票，6月中旬举行全体投票。根据这一时间表，我们将争取在2024年本届议会到期前通过欧盟人工智能法案，颁布全球首部关于人工智能产品、服务和决策的综合性法律。几乎与此同时，在日本高崎举行的G7数字部长会议于4月30日发表联合声明，强调AI应接受“基于风险的”监管，但同时也表示，监管应为人工智能技术的发展保持“开放和有利的环境”。
中国人工智能治理和法规的最新进展
事实上，以2021年《新一代人工智能伦理》为标志，中国正在不断加强对人工智能发展活动的治理，强调可信性、可控性、可问责性和敏捷响应等基本原则。在该规范性文件的指导下，相关部门开始研究制定算法伦理规范，推动人工智能行业形成共识。他们还试图通过算法社区和行业联盟来构建企业内部治理框架和责任体系，从而在保持人工智能技术和产业的发展势头与有效防范各种相关风险之间取得适当的平衡。
尤其值得注意的是，2021年，中国政府启动了人工智能产业“清晰行动计划”，当年重点开展了算法滥用专项治理，次年启动了基于算法正义的综合治理，试图用3年左右的时间，将相关伦理原则、法律规则和技术检测、监管、评估方法落到实处。2022年3月1日颁布的《互联网信息服务算法推荐管理规定》也建立了算法备案制度，要求对社会有实质性影响的算法服务提供者在开业10日内提供算法自评报告、公示内容等具体材料，并履行备案手续，确保监管部门能够在源头控制人工智能风险。在联合国教科文组织发布《人工智能伦理问题建议书》的背景下，中共中央、国务院也于2022年3月20日发布了《关于加强科技伦理治理的意见》。
进入2023年4月后，随着ChatGPT在全球引发的争议越来越尖锐，中国科技部及时公布了《科技伦理审查办法(试行)》征求意见稿，就新型人工智能的治理向社会征求方向。紧接着，网信办还拿出了《生成式人工智能服务管理办法》的征求意见稿，广泛征求意见。这些规范试图通过备案制度、安全评估、专家评审程序、明确责任主体、拟定风险清单、抽查验证等方式加强监管，旨在防止人工智能技术的发展和应用失控。但如何将上述规范性文本与网络安全法、数据安全法、个人信息保护法的既定内容进行衔接和整合，还需要进一步推敲和完善。


特别是《生成式人工智能服务管理办法(征求意见稿)》重点防范制造虚假信息、暴露个人隐私、侵犯知识产权、造成系统性歧视、进行网络攻击等风险；要求生成式人工智能的开发者和使用者对预训练和优化训练的数据来源的合法性负责；将算法安全评估和算法备案程序作为提供相关服务的前提条件，要求服务提供者设立用户投诉处理机制，还必须履行用户身份验证、防沉迷、个人信息保护、避免使用歧视性内容、及时处理违法信息、提供安全稳定的服务、生成内容审核和标注、提高透明度等义务。其中一些属于新型债务。然而，这些规定大多依赖于产品开发者和服务提供者在行政部门指导下的自我检查和自我履行，也缺乏第三方独立审核、测试和执行的制度安排，以及缺乏算法演示程序和问责程序的具体设计。
直面自指律与人工交流的悖论
据悉，ChatGPT近期被广泛应用于司法和法律服务场景，包括全球四大会计师事务所的法律业务处理。2023年5月5日，全球顶级法律和商业信息服务平台LexisNexis推出面向法律行业的生成式AI系统Lexis+AI，旨在通过大语言模型实现法律和判例的高效检索和文档生成的自动化。显然，这样的人机对话会不断强化法律体系中意义的自我参照和自我复制的特性。如果在不久的将来，所有用来训练AI的主要资源都变成AI产生的数据，通过ChatGPT等大语言模型进行的法律交流也将完全人工化，势必会形成一个完全闭环的智能司法系统和人工交流系统。在尼可拉斯·卢曼用“反身性”和“自我创造”概念描述的这种状态中，实际上法律推理的过程容易陷入死循环，频繁出现无法证明或证伪的陈述。于是，我们不得不问，能否找到一个通用的算法来判断那些可以通过有限的步骤来停止的程序。这就是困扰计算机科学家和哲学家的图灵停机问题。


另一方面，随着生成式人工智能和强人工智能在高度标准化的法律领域的应用，对具体案件的沟通和判决似乎进入了无限上升的轨道，但多元化的竞争和发展机制却被锁定，形成了不可避免的困境或“黑洞”，导致整个法律领域和纠纷解决机制的单一化、停滞甚至倒退。这就是人工智能科学中所谓的“恐怖谷”效应。当人们使用ChatGPT搜索和生成内容，并试图制定和实施关于强人工智能治理的法律规则时，是否会导致赫拉克利特式的未定义悖论、类似“恐怖谷”的奇特体验，以及更加复杂棘手的社会问题？这一切，源自人工交流的自我参照和不断反馈，需要计算法学研究者和人工智能治理机制的设计者防患于未然，在试错过程中寻找摆脱悖论的方法。