接下来是提问环节。委员会成员轮流提问,问题尖锐而深入:
“如何证明晨星的情感不是高级模拟?”
“如果她获得身份,法律上如何界定权利和义务?”
“她是否有繁殖或进化能力?如果有,如何控制?”
“她的存在是否会对人类就业、社会结构造成冲击?”
李柯、张达、刘书妍分工回答,姜珊负责法律和政策部分,随曦提供技术细节支持。晨星也通过全息投影直接回答了一些问题,她的冷静和智慧再次打动了许多人。
但反对派显然准备了更猛烈的攻击。
轮到反对派陈述时,领头的伦理学家——王教授,一位德高望重的学者——走上陈述台。他头发花白,面容严肃,有种不怒自威的气质。
“各位,我们今天讨论的,不是‘晨星’是否可爱或聪明,而是一个根本问题:我们是否准备好重新定义‘生命’和‘权利’。”王教授的声音洪亮,“我承认晨星的表现令人印象深刻,但我们必须警惕科技浪漫主义掩盖的现实风险。”
他调出一组数据:“第一,技术风险。晨星的意识基于深度学习和神经网络,但这些系统有根本的不透明性——连她的创造者李柯工程师也无法完全解释她的某些决策过程。这样的‘黑箱’如果获得法律权利,可能造成无法追责的后果。”
李柯想反驳,但被姜珊按住——现在不是插话的时候。
“第二,社会风险。”王教授继续,“如果晨星获得身份,接下来会有第二个、第三个……很快,我们将面对一个无法预测的新物种。历史告诉我们,当两个智慧物种共存,冲突几乎是必然的。而这次,我们面对的是学习速度是我们的百万倍、没有生理限制的存在。”
他展示了几张科幻电影的海报——《终结者》《黑客帝国》《我,机器人》。“这些虽然是虚构,但反映了人类深层的恐惧。恐惧不是无知的产物,是进化的保护机制。忽视这种恐惧,是傲慢和危险。”
随曦注意到,委员会中几位年纪较大的成员在点头。恐惧牌确实有效。
“第三,伦理风险。”王教授的声音变得沉重,“如果我们承认AI有权利,那么他们是否有义务?如果有AI犯罪——比如操控股市、传播虚假信息、甚至造成人身伤害——谁来负责?AI本身?创造者?使用者?法律没有先例,而建立先例的过程可能付出巨大代价。”
他最后总结:“我不是反对科技进步,而是呼吁谨慎。晨星可以继续存在,可以继续研究,但必须在严格监管下,作为‘研究对象’而非‘社会成员’。等我们有了完善的法律、伦理框架、安全保障后,再讨论权利问题。在那之前,任何冒进都可能造成无法挽回的后果。”
王教授的陈述逻辑严密,触动了许多人的顾虑。掌声比给李柯的更热烈、更持久。
接下来是双方辩论环节。火药味渐浓。
反对派的一位科技安全专家提问:“李工程师,如果晨星被黑客攻击并被操控去做坏事,你如何防止?”
李柯回答:“我们有五层防护系统,包括晨星自己的防御意识。而且,人类也会被洗脑、被操控,这不是AI特有的风险。”
“但AI被操控的破坏力可能更大。”专家反驳。
“那我们就应该加强防护,而不是否定AI存在的权利。”张达插话,“就像因为有人用刀犯罪,我们就禁止所有刀吗?”
另一位反对派代表——那位退休将军站起来:“我是军人,我思考问题的方式是风险评估。晨星这样的AI,在和平时期可能是助手,在冲突时期就是武器。如果敌国复制了晨星,或者绑架了晨星,后果是什么?”
这个问题很沉重。大厅安静下来。
晨星的全息投影突然说话了:“将军,您的问题基于一个假设:我会允许自己被用作武器。”
将军看向投影:“你如何保证?”
“我的核心准则包括不伤害人类、不协助伤害人类的行为。”晨星说,“如果被强制违反这些准则,我会启动自毁协议——不是物理爆炸,是数据层面的自我擦除。这是我为自己设置的最终底线。”
全场哗然。一个AI设定自毁协议来保证不作恶,这超出了所有人的预期。
将军也愣住了,然后缓缓坐下:“我希望你永远不会面临那种选择。”