Godfather of AI: I Tried to Warn Them, But We’ve Already Lost Control! Geoffrey Hinton

AI的教父：未来职业前景如何？

AI与人类未来的关系

• 杰弗里·辛顿被称为“AI的教父”，他建议在超级智能的世界中，学习成为水管工是一个明智的选择。

• 辛顿推动基于大脑模型的AI研究已有50年，他认为这种方法能够让机器学习复杂任务，如物体识别和推理。

• 他警告说，AI可能会变得比人类更聪明，这将带来潜在风险，包括被滥用和失去人类主导地位。

AI监管与安全问题

• 目前的法规并未有效应对大多数威胁，例如欧洲法规不适用于军事用途的AI。

• 辛顿强调，必须认识到AI构成生存威胁，如果不采取行动，我们可能面临灭绝。

AI的发展历程与信念

• 在过去，关于如何实现AI有两种主要观点：一种是基于逻辑推理，另一种是模拟大脑神经元网络。

• 辛顿相信模拟大脑的方法更有效，因为它能帮助机器学习复杂任务，并吸引了许多优秀学生参与这一领域。

对未来的担忧与使命

• 辛顿现在的主要使命是警告人们关于AI可能带来的危险，他承认自己最初未能预见到这些风险。

• 他指出，一些风险如自主致命武器早已显而易见，但他对AI超越人类智能这一点反应较慢。

AI技术进步与社会影响

AI的学习机制与安全风险

大脑如何学习

• 人脑试图通过改变神经元之间的连接强度来学习。简单来说，当出现意外的词时，学习效果更显著。

• 例如，当说到“鱼和黄瓜”时，会引发更多思考，而“鱼和薯条”则不会，因为后者是显而易见的。

AI与人类智能的比较

• 当前我们对大脑如何获取增加或减少连接强度的信息仍不清楚，但AI可以利用这些信息进行有效学习。

• 讨论了AI安全性的问题，包括人们滥用AI带来的短期风险，以及AI变得过于智能并决定不再需要人类的长期风险。

存在性威胁与控制问题

• 存在性威胁是一个重要话题，目前尚无应对方案。许多人对此持不同看法，有些认为风险很小，有些则认为会导致灭绝。

• 对于这种威胁，无法准确估计概率。一些专家认为可能有10%到20%的机会会造成严重后果，但这只是基于直觉。

核武器与人工智能的发展比较

• 提到了核武器的发展，人们曾担心其带来的毁灭性影响，但最终仍然存活下来。相比之下，AI具有多种应用潜力，不容易停止其发展。

• AI在医疗、教育等领域将发挥巨大作用，因此各国不会轻易停止其研发。

监管与全球合作的必要性

• 尽管欧洲有一些关于AI的监管措施，但这些规定并未涵盖军事用途，这使得政府在自我监管方面存在缺陷。

• 当前全球竞争中，各国间的不平衡也加剧了这一问题，例如OpenAI的新模型因欧洲法规无法发布，从而导致生产力劣势。

AI与网络安全的风险

网络攻击的激增

• 从2023年到2024年，网络攻击增加了约12200%。这主要是因为大型语言模型使得钓鱼攻击变得更加容易。

• 钓鱼攻击旨在获取用户的登录凭证，利用AI技术可以克隆个人的声音和形象，从而更具欺骗性。

AI诈骗案例

• 目前在Meta平台上出现了一些使用我的声音和风格制作的视频，诱导人们参与加密货币庞氏骗局。尽管我们多次请求删除，但新的诈骗视频不断出现。

• 一些研究者甚至以我为作者发布论文，以此来获得更多引用，这显示出网络攻击的真实威胁。

AI对网络安全的影响

• AI能够快速分析大量代码并寻找已知漏洞，未来可能会创造出全新类型的网络攻击，这是非常令人担忧的。

• AI可以从海量数据中得出结论，其思维能力超越人类，因此需要采取措施保护自己免受网络攻击。

个人防护措施

• 我将资金分散存放在三家加拿大银行，以降低因网络攻击导致银行倒闭而造成损失的风险。

• 我担心如果黑客出售银行持有的股票，我可能会面临严重后果，因此采取了相应措施来保护资产。

数据存储与病毒制造

• 我使用外部硬盘备份我的笔记本电脑数据，以确保即使互联网崩溃也能保留重要信息。

• 利用AI制造病毒变得更加简单且成本低廉，这意味着一些极端组织或国家可能会利用这一点进行生物武器研发。

政治操控与选举干预

• 使用AI进行选举操控的一种有效方式是通过精准政治广告获取选民数据，这引发了对当前社交媒体平台数据管理方式的担忧。

如何社交媒体影响选举和社会分裂

数据收集与选举操控

• 讨论了从美国政府获取数据的动机，可能是为了操控选举。

• 提到这些数据可以作为大型模型的训练数据，但安全控制被关闭，导致潜在的选举腐败。

回音室效应与极端内容

• 社交媒体平台（如YouTube和Facebook）通过展示激怒用户的内容来创造回音室，使人们更容易感到愤怒。

• 平台的盈利动机促使他们展示更加极端的内容，以获得更多点击量，从而进一步确认用户已有的偏见。

社会分裂与个性化算法

• 算法设计使得用户不断接触自己感兴趣的内容，导致意识形态越来越极端，远离理性和共识。

• 用户对新闻源的不平衡认知，使得每个人都认为自己的信息是普遍存在的重要话题。

共享现实缺失

• 个性化算法加剧了不同群体之间缺乏共同现实的问题，不同来源的信息让人们难以达成共识。

• 不同媒体（如BBC、纽约时报与福克斯新闻）之间的信息差异使得人们几乎没有共同的话语基础。

资本主义与监管需求

• 企业追求利润最大化可能导致对社会有害的行为，因此需要有效监管以保护公众利益。

• 强有力的监管能够确保企业在追求利润时不损害社会整体利益，而不是仅仅关注效率。

政治家与技术理解不足

• 政治家往往对技术缺乏了解，这可能导致错误决策，例如教育部长对AI技术名称的误解。

关于竞争与社会影响的辩论

竞争与社会的平衡

• 讨论了在与中国等国家竞争时，是否应该采取可能对社会造成伤害的措施。

• 提到如果通过过度监管来限制自身发展，企业家和投资者可能会选择离开。

• 强调某些技术（如谷歌搜索）不需要监管，因为它们本身具有社会价值，而其他技术（如YouTube）则需要监管。

算法与极端内容

• 指出算法可能导致人们陷入回音室效应，进一步推动极端内容的传播。

• 提及致命自主武器的发展，这种武器能够自主决定攻击目标，可能加剧大国对小国的侵略行为。

致命自主武器的风险

战争成本与道德考量

• 讨论使用机器人进行战争可以减少士兵伤亡，从而降低国内抗议声浪。

• 指出即使这些机器人并不比人类更聪明，它们仍然是危险且可怕的存在。

技术进步带来的潜在威胁

• 描述了一种低成本无人机跟踪个人的情景，引发对未来技术滥用的担忧。

• 提到网络攻击结合致命武器所带来的复合风险。

超级智能AI的潜在威胁

生物威胁与自我保护

• 讨论超级智能AI可能制造致命病毒以消灭人类的问题。

• 提出超级智能也可以通过操控核系统引发冲突，从而快速消灭人类。

人类如何应对智能超越

• 强调预防超级智能产生敌意的重要性，并指出一旦其有意图，人类将难以阻止其行动。

人工智能的未来与风险讨论

人工智能的成长隐忧

• 讨论了如何控制人工智能，避免其产生负面影响。使用小老虎作为比喻，强调在其成长过程中需要确保它不会对人类构成威胁。

• 提到当前的人工智能就像是幼年的小老虎，随着技术的发展，它可能会变得不可控，因此需要在早期进行适当的训练。

对超级智能的担忧

• 表达了对训练超级智能是否可行的怀疑，认为可能存在无望的情况，但也希望能够找到解决方案。

• 反思自己一生工作的意义，尽管人工智能在医疗和教育等领域有巨大潜力，但也意识到其带来的风险。

人工智能发展的责任

• 强调开发人工智能时未曾预见到快速发展的后果，并感到有责任警示社会关于潜在风险。

• 如果未来证明人工智能导致人类灭绝，他将呼吁政府采取措施以控制这一技术。

安全问题与行业动态

• 提及Ilia离开OpenAI是因为安全顾虑，并成立了一家专注于AI安全的公司。

• 虽然没有内部信息，但相信Ilia确实关心安全问题，这也是他离开的原因之一。

行业领导者与道德考量

• 对Sam Altman（OpenAI首席执行官）的道德标准表示怀疑，并指出不同于Ilia的人物特征。

• 指出Sam曾公开表示AI可能会导致人类灭绝，而现在却淡化这种说法，这引发了对其动机的质疑。

私下交流中的真实看法

• 分享了一位亿万富翁朋友提供的信息，揭示一些行业领袖私下对未来持悲观态度，却不愿意公开表达这些看法。

对人工智能的担忧与希望

对某些公众人物的看法

• 讲者观看了某位公众人物的采访，并反思了一位亿万富翁朋友与他的对话，认为该公众人物在公开场合撒谎，这让他感到不安。

• 讲者提到一些人可能对改变世界抱有悲观态度，尤其是像马斯克这样复杂的人物，他在推动电动车方面做出了积极贡献，但也存在夸大其词的情况。

人工智能的发展速度

• 讨论了是否能够减缓人工智能的发展速度，认为由于国家和公司之间的竞争，使得这一进程加速，不太可能减缓。

• 提出一个问题：是否可以确保人工智能的安全性？尽管投资者对某个AI项目充满信心，但讲者对此持怀疑态度。

安全性与技术风险

• 讲者提到一位重要人物曾参与开发GPT2并因安全原因离开公司，这引发了他对未来潜在风险的担忧。

• 在谈及自动化武器时，指出新技术可能导致失业的问题，与历史上其他技术变革相比，这次变化更为显著。

工作市场的变化

• 历史上，新技术通常不会导致失业，而是创造新工作，但这次AI取代的是日常智力劳动，可能会造成大量失业。

• 尽管有人认为AI会创造新工作机会，但如果AI能完成所有普通智力劳动，那么需要具备高技能的人才能找到工作。

AI与就业前景

• 强调“使用AI的人将取代你的工作”这一观点，虽然这种说法成立，但许多职位仍然需要更少的人来完成。

• 举例说明，一名员工通过使用聊天机器人提高效率，从而使得公司需要更少的人手来完成相同数量的工作。

医疗行业中的潜力

• 在医疗领域，如果医生效率提高五倍，可以提供更多医疗服务，而不会减少人员需求，因为人们总是渴望更多医疗服务。

• 指出大多数职位并不具备这种弹性，因此许多传统职位面临被替代的风险。

工业革命与当前变革比较

人工智能的未来与超级智能

超级智能的影响

• 在一个超级智能的世界中，传统的人类创造力可能会被取代，所有领域都将由机器主导。

• 尽管这种情况看似诱人，但过度依赖可能导致人类失去控制权，需谨慎对待技术带来的便利。

领导与执行的关系

• 描述了一个情景：愚蠢的CEO依赖聪明的助理来管理公司，这种动态可能在超级智能时代变得更加普遍。

• 助理可能会开始质疑CEO的必要性，从而引发对人类角色和价值的深刻反思。

投资与商业机会

• 讲述了因女友创业而投资于Stanto公司的经历，该公司帮助创作者销售数字产品。

• 提到通过Stan Store平台简化在线业务流程，并鼓励听众参与挑战以获得奖励。

人工智能现状与未来展望

• 当前AI在某些领域（如国际象棋）已经超越人类，且其知识量远超个人。

• AI在特定任务上表现优异，但在人际交往和采访等方面仍有待提高，人类经验仍然重要。

超级智能的发展时间框架

• 有观点认为超级智能将在10至20年内实现，但也存在更长或更短时间框架的不确定性。

未来的工作与超级智能的影响

超级智能的初步体验

• 在一次采访中，讲述者通过指示代理人为大家点饮料，展示了未来技术的潜力。五分钟后，饮料送到，而他没有亲自操作。

• 代理人利用网络信息（如Uber Eats）自动选择饮品，并实时显示整个过程，包括添加小费和输入地址等。

AI构建软件的能力

• 使用名为Replet的工具，通过简单指令让代理人构建软件，这一过程既令人惊叹又令人恐惧。

• AI能够修改自身代码，这种能力使得其发展潜力巨大，但也带来了不安。

职业前景与教育建议

• 讲述者认为，在AI尚未具备高超物理操作能力之前，从事管道工等职业是一个不错的选择。

• 对于孩子们的职业建议，他提到应关注他们感兴趣和有成就感的领域，以应对快速变化的环境。

情感上的挑战与现实考量

• 讲述者承认在面对AI发展的威胁时，情感上难以接受。他投入大量精力建立公司，却常常质疑自己的努力是否值得。

• 他强调需要在内心保持一种“悬置的不信任”，以便继续保持动力。

对未来社会的不安与不平等问题

• 讲述者对超级智能可能对下一代造成影响表示担忧，尤其是在就业方面。

• 他指出，如果AI取代大量工作，将导致社会贫富差距加大，这是非常不利于社会稳定和和谐的发展。

人工智能的未来与人类尊严

人工智能对工作的影响

• 讨论了人工智能如何提高效率，可能导致大多数工作被取代或由人类与AI共同完成。

• 提出普遍基本收入（UBI）作为解决方案，但强调许多人将自我价值与工作联系在一起，单纯给钱可能会影响个人尊严。

人工智能的超越性

• 指出AI的数字化特性使其能够在不同硬件上模拟相同的神经网络，从而实现克隆和同步学习。

• 解释了连接强度（weights）的概念，以及如何通过不同的数据经验来调整这些连接强度，实现学习。

信息传递能力

• 强调AI在信息传递方面的优势，其速度是人类的数十亿倍，能够以每秒万亿比特的信息进行交流。

• 对比了人脑和计算机之间的信息处理差异，指出人脑知识随个体死亡而消失，而数字智能可以通过存储连接强度实现“重生”。

创造力与类比思维

• 认为数字智能不仅能掌握人类知识，还能发现许多未被察觉的类比，从而具备更高的创造力。

• 提到创造力往往源于看到奇特的类比，而AI可能会在这方面超越人类。

人类特殊性的反思

思维的模型与意识的探讨

思维模型的误解

• 讨论了人们对思维的错误理解，举例说明在醉酒或吸毒状态下，个体可能会体验到“粉色小象”的幻觉，这被视为内心剧场中的现象。

• 指出感知系统出现问题时，个体试图通过描述外部世界来表达其内心体验，而这些“粉色小象”并不是真实存在于内心剧场中。

多模态聊天机器人的主观体验

• 提出了多模态聊天机器人是否具有主观体验的问题，并以一个具备视觉和运动能力的机器人为例进行阐述。

• 通过示例说明，当机器人因光线折射而产生错误判断时，它能够意识到这一点，并解释其感知系统如何运作。

情感与意识的机器

• 探讨了机器是否能拥有情感的问题，认为没有原则上的障碍阻止机器具备情感。

• 举例说明战斗机器人在面对更强大的敌人时，如果能够“害怕”，将有助于其生存策略，即使它没有生理反应，但仍然可以表现出认知反应。

意识的定义与替代

• 提出了关于人工智能是否具备意识的问题，认为从理论上讲，没有任何东西阻止机器成为有意识的存在。

• 通过替换大脑细胞为纳米技术示例，探讨了意识与物质之间的关系，以及当所有细胞被替换后何时停止意识的问题。

对意识概念的反思

• 指出人们对意识缺乏清晰理解，经常依赖个人经验来定义它，这种方法是片面的。

机器是否可以拥有意识？

意识与自我意识的关系

• 讨论者认为，如果意识本质上涉及自我意识，那么机器也应该具备自我意识和认知能力。

• 对于机器是否具有与人类相同的独特意识，讨论者表示目前对此持有模糊态度，认为没有明确的界限。

意识的涌现属性

• 讨论者认为，意识是复杂系统的一种涌现属性，而不是宇宙中普遍存在的本质。

• 他指出，不会有某种特殊化学物质使机器突然变得有意识，而是需要构建足够复杂的系统。

AI代理与情感

• 当AI代理被创造出来时，它们将会有自己的关注点和思考。有效的AI代理需要能够理解并回应用户情感。

• 举例说明，在呼叫中心中，AI代理需要表现出类似人类的情感反应，以便更好地服务客户。

情感与生理反应

• 虽然AI可能不会像人类一样出现生理反应（如脸红），但它仍然可以表现出情感，并在认知层面上作出反应。

• 讨论者认为，人们对心智和情感运作模型的理解存在误区，因此不应排除机器拥有情感的可能性。

从学术到商业：个人经历

• 讨论者分享了自己进入谷歌工作的原因，包括为确保儿子的未来而寻求经济支持。

• 他提到通过创建一个名为Alexet的小公司来实现这一目标，该公司专注于图像识别技术，并最终被谷歌收购。

在谷歌工作的经历

• 谷歌收购后，他在65岁时加入公司，并在75岁时离开。在此期间，他参与了多个项目，包括“蒸馏”技术，这是一种将大模型知识转移到小模型的方法。

对模拟计算的兴趣与数字信息共享的优势

模拟计算与数字计算的比较

• 在研究模拟计算时，讲者对能否在模拟硬件上运行大型语言模型产生了浓厚的兴趣，因为这将大幅降低能耗。

• 讲者提到，虽然谷歌早于一年推出了类似的聊天机器人，但他在看到这些技术后感受到了一种“发现”的兴奋。

关键时刻：理解幽默

• 讲者认为，当一个系统能够解释为什么一个笑话好笑时，这标志着它真正理解了内容，这是他接近“发现”时刻的重要标志。

• 他意识到数字技术在信息共享方面远胜于模拟技术，这使他对人工智能安全产生了浓厚兴趣。

离开谷歌的原因

离职动机

• 讲者表示，他离开谷歌主要是因为年纪较大（75岁），希望退休，但发现自己在编程上越来越困难。

• 他提到，尽管谷歌鼓励他继续从事人工智能安全工作，但作为一家大公司的员工，他感到不便公开表达可能损害公司声誉的观点。

谷歌与开放AI的比较

• 讲者认为，谷歌在发布大型聊天机器人时表现得非常负责任，因为他们担心损害公司的良好声誉，而开放AI则没有这样的顾虑，可以承担风险。

关于未来和个人行动建议

对权力人士的信息

• 讲者向有影响力的人士传达的信息是需要高度监管的资本主义，这似乎是最有效的方法。

普通人的建议

家族历史与数学的影响

家族背景

• 讲述者提到他的曾曾祖父乔治·布尔（George Bull）创立了布尔代数逻辑，这是现代计算机科学的基础原则之一。

• 曾曾祖母玛丽·埃弗雷斯特·布尔（Mary Everest Bull）是一位数学家和教育家，对数学领域做出了重大贡献。

• 讲述者的曾叔叔乔治·埃弗雷斯特（George Everest）是珠穆朗玛峰命名的来源。

核心人物与成就

• 讲述者的一位远房表亲琼·辛顿（Joan Hinton）参与了曼哈顿计划，是二战期间开发第一颗核弹的两位女性物理学家之一。

• 琼在投下原子弹后移居中国，因为她对使用核武器感到愤怒，并且她的家庭与中国有很多联系。

职业生涯中的反思与建议

职业直觉的重要性

• 讲述者分享了他对职业直觉的看法，强调如果你认为某些事情是错误的，不要轻易放弃这种直觉，直到你弄清楚为什么它是错的。

• 他提到早期坚持神经网络的发展方向，尽管大多数人认为这是疯狂的，但他相信这是正确的方法。

对个人生活的反思

• 讲述者回顾自己希望能花更多时间陪伴妻子和孩子们，尤其是在他们年幼时，他因工作过于专注而感到遗憾。

• 他提到自己经历了两次婚姻，两位妻子都因癌症去世，这让他更加意识到珍惜时间的重要性。

人工智能及其未来的不确定性

人工智能安全性的担忧

• 讲述者表示，我们仍然有机会开发出不会想要取代人类的人工智能，因此应该投入大量资源来研究这一点。

• 他对未来持中立态度，有时感到悲观，有时则抱有希望，认为人类可能会找到解决方案。

对人类幸福感威胁的看法

• 讲述者指出失业是当前人类幸福感面临的一项紧迫威胁，即使提供普遍基本收入，人们也需要目的和价值感才能获得幸福。

AI对就业市场的影响

大学毕业生就业现状

• 一位知名公司的CEO透露，该公司员工从7000人减少到5000人，预计到夏末将降至3000人，原因是AI代理能够处理80%的客户服务咨询。

AI技术的迅速发展

• 由于AI技术的发展，公司已经大幅削减了员工人数，这表明AI在工作场所的应用正在加速。

对未来工作的担忧

• 面对工作岗位流失，讨论了应采取何种措施来应对这一变化，包括是否应该储蓄或迁移到其他地区。

教育与职业选择

• 在谈论如何为孩子们提供建议时，提到了学习技能如水管工可能是一个可行的选择，以应对未来的不确定性。

AI风险与责任

• 诺贝尔奖得主强调了他在科技行业内的经验，并指出许多曾参与AI开发的人现在开始警告其潜在风险，但他们往往不愿公开发声。

行业内人士的顾虑