Stanford CS229: Machine Learning Course, Lecture 1 - Andrew Ng (Autumn 2018)

欢迎课程介绍

• 课程历史悠久，培养了多代斯坦福学生成为机器学习专家。

• 介绍了机器学习对各行业的影响，AI是新电力，强调机器学习和深度学习将改变世界。

• 强调机器学习技能需求巨大，应用领域广泛包括工业和学术界。

机器学习的重要性

• 描述了当前机器学习项目数量增长及其价值提升。

• 展示了不同领域如英语系、律师等应用机器学习的案例。

时机与发展

• 指出现在是投身于机器学习的绝佳时刻，未来发展空间广阔。

• 鼓励抓住独特机会，开展前沿研究或应用于不同行业。

课程介绍及团队

• 提到课堂座位不足，并介绍在线观看选项。

机器学习课程导论

课程助教介绍

• 助教专业涵盖计算机视觉、自然语言处理、计算生物学和机器人技术。

• 希望学生在课程项目中得到助教的帮助和指导，他们在机器学习领域拥有丰富经验。

• 助教不仅擅长机器学习，还深入研究特定垂直应用领域。

机器学习的广泛应用

• 机器学习已不再局限于科技公司，其他行业也开始重视应用这些工具。

• 演讲者曾领导谷歌Brain团队和百度AI团队，推动这两家公司成为顶尖AI企业。

学习目标与职业发展

• 希望学生能够在科技公司或其他行业从事有意义的机器学习项目。

• 课程旨在使学生具备阅读研究论文和推动技术进步的能力。

课程更新与变化

• CS229课程持续更新以跟上机器学习领域的快速发展。

• 今年将采用数字化方式进行授课，放弃纸质讲义。

入门要求及预备知识

• 要求具备基本的计算机原理知识和概率基础。

机器学习课程要求与荣誉守则

课程作业和荣誉守则

• 课程作业正在转向使用Python和NumPy，鼓励学生更多地使用Python完成作业。

• 鼓励学生组建学习小组，但要求独立完成作业问题，不得抄袭他人答案。

• 尊重Stanford的荣誉守则，允许讨论作业问题，但要求独立撰写解决方案。

机器学习项目与合作

• 通过小组合作完成有意义的机器学习项目是课程目标之一。

• 学生常选择自己感兴趣的领域进行机器学习项目，并在网站上查看往年项目以获取灵感。

• 学生可以从往年项目中获得启发，并邀请他们以小组形式进行课程项目。

后续行动建议

课程团队规模和项目要求

• 项目组通常由2到3人组成，个人完成也可接受。

• 对于庞大的项目，允许四人小组，但对四人小组有更高标准。

• 欢迎新生加入斯坦福大学。

课程日程安排和讨论区

• 主讲课程在周一和周三，周五有讨论课。所有内容都会录制并通过在线网站播放。

• 讨论课由助教主持，出席是自愿的。前几次将深入学习先修知识。

• 后续讨论课将涉及更高级别的选修内容。

在线工具和互动平台

• Piazza是在线讨论板块，鼓励积极参与回答问题。

• 私人问题可通过邮件联系教学团队。技术问题建议在Piazza上提问以获得更快解答。

考试方式和最新变化

• 使用Gradescope进行在线评分。今年更新为Python而非MATLAB，并采用开卷考试形式。

• 鼓励在Piazza上发布问题以获得更快速度的回复。 Grading系统为Gradescope。

总结

课程安排

课程内容和安排

• 学期中考试是有趣的，会让你喜欢上它。

• 课程可能在春季开设，具体信息请查看网站日历。

• 所有讲座和讨论课都会录制并上传至网站。

办公时间和作业安排

• 本学期办公时间增加到每周60小时，以减少拥挤情况。

• 作业截止日期将在课堂上宣布，并在网站上发布详细日历。

与其他机器学习课程比较

• CS229a相对更注重应用，CS229更数学化。

• CS229a是翻转教室形式，主要通过在线视频学习，并进行编程练习。

建议和注意事项

• 如果对CS229和CS230感到准备就绪，请选择这两门课程。

• CS229a涉及更多实践操作，而CS229更注重数学推导。

深度学习与机器学习算法区别

• CS230侧重深度学习算法，而CS229、CS229a覆盖更广泛的机器学习算法范围。

三门课程之间的差异

• 三门课程内容没有太多重叠，在不同角度涵盖相关算法。

[#](1953秒）结尾及提问环节

AI与机器学习

• AI世界和机器学习世界，AI比机器学习更大，而机器学习比深度学习更大。

• 在斯坦福读书的好处之一是可以选择多门课程，包括CS229作为斯坦福机器学习领域的核心。

多门课程的重要性

• 毕业后成为专家需要掌握机器学习、深度学习、概率统计、凸优化等多方面知识。

• 鼓励学生选修多门课程以获取不同视角。

机器学习概述

• 介绍主要的机器学习领域和未来10周的内容。

• 了解什么是机器学习及其在各个领域中的应用。

利用机器学习改变世界

• 通过道德和原则使用机器学习技术改善医疗系统、教育方式和民主制度。

定义与经验

• Arthur Samuel将“无需明确编程即使计算机具有自我学习能力”定义为“机器学习”。

Tom Mitchell关于“良构化问题”的定义

机器学习工具概述

切换到白板和介绍

• 计划讲解主要的机器学习工具类别，以及本季末你将学到的内容。

监督学习

• 监督学习是最广泛使用的机器学习工具之一。

• 监督学习问题是给定数据集，找到从X到Y的关系映射。

• 在监督学习中，通过拟合直线来估计或预测价格。

学习算法选择

• 拟合数据可能有多种方式，如拟合二次函数。

• 如何在不同模型中进行选择将会花费很多时间。

回归问题与分类问题

回归问题与分类问题定义

• 回归指y是连续值，例如房价预测。

• 分类问题指y取离散值，例如肿瘤是否恶性。

可视化数据集

• 使用符号表示正负样本，在直线上展示数据集。

多维特征输入

机器学习基础概念

数据集和特征

• 数据集包含肿瘤大小和患者年龄等特征。

• 使用肿瘤大小和年龄等特征预测肿瘤良性或恶性。

• 在实际应用中，通常会有更多特征，难以在图表上展示。

多维特征数据处理

• 实际的乳腺癌预测问题涉及多个特征，无法简单绘制在二维图表上。

• 高维数据难以可视化，需要学习算法处理大量特征。

支持向量机与高维数据表示

• 学习算法可以处理大量特征，支持向量机使用无限维度向量表示患者信息。

• 通过核方法构建学习算法处理高维数据。

监督学习与自动驾驶示例

• 监督学习关键是给定输入X和标签Y，在训练过程中找到最适合的映射关系。

自动驾驶技术概述

驱动方向和神经网络输出

• 人类司机选择的Y标签显示在图像中，白色区块表示司机转向略微向左。

• 神经网络初始输出为模糊白色涂抹，随着反向传播学习算法的学习，输出逐渐变得清晰，开始模仿人类选择的驾驶方向。

• 这是监督学习的示例，人类司机演示输入X和输出Y。

使用神经网络进行自动驾驶

• 学习算法学习后，通过神经网络实现自动驾驶。

• 通过训练两个不同模型来应对不同道路情况，并使用仲裁器确定最适合特定情况的模型。

从单车道到双车道

• 在行驶过程中根据情况切换不同训练模型以适应不同道路类型。

自动驾驶技术发展趋势

• 目前所展示的自动驾驶技术虽非最先进，但在有限环境下可行。未来几周将介绍更复杂技术。

机器学习策略与实践

• 将探讨机器学习策略及如何有效应用学习算法。

提高团队机器学习效率

• 不同团队应用相同算法效果差异大。精通者善于战略决策提高项目效率。

决策与系统化方法

机器学习导论

删除代码中的语法错误

• 第一个启发是删除所有具有语法错误的代码行。

• 需要说服团队停止这种做法，学习算法通常第一次运行几乎从不成功。

机器学习工程化

• 目标是将机器学习从黑魔法、部落知识和经验主导转变为系统化工程流程。

• 希望传授更多系统化工程原则，提高效率。

系统化工程原则书籍

• 撰写了一本关于机器学习系统化工程原则的书籍，免费提供草稿副本。

• 可通过网站注册邮箱地址获取免费草稿副本。

重点主题：深度学习与CS229比较

• CS229涵盖更广泛的算法，而CS230更专注于深度学习。

• 将讨论无监督学习和热门领域深度学习。

无监督学习与聚类算法

• 区分监督和无监督学习，并介绍K均值聚类等算法。

• 谷歌新闻等应用聚类算法对数据进行结构性分析。

应用领域举例及特征组合

• 聚类算法在新闻分类、遗传数据分析等方面有广泛应用。

社交网络和市场细分

• 社交网络群组和社区: 通过LinkedIn、Facebook等社交网络，识别朋友群组和紧密社区。

• 市场细分: 公司利用客户数据库对用户进行分类，如年轻专业人士、家庭主妇等，以便分开营销。

• 无监督学习与聚类学习的区别: 无监督学习使用未标记数据，例如聚类问题。聚类是一种无监督学习方法。

无监督学习示例及应用

• 鸡尾酒会问题: 处理多个重叠声音的算法问题，如在嘈杂房间中记录多人对话并分离声音。

• 文本数据处理: 从互联网获取未标记文本数据，并通过算法学习语言规律和关系。

强化学习与自动驾驶直升机

• 强化学习概念: 强调大部分机器学习经济价值来自于有监督学习，但也指出了无监督学习的重要性。

直升机控制与奖励信号

• 直升机控制: 通过强化学习算法来控制直升机，优化获得好的事物而减少坏的事物。

• 机器人攀爬障碍物: 利用奖励信号指导机器狗学习如何优化奖励，从而攀爬障碍物。

• 强化学习在游戏中的应用: 强化学习在游戏领域取得显著进展，尤其在玩Atari游戏和围棋方面。

强化学习在机器人应用中的突破