coursera-斯坦福-机器学习-吴恩达-机器学习课程总结

1结论

1.1总结和致谢

在这门课中 我们花了大量的时间 介绍了诸如线性回归 逻辑回归 神经网络 支持向量机 等等一些监督学习算法, 这类算法需要带标签的数据和样本 ,比如 x(i) y(i)。

然后我们也花了很多时间介绍无监督学习 ,例如 K-均值聚类 用于降维的主成分分析。 以及当你只有一系列无标签数据 x(i) 时的 异常检测算法, 当然 有时带标签的数据 也可以用于异常检测算法的评估 。

coursera-斯坦福-机器学习-吴恩达-第11周笔记-ORC系统

1图像ORC

1.1问题描述

在这一段介绍一种 机器学习的应用实例 照片OCR技术。 我想介绍这部分内容的原因 主要有以下三个 ,

  1. 第一 我想向你展示 一个复杂的机器学习系统 是如何被组合起来的
  2. 第二 我想介绍一下 机器学习流水线(machine learning pipeline)的有关概念, 以及在决定下一步做什么时, 如何分配资源。
  3. 最后,通过介绍照片OCR问题 的机会来告诉你, 机器学习的诸多 有意思的想法和理念 。其中之一是如何将机器学习 应用到计算机视觉问题中, 第二是有关 人工数据合成(artificial data synthesis)的概念。

coursera-斯坦福-机器学习-吴恩达-第10周笔记-使用大数据训练

1 大数据下的梯度下降

在接下来的几个视频里 ,我们会讲大规模的机器学习, 就是用来处理大数据的算法。 如果我们看近5到10年的机器学习的历史 ,现在的学习算法比5年前的好很多, 其中的原因之一就是我们现在拥有很多可以训练算法的数据 。

1.1 大数据

为什么我们喜欢用大的数据集呢?

coursera-斯坦福-机器学习-吴恩达-第9周笔记(下)-推荐系统

1预测电影等级

推荐系统(recommender systems),比如对像 Netflix 这样的公司 ,他们向用户推荐的电影 占了用户观看的电影的 相当大一部分 。

对于机器学习来说 特征量是重要的, 你选择的特征 对你学习算法的表现有很大影响。 在机器学习领域 有这么一个宏大的想法, 就是对于一些问题 存在一些算法, 能试图自动地替你学习到一组优良的特征量。

而推荐系统 就是这种情形的一个例子。还有其他很多例子 但通过学习推荐系统 ,我们将能够 对这种学习特征量的想法 有一点理解。

coursera-斯坦福-机器学习-吴恩达-第9周笔记(上)-异常检测

1异常检测

异常检测(Anomaly detection)问题 是机器学习算法 的一个常见应用, 这种算法的一个有趣之处在于 :它虽然主要用于 非监督学习问题 ,但从某些角度看 它又类似于一些监督学习问题 。

1.1引入

那么 什么是异常检测呢?

为了解释这个概念 ,让我举一个例子吧: 假想你是一个 飞机引擎制造商, 当你生产的飞机引擎 从生产线上流出时 你需要进行 QA (质量控制测试), 而作为这个测试的一部分 你测量了飞机引擎的一些特征变量 ,比如 你可能测量了 引擎运转时产生的热量, 或者引擎的振动等等 。采集这些特征变量 这样一来 你就有了一个数据集 ,从x(1)到x(m), 如果你生产了m个引擎的话 也许你会将这些数据绘制成图表。

coursera-斯坦福-机器学习-吴恩达-第8周笔记-无监督学习

对于无监督学习我们主要学习两种算法:聚类(K-means)和维度约简(PCA法)。

1聚类算法clutering

1.1聚类算法简介

无监督学习:我们面对的是一组无标记的训练数据, 数据之间, 不具任何相关联的标记。如图:

coursera-斯坦福-机器学习-吴恩达-第7周笔记-支持向量机SVM

1大间距分类器 large margin classifier

1.1通过逻辑回归引入SVM

先回顾一下逻辑回归的相关概念
$h_\theta(x) = \frac{1}{1+e^{-\theta^T x}}$

image

  • IF y=1, we want hθ(x)≈1, θTx≫0
  • IF y=0, we want hθ(x)≈0, θTx≪0

其CostFunction为:

coursera-斯坦福-机器学习-吴恩达-第6周笔记-算法改进and机器学习系统设计

1算法改进

1.1评价算法

1.1.1模型诊断

对于正则化线性回归,其代价函数为:
$min\theta\ \dfrac{1}{2m}\ \sum{i=1}^m (h\theta(x^{(i)}) - y^{(i)})^2 + \lambda\ \sum{j=1}^n \theta_j^2$

当面对测试集,你的算法效果不佳时,你一般会怎么做?

coursera-斯坦福-机器学习-吴恩达-第5周笔记-反向传播

1代价函数and反向传播

1.1代价函数

首先定义一些我们需要使用的变量:

  • L =网络中的总层数
  • $s_l$ =第l层中的单位数量(不包括偏差单位)
  • K =输出单元/类的数量

首先,回想一下“逻辑回归”正则化的成本函数是:

coursera-斯坦福-机器学习-吴恩达-第4周笔记-神经网络

1 提出神经网络的动机

前面我们学习了,线性回归、逻辑回归,他们可以很好的解决一些预测问题。但是面对一些多特征的问题,比如以下的情况,他们并不能很好的画出分类边界线。

这种时候需要用到多项式回归(非线性的),这种函数画出的曲线可以有任意角度。但是这种函数会因为特征量的增多导致二次项数的剧增。 比如在图像识别中,一个50×50像素的图片,拥有的特征量为2500,那么它的二次项数为2500×2500/2,大约为3百万个。

在这种情况下,神经网络在1970左右被提出。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×