机器学习的数学基础

 

机器学习的数学基础

1.      现代数学

1.1.       概率论

1.1.1.    说明事物可能会怎么样

1.2.       数值分析

1.2.1.    分析揭示为什么这样,以及如何变成这样

1.3.       线性代数

1.3.1.    事物从来不只有一个样子,使我们能从多个角度观察事物

2.      相似性的度量

2.1.       两个向量之间的距离计算,在数学上称为向量的距离,也称为样本之间的相似性度量

2.2.       范数

2.2.1.    向量的范数可以简单、形象地理解为向量的长度,或者向量到坐标系原点的距离,或者相应空间内的两点之间的距离

3.      各类距离的意义与Python的实现

3.1.       距离公式

3.1.1.    闵可夫斯基距离

3.1.2.    欧式距离

3.1.3.    曼哈顿距离

3.1.4.    切比雪夫距离

3.1.5.    夹角余弦

3.1.6.    汉明距离

3.1.7.    杰卡德相似系数

4.      理解随机性

4.1.       蝴蝶效应

4.2.       确定性与随机性

5.      回顾概率论

5.1.       概率论基础

5.1.1.    样本

5.1.2.    样本空间

5.1.3.    随机事件

5.1.4.    随机变量

5.1.5.    随机变量的概率分布

5.2.       贝叶斯公式

5.2.1.    贯穿机器学习总随机问题分析的全过程

5.2.2.    从文本分类到概率模型,基本原理都是贝叶斯公式,它是机器学习领域最重要的基础概念

6.      多元统计基础

6.1.       随机向量的联合概率分布和边缘概率分布描述了对象特征间的概率关系

6.2.       在机器学习中,对象及对象构成的矩阵都是多元数据,因此,所有与概率相关的算法都以对象的联合概率分布和边缘概率分布为运算基础

6.3.       多元统计算法

6.3.1.    朴素贝叶斯分析

6.3.2.    回归分析

6.3.3.    统计学习理论

6.3.4.    聚类分析

6.3.5.    主成分分析

6.3.6.    概率图模型

7.      特征间的相关性

7.1.       随机变量的数字特征 规律性

7.1.1.    期望

7.1.2.    方差

7.1.3.    协方差矩阵和相关系数

  • 相关系数
  • 马氏距离

8.      再谈矩阵-空间的变换

8.1.       由特征列的取值范围所有构成的矩阵空间应具有完整性,即能够反映事物的空间形式或变化规律

8.1.1.    向量

8.1.2.    向量张成空间

8.1.3.    向量的空间变换

8.1.4.    向量组与矩阵的变换–理解矩阵乘法

8.1.5.    线性变换–特征值与特征向量

9.      数据归一化

9.1.       数据标准化

9.2.       对欧式距离的标准化

对象、矩阵与矢量化编程

 

# 对象、矩阵与矢量化编程
## 对象与矩阵
### 在机器学习中,对象是指含有一组特征的行向量,利用矩阵将对象进行量化
## 初识矩阵
### 矩阵是具有相同特征和维度的对象集合,表现为一张二维数据表
### 一个对象表示为矩阵中的一行,一个特征表示为矩阵中的一列,每个特征都有数值型的取值
### 特征相同、取值相异的对象集合所构成的矩阵。使对象之间既相互独立,又相互联系
### 由特征列的取值范围所有构成的矩阵空间应具有完整性,即能够反映出事物的空间形式或变化。
### 分类或聚类可以看做根据对象特征的相似性与差异性,对矩阵空间的一种划分
### 预测或回归可以看做根据对象在某种序列(时间)上的相关性,表现为特征取值变化的一种趋势
### 分类、聚类和回归是机器学习的最基本的主题。通过矩阵,可以构建客观事物的多维数学模型,并通过条件概率分布、梯度、神经网络、协方差等运算方式,多角度地认识和分析事物
## 矢量化编程与GPU运算
### 矢量化编程 可以直接将数学公式转换为相应的程序代码,极大的方便了程序的阅读和调试
### GPU芯片在浮点运算、大规模并行计算方面,可以提供数十倍乃至上百倍于CPU的性能
## 理解数学公与NumPy矩阵运算
## Linalg线性代数库

机器学习的几个思考

1、机器与人的区别

人是一种善于利用工具来解决问题、实现目的的动物

人和机器(计算机)对比表现出来的几个缺点:

1、信息存储量

2、对信息的计算速度

3、重复执行

 

2、机器模拟人进行工作

人类的行为是一种根据反馈信息来进行判断,然后去执行。机器模拟此过程,也应该按照这个逻辑进行:

1、机器必须学会辨别物体。物体通常带有一定的特征,人是通过这些特征来识别不同的物体。带有同样特征的,定义为同一类型物体,不同特征的为不同物体。

 

人工智能也一样,必须通过寻找特征、识别特征来识别物体。然后才能进行进一步的操作。