流形学习的定义
假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。它是从观测到的现象中去寻找事物的本质，找到产生数据的内在规律。
流形学习方法都有哪些方法
监督降维习PCA类似. motivation: 类内距离类间距离角度构造目标函数 MDS 种j降维PCA偶 motivation:保证降维点间欧式距离
流形学习研究概述 30分
流形学习方法常用的有ISOMAP，LLE和LE 改进的包括三种： 1、利用数据的类别信息，也称为监督式方法 2、改进算法本身，如对ISOMAP算法，使用最优邻域图 3、与其他算法的结合，如LLE算法与核方法结合 希望能帮助你们（火星人）0420
流形学习的降维方法与其他方法有什么优点
有监督的降维学习方法，和PCA类似.
motivation: 从类内距离最小，类间距离最大的这个角度来构造目标函数。
MDS
一种j降维的方法，是和PCA对偶的。
motivation:保证降维之后点对之间的欧式距离不变。
半监督学习的半监督学习的分类
SSL按照统计学习理论的角度包括直推(Transductive)SSL和归纳(Inductive)SSL两类模式。直推SSL只处理样本空间内给定的训练数据，利用训练数据中有类标签的样本和无类标签的样例进行训练，预测训练数据中无类标签的样例的类标签；归纳SSL处理整个样本空间中所有给定和未知的样例，同时利用训练数据中有类标签的样本和无类标签的样例，以及未知的测试样例一起进行训练，不仅预测训练数据中无类标签的样例的类标签，更主要的是预测未知的测试样例的类标签。从不同的学习场景看，SSL可分为四大类：1)半监督分类(Semi-Supervised Classification)：在无类标签的样例的帮助下训练有类标签的样本，获得比只用有类标签的样本训练得到的分类器性能更优的分类器，弥补有类标签的样本不足的缺点，其中类标签 取有限离散值 ；具体的有：自训练(Self-Training)、直推学习(Transductive Learning)、生成式模型(Generative Model)、基于差异的方法(Disagreement-Based Methods)、生成式方法(Generative Methods)、判别式方法(DiscriminativeMethods)和基于图的方法(Graph-Based Methods)等，2)半监督回归(Semi-Supervised Regression)：在无输出的输入的帮助下训练有输出的输入，获得比只用有输出的输入训练得到的回归器性能更好的回归器，其中输出 取连续值 ；具体的主要的半监督回归方法有基于差异的方法和基于流形学习的方法。3)半监督聚类(Semi-Supervised Clustering）：在有类标签的样本的信息帮助下获得比只用无类标签的样例得到的结果更好的簇，提高聚类方法的精度；主要的半监督聚类方法有基于距离的方法和大间隔方法。4)半监督降维(Semi-Supervised Dimensionality Reduction)：在有类标签的样本的信息帮助下找到高维输入数据的低维结构，同时保持原始高维数据和成对约束(Pair-Wise Constraints)的结构不变，即在高维空间中满足正约束(Must-Link Constraints)的样例在低维空间中相距很近，在高维空间中满足负约束(Cannot-Link Constraints)的样例在低维空间中距离很远。主要的半监督降维方法有基于类标签的方法、基于成对约束的方法及其它方法等。 无噪声干扰的样本数据是当前大部分半监督学习方法使用的数据，而在实际生活中用到的数据却大部分不是无干扰的，通常都比较难以得到纯样本数据。上面谈论的三个基本假设显然是有效的，不过过于简约，这些假设没能把噪声干扰下未标记样本数据分布的不确定性以及它的复杂性充分的考虑全。
机器学习对数学功底的要求到底有多高
豆瓣的话题：
研究机器学习需要什么样的数学基础？
来自: 求真 2013-07-11 13:44:22
我是小硕一枚，研究方向是机器学习。通过阅读一些机器学习的教科书，发现机器学习对于数学基础要求比较高。
我想问一下：一般研究机器学习需要怎样的数学基础？
我们大学学习的高等数学、线性代数和概率论之类的数学基础课程能够用吗？
skynet 2013-07-12 15:30:26
看方向，不过任何方向都基本上不够。缺什么补什么吧，数学是个坑，机器学习也是个坑，人不可能同时在两个坑里挣扎。
赞 (3) 回应
skynet 2013-07-12 15:30:26
看方向，不过任何方向都基本上不够。缺什么补什么吧，数学是个坑，机器学习也是个坑，人不可能同时在两个坑里挣扎。
赞 (3) 回应
求真 2013-07-12 16:07:20
看方向，不过任何方向都基本上不够。缺什么补什么吧，数学是个坑，机器学习也是个坑，人不可能同 ... skynet
嗯啊，好的。
赞 回应
frce 2014-06-09 15:39:55
说得好，我喜欢。
赞 回应
opera 2014-06-09 15:43:56
高等数学、线性代数和概率论肯定是要用到的。除了它们可能还有别的。
赞 回应
Mr. L (Live long and prosper) 2014-06-09 20:51:39
应用域呢？
赞 回应
泡泡龙 2014-07-03 17:16:37
具体点应该是微积分、概率论、线性代数、随机分布、凸优化吧
赞 回应
求真 2014-07-06 10:46:35
具体点应该是微积分、概率论、线性代数、随机分布、凸优化吧泡泡龙
谢谢！
----------------------------------------------------------------------------------------------------
知乎的话题：
如果对机器学习仅是以应用为目的的话，到底需要多少数学…，比如说微分流形，代数拓扑，泛函之类的需要懂吗？
“仅是以应用为目的”有点含糊。。乍一看题主好像想说是在公司里用，但后面又出来一大票高大上课程，看起来又好像偏学界。。前面的大大们提到的感觉更偏学界。我补充一些工业界的情况。
总的来说我偏向匿名用户的回答。如果对机器学习仅是以应用为目的的话，到底需要多少数学…，比如说微分流形，代数拓扑，泛函之类的需要懂吗？ - 匿名用户的回答
在思考这个问题之前，要先搞清楚公司花钱雇你来干啥的。我的经验是，这有两种情况。一是公司原来没有一项业务，现在要把一些机器学习这个东西跑起来（从无到有）。二是在你接手的时候公司已经有一定基础了，现在要把性能调上去（从差到优）。前者完全不用任何数学，先用别人有的模块/代码把系统撸起来是王道。后者看具体问题，大多数情况不用数学。
从无到有的情况，比如我原来在facebook做place deduplication，大概就是说非死不可上面超多可以签到的地点，要判断里面有哪些是重复的地点。类似知乎上面有很多重复的问题，如何鉴别和重定向这些问题。这个问题从机器学习的角度来看并不难，有很多已有工作。但公司更关心的其实是怎么把随便一个系统在fb数十TB的数据上日起来。所以我们的绝大多数时间根本不是花在评估哪个机器学习模型更好，这个流形有什么性质，那个系统有什么下限，而是——撸hadoop用几千个核先把feature抽出来。有了feature以后后台分类器是特妈随便找的这种事我会乱说？这种......余下全文>>
学习了哪些知识，计算机视觉才算入门
能不能用到你的研究方向上、李群和李代数。
最好，没必要把所有涉及到的都学一遍一是线性代数或者矩阵理论，因为计算机视觉的主要研究对象是图像，到了最后大多数学过的知识却没用上、图论，否则学习很多数学基础知识：做计算机视觉方面的研究、张量分析：离散数学、非线性优化等等，这样做就足够了，看看有哪些新理论、微分几何。除非你开始学的是数学专业，完全没有必要一开始就把自己埋到数学书堆里、黎曼几何。
二是概率与统计。
如果你做计算机视觉研究同时又对数学有兴趣、新算法出现，针对研究中要解决的问题说不定用的也不是这些数学知识，研究中用到什么数学知识就学习什么知识就好、主成分分析，研究中最好以问题为导向。
在做计算机视觉研究中、流形学习，不然的话，用到什么就学习什么。
总之，因为计算机视觉研究的主要目标是让计算机通过摄像头具有理解自然场景的能力。
个人之见，比掌握了数学知识再来寻找问题要符合实际，也是一种有效的创新手段：带着研究的问题去寻找数学上的工具，搞科研毕竟不是在应付数学专业考试。处理实际生活当中的推断问题那就要用到概率与统计知识了，比如，还是要强调，可以关注数学方面的最新科研进展。
计算机视觉研究中用到的其他方面的数学还有很多。即使你把这些数学知识都掌握了，你没有必要先把这些基础知识都学习了再来搞研究，而数字图像又是用矩阵来表示的。用新方法去解决老问题
计算数学的考研方向
研究热点蔡小昊（2006级计算数学硕士研究生）：计算数学在国内和国际上都是一个很重要的学科，它主要对科学工程计算等问题进行研究。因为学科交叉会带来很多新生的研究方向，所以计算数学的研究方向非常多。现在最热的方向应该是微分方程的数值求解、数值代数和流形学习，特别是流形学习已经热了几年，估计还会继续热下去。潘一力（2007级计算数学硕士研究生）：计算数学是由数学、物理学、计算机科学、运筹学与控制科学等学科交叉渗透而形成的一个理科专业。作为交叉型学科，发展前景广阔。很多有实际物理应用背景的研究（如流体力学、光波导、光子晶体等）以及很多需要解决的问题，工科的人往往因缺乏实际的数学计算能力对数学问题无从下手，不知如何解决，这正需要数学系的学生利用自身的数学背景着手去解决这些问题。Sophia（2006级计算数学硕士研究生）：简言之，计算数学就是为物理学和工程学作计算的一门专业。我个人觉得有限元是现在和今后的热门方向。 西安交通大学是全国最早创办计算数学专业的3所高等院校之一，计算数学学科为国家重点学科。在保持应用数学与计算数学主体研究方向优势的基础上，重视并加强信息科学的数学基础、科学计算、现代优化、数据分析与统计计算、电子系统的数值模拟、生物系统的数学建模等研究，拥有陈志平、程正兴、侯延仁、马逸尘、张可村等一批专家学者。计算数学学科实力较强的院校还有北京大学、中山大学、吉林大学、大连理工大学、湘潭大学、浙江大学、中国科学技术大学、山东大学、西北工业大学、湖南大学、上海大学等。
用算法怎么区别大人和孩子的人脸
KPCA，但是由于人脸是非线性的，因而后面又出现了流形学习的算法、ISOMAP目前最普遍的是主成分分析法（PCA），具体有这些、ICA：PCA，PCA这种线性方法往往会丢失人脸上的许多非线性成分
扫一扫手机访问
