机器学习:概述1(概念,发展史,常用术语，算法分类,分类和回归概念)
·
目录标题
1956年是人工智能元年 约翰·麦卡锡(John McCarthy)人工智能之父 达特茅斯会议
机器学习之父 亚瑟· 塞缪尔
人工智能发展三要素: 数据，算法，算力
一、人工智能三大概念及三者关系
人工智能（AI），机器学习（ML），深度学习(DL)
artificial intelligence
算法的学习方式有两种:
基于规则的学习(我写代码的if 判断)
基于模型的学习
二、名词解析
三、算法分类
- 监督学习：有特征,有标签，目标值连续（回归） 目标值离散（分类）
- 无监督学习:无特征，无标签,无目标值，根据样本的特征进行分类
- 半监督学习:有特征,部分有标签 可大幅减低标记成本
- 强化学习: 寻找最短路径(最优解),以便获取最多的奖励
分类总结图
额外储备知识
欧式距离:对应维度差值 平方和,开平方根
一元线回归公式 ： y = kx +b
k:斜率 -> Weight ,权重
b:截距 -> bias,偏置
四、分类和回归概念
| 层面 | 含义 |
|---|---|
| 任务类型 | 预测离散类别 → 分类任务；预测连续值 → 回归任务 |
| 模型归类 | 一个模型默认/主要用于哪种任务，就被叫“分类模型”或“回归模型 |
分类模型
| 模型 | 显示效果 | 说明 |
|---|---|---|
| 逻辑回归 | Logistic Regression \text{Logistic Regression} Logistic Regression | 线性分类器，输出概率，二分类/多分类 |
| KNN 分类器 | KNN Classifier \text{KNN Classifier} KNN Classifier | 基于邻居投票 |
| 决策树分类器 | Decision Tree Classifier \text{Decision Tree Classifier} Decision Tree Classifier | 基于特征分裂 |
| 随机森林分类器 | Random Forest Classifier \text{Random Forest Classifier} Random Forest Classifier | 多棵决策树投票 |
| SVM 分类器 | SVM Classifier \text{SVM Classifier} SVM Classifier | 找最大间隔超平面 |
| 朴素贝叶斯 | Naive Bayes \text{Naive Bayes} Naive Bayes | 基于概率 |
| 神经网络分类器 | Neural Network Classifier \text{Neural Network Classifier} Neural Network Classifier | 多层感知机等 |
| XGBoost / LightGBM 分类器 | XGBoost / LightGBM Classifier \text{XGBoost / LightGBM Classifier} XGBoost / LightGBM Classifier | 梯度提升树 |
回归模型
| 模型 | 显示效果 | 说明 |
|---|---|---|
| 线性回归 | Linear Regression \text{Linear Regression} Linear Regression | 拟合直线 |
| 岭回归 | Ridge Regression \text{Ridge Regression} Ridge Regression | 带 L2 正则的线性回归 |
| Lasso 回归 | Lasso Regression \text{Lasso Regression} Lasso Regression | 带 L1 正则的线性回归 |
| KNN 回归器 | KNN Regressor \text{KNN Regressor} KNN Regressor | 邻居取平均 |
| 决策树回归器 | Decision Tree Regressor \text{Decision Tree Regressor} Decision Tree Regressor | 叶子节点输出均值 |
| 随机森林回归器 | Random Forest Regressor \text{Random Forest Regressor} Random Forest Regressor | 多棵树平均 |
| SVR | SVR \text{SVR} SVR | 支持向量回归 |
| 神经网络回归器 | Neural Network Regressor \text{Neural Network Regressor} Neural Network Regressor | 输出连续值 |
| XGBoost / LightGBM 回归器 | XGBoost / LightGBM Regressor \text{XGBoost / LightGBM Regressor} XGBoost / LightGBM Regressor | 梯度提升树 |
算法和模型归类是分开的,例如: 同一个算法（如 KNN、决策树）既能做分类也能做回归，所以会有“KNN分类器”“KNN回归器”“决策树分类器”“决策树回归器”等不同叫法
哪些算法“两边都能干”？
| 算法 | 显示效果 | 分类 | 回归 |
|---|---|---|---|
| KNN | KNN \text{KNN} KNN | ✅ | ✅ |
| 决策树 | Decision Tree \text{Decision Tree} Decision Tree | ✅ | ✅ |
| 随机森林 | Random Forest \text{Random Forest} Random Forest | ✅ | ✅ |
| 神经网络 | Neural Network \text{Neural Network} Neural Network | ✅ | ✅ |
| XGBoost | XGBoost \text{XGBoost} XGBoost | ✅ | ✅ |
| LightGBM | LightGBM \text{LightGBM} LightGBM | ✅ | ✅ |
| SVM | SVM \text{SVM} SVM | ✅（SVC） | ✅（SVR） |
都喜欢专一的人，特别记录这两个专一模型
| 模型 | 显示效果 | 任务类型 |
|---|---|---|
| 逻辑回归 | Logistic Regression \text{Logistic Regression} Logistic Regression | 分类 |
| 线性回归 | Linear Regression \text{Linear Regression} Linear Regression | 回归 |
更多推荐
0
0- 0
已为社区贡献4条内容
所有评论(0)