机器学习周报（7.1-7.7）

文章目录

摘要

本周继续进行机器学习，通过预测宝可梦cp值和宝可梦分类的例子，对线性回归有了清晰的了解；为提高模型在训练集和测试集上的准确性，增加了模型的复杂性，但模型过于复杂会出现过拟合现象，我也简单学习了解决过拟合的几种方法。对于分类问题，线性回归是连续的函数不适合解决分类问题，而解决分类问题需要使用逻辑回归

Abstract

This week continued with machine learning and gained a clear understanding of linear regression through examples of predicting Pokemon cp values and Pokemon classification; In order to improve the accuracy of the model on the training set and the test set, the complexity of the model was increased, but the overfitting phenomenon would occur if the model was too complicated. I also briefly learned several methods to solve the overfitting. For classification problems, linear regression is a continuous function that is not suitable for solving classification problems, which requires the use of logistic regression

1、预测神奇宝贝

预测宝可梦进化后的cp值（战力值），首先要找一个函数，input为一个宝可梦，output是宝可梦进化后的cp值；
在这里插入图片描述

f(一个宝可梦)=进化后cp值
输入X：一只宝可梦，Xcp：宝可梦的战力值，Xs：宝可梦的种类，Xhp：宝可梦的身高，Xw：宝可梦的重量，输出Y.
在这里插入图片描述
先找一个简单的model y=b+w*x(w,b是参数，可以是任何值)

X的右上角上标表示一个完整的宝可梦的数据
在这里插入图片描述

十个宝可梦的数据
在这里插入图片描述

L函数是评估参数w、b的好坏(这里采用的是最小二乘法)。在这里插入图片描述
Loss函式作图如下，横轴为b，纵轴为w，颜色表示Loss函式的好坏，越接近红色表示Loss函式输出越大，越接近蓝色表示Loss函式输出越小

如何找到最好的Function
第一种方法：穷举w,b带入Loss中，找使得Loss函数值最小的w,b;

在这里插入图片描述

第二种方法：梯度下降法（Gradient Descent）
与第一章学习中的方法一样，分一个参数和两个参数两种情况

对于Linear Regression，无Local minima，梯度下降基本上都能找到最优点。

在这里插入图片描述

在这里插入图片描述
按照这种方法更新参数，实际上Loss函式的值沿着法线在更新

实际结果
使用训练集（10组上面数据）和测试集（另外10组数据）计算误差来验证训练好的模型的好坏

1.简单线性模型
在训练集上的Loss值为31.9比在测试集上的Loss值为35小
在这里插入图片描述

2.选择更复杂的模型

该模型中，在训练集上的Loss值为15.4，在测试集上的Loss值为18.4 在这里插入图片描述

进一步复杂的模型

该模型中，在训练集上的Loss值为15.3，在测试集上的Loss值为18.1
在这里插入图片描述

选择更复杂的模型可能会出现过拟合的情况

过拟合是指在机器学习中，模型在训练集上表现较好，但在测试集或实际应用中表现较差的现象。

在这里插入图片描述

模型越复杂，在训练集上的Loss值变小了，但是在测试集上的Loss值反而变大了，这种现象称为过拟合。所以要选择合适的模型

在这里插入图片描述

增加训练数据并且考虑上宝可梦的物种类别
在这里插入图片描述

再设计一个更复杂的model，将Xhp(血量)，Xh(身高)，Xw(重量)考虑进去

在这里插入图片描述
但是将更多的特征值考虑进去后，发生了过拟合

解决过拟合的几种方法

1.增加训练数据

通过增加训练数据量，从而减少模型在训练集上的过拟合风险，提高模型的泛化能力。

2.正则化

在损失函数中引入正则化项，用于限制模型参数的大小，减小模型的复杂度，从而减少过拟合。

3.早停策略（Early Stopping）

在训练过程中，根据验证集的性能表现，在验证集上性能不再提升时提前停止训练，从而防止模型在训练集上过拟合。

4.随机丢弃（Dropout）

在训练过程中，随机丢弃一些神经元的输出来减少神经元之间的依赖性；让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征。

5.控制模型复杂度

通过减少模型的层数、节点数或卷积核的个数等方式降低模型的复杂度，从而减小过拟合的风险。对于模型的设计而言，我们应该选择简单、合适的模型解决复杂的问题。也不宜为了一昧的追求低误差而选择特别复杂的模型。

6.降低特征的数量

对于一些特征工程而言，可以降低特征的数量——删除冗余特征，人工选择保留哪些特征。这种方法也可以解决过拟合问题。

加入正则化（Regularization） 项，使其更平滑。
在这里插入图片描述

在这里插入图片描述越大，更倾向考虑w的值（这个Function的平滑程度跟bias没有关系），表示Function越平滑；但是不能太平滑，否则在从测试集上的数据会表现变差

2、分类神奇宝贝

分类是输入一个相关信息后，输出为诸多选择中的最符合预期的一个结果
在这里插入图片描述

以宝可梦为例，输入一只宝可梦，输入为这只宝可梦属于哪一类
在这里插入图片描述

用数值表示输入的一只宝可梦
用皮卡丘为例子
Total：整体强度，表示宝可梦有多强，比如皮卡丘是320
HP：血量，35
Attack：攻击力，55
Defense：防御力，40
SP Atk：特殊攻击力，50
SP Def：特殊防御力，50
Speed：速度，90
这七个数值组成一个向量
在这里插入图片描述

把Classification用Regression的方法处理解决
以BInary Classification为例，在训练数据时，让Class1的输出为1，让Class2的输出为-1。在测试数据时，Regression的输出是一个数值，此时，输出数值接近1时说明他是Class1，输出数值接近-1时说明他是Class2.

在这里插入图片描述
这样做存在的问题
1.如右图中Class1中右下角的这些点，如果继续用绿色那条线所代表的函数进行预测，这些新加入的点的误差将特别的大，为了缓解由此带来的误差，绿色的线向下移动到紫色的线所代表的函数，以减少误差
2.Regression的output是连续性质的数值，而classification要求的output是离散性质的点，我们很难找到一个Regression的function使大部分样本点的output都集中在某几个离散的点附近因此，Regression定义model好坏的定义方式对classification来说是不适用的。