在线性回归中，对于特征集过小的情况，容易造成欠拟合（underfitting），对于特征集过大的情况，容易造成过拟合（overfitting）。针对这两种情况有了更好的解决办法
欠拟合指的是模型在训练和预测时表现都不好的情况，欠拟合通常不被讨论，因为给定一个评估模型表现的指标的情况下，欠拟合很容易被发现。矫正方法是继续学习并且试着更换机器学习算法。
对于过拟合，特征集合数目过多，我们需要做的是尽量不让回归系数数量变多，对拟合（损失函数）加以限制。
（1）当然解决过拟合的问题可以减少特征数，显然这只是权宜之计，因为特征意味着信息，放弃特征也就等同于丢弃信息，要知道，特征的获取往往也是艰苦卓绝的。
（2）引入了 正则化 概念。
直观上来看，如果我们想要解决上面回归中的过拟合问题，我们最好就要消除x_3x3和x_4x4的影响，也就是想让\theta_3{,}\theta_4θ3,θ4都等于0，一个简单的方法就是我们对\theta_3{,}\theta_4θ3,θ4进行惩罚，增加一个很大的系数，这样在优化的过程中就会使这两个参数为零。
