关于机器学习实战，那些教科书里学不到的12个“民间智慧”

大数据文摘出品

来历：towardsml

编译：刘佳玮、王缘缘、Walker

呆板进修算法被以为可以或许通过进修数据来弄清晰怎样执行重要使命。

这意味着数据量越大，这些算法就可以办理越发伟大的题目。然而，开拓乐成的呆板进修应用措施必要必然的“民间能力”，这在教科书或呆板进修入门课程中很难找到。

Pedro Domingos传授的一篇很好的研究论文，该论文搜集了呆板进修研究职员和从颐魅者的履历教导。

https://homes.cs.washington.edu/~pedrod/

要停止的陷阱，要存眷的重要题目以及一些常见题目的谜底。筹备好去相识了吗?

1. 进修=暗示+评估+优化

你有一个应用措施，你以为呆板进修也许是一个很好的选择。此刻，在呆板进修规模，每年城市有大量的呆板进修算法可供选择，稀有百种呆板进修算法问世。应该行使哪一个?

在这个庞大的空间中不迷失的要害是要大白全部呆板进修算法的都由三个焦点要素构成：

• 暗示：输入数据，即要行使的特性，进修器和分类器必需以计较机可以领略的说话暗示。进修器可以进修的分类器集称为进修器的假设空间。假如分类器不在假设空间中，则无法举办进修。

澄清声名：分类器与进修器的寄义是什么?假设你有实习数据，并行使你构建另一个措施(模子)的措施处理赏罚这些数据，譬喻决定树。进修器是从输入数据构建决定示范子的措施，而决定示范子是分类器(可以或许为每个输入数据实例提供猜测输出的对象)。

• 评估：必要评估函数来区分好的分类和坏的分类。算法内部行使的评估函数也许与我们但愿分类器优化的外部评估怀抱差异(为了便于优化，而且与后头接头的题目有关)
• 优化：最后，我们必要一种要领来在分类器中举办搜刮，以便我们可以选择最佳的分类器。进修器服从的要害是选择优化技能。凡是从行使现成的优化器开始。假如必要，往后你可以用本身的计划替代它们。

下表表现了这三个组件中每个组件的一些常见示例。

2. 泛化才有效

呆板进修的根基方针是归纳综合超出实习齐集的例子。由于，无论我们拥有几多数据，我们都不太也许在测试时再次看到这些确切的示例。在实习集上做得很好很轻易。初学者中最常见的错误是测试实习数据并获得乐成的假象。假如所选分类器随后在新数据长举办测试，则凡是不会比随机揣摩更好。因此，从一开始就配置一些数据，而且仅行使它来测试最终选择的分类器，然后在整个数据上进修最终分类器。

虽然，保存数据会镌汰可用于实习的样本数。这可以通过交错验证来缓解：好比，将你的实习数据随机分成十个子集，在实习别的部门时保持每个子集，在其未行使的示例上测试每个进修的分类器，并对功效求均匀值，来看特定参数配置的结果怎样。

3. 只稀有据还不足

当泛化是方针时，我们会碰着另一个首要效果：仅凭数据是不足的，无论你拥有几多数据。假设我们想进修一百万个例子中100个变量的布尔函数(0/1分类)。这意味着2 ^100-10^6个例子，你不知道它们的类。假如手头没有更多信息，这怎么能优于随机揣摩呢?

好像我们陷入了逆境。荣幸的是，我们想要在实际天下中进修的特征并不是从全部数学上也许的函数齐集同一绘制的!现实上，很是一样平常的假设——就像具有相似类的相同示例——是呆板进修云云乐成的一个重要缘故起因。

这意味着专业常识和对数据的领略对付做出正确的假设很是重要。对进修常识的需求应该不敷为奇。呆板进修并不神奇，它无法从无到有。它的浸染是从更少的对象中得到更多。与全部工程一样，编程必要做许多事变：我们必需从新开始构建全部对象。进修更像是农业，让大天然完成大部门事变。农夫将种子与营养物质团结起来栽培农作物。进修者将常识与数据相团结以优化措施。

4. 过拟合的多面性

太过拟合的题目是呆板进修的题目。当你的进修器输出一个对实习数据100%精确但对测试数据只有50%精确的分类器时，现实上它可以输出一个对两者都精确度为75%的分类器，它已颠末拟合。

呆板进修中的每小我私人都知道过拟合，但它有多种情势，并不是很明明。领略过拟合的要领之一是将泛化偏差解析为毛病和方差。

毛病是进修者一向进修同样错误的倾向。与真实信号无关，方差是进修随机事物的倾向。飞镖图比可以更好地领略这一点，如下图所示：

譬喻，线性进修用具有较高的毛病，由于当两个类之间的分别不是明晰的超平面时，进修器无法正确地鉴别相关。决定树没有这个题目，由于它们的进修要领很机动。但另一方面，它们也许有高度差别——在统一使命的差异实习数据集上进修的决定树凡是长短常差异的，而现实上它们应该是沟通的。

此刻，如那里理赏罚过拟合?

可以在此处行使交错验证，譬喻通过行使它来选摘要进修的决定树的最佳巨细。但请留意，这里尚有一个题目：假如我们行使它来选择太多参数，它自己就会开始过拟合，我们又回到了同样的陷阱。

除了交错验证之外，尚有很多要领可以处理赏罚过拟合。最受接待的是在评估函数中添加正则化项。另一个选择是执行卡方等统计明显性检讨，以说明添加更多伟大性是否会对类漫衍发生任何影响。这里的一个重点是没有特定的技能“办理”过拟合题目。譬喻，我们可以通过陷入欠拟合(毛病)的相反偏差来停止太过拟合(方差)。同时停止两者都必要进修一个美满的分类器，并没有一种技能总能做到最好(没有免费的午餐)。

5. 高维中的直觉失效

过拟合后，呆板进修中最大的题目是维数的谩骂。这个表达式意味着当输入是高维的时，很多在低维度下事变正常的算法变得难以处理赏罚。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!