呆板进修免费跑分神器：集成各大数据集，毗连GitHub就能用

本文经AI新媒体量子位（公家号ID:QbitAI）授权转载，转载请接洽出处。

搞呆板进修的小搭档们，免不了要在各类数据集上，给AI模子跑分。

此刻，Papers with Code (谁人以论文搜代码的神器) 团队，推出了自动跑分处事，名叫sotabench，以跑遍全部开源模子为己任。

有了它，不消上传代码，只要毗连GitHub项目，就有云端GPU帮你跑分；每次提交了新的commit，体系又会自动更新跑分。尚有天下排行榜，可以调查各路强手的后果。

除了支持各大主流数据集，还支持用户上传本身的数据集。

也可以看看，别人的论文功效，到底靠谱不靠谱。

好比说，fork一下Facebook的FixRes这个项目，设置一下评估文件：

然后一键关联，让Sotabench的GPU跑一下ImageNet的图像分类测试。

就能获得这样的功效：

Top-1精确率，Top-5精确率，跟论文的功效有何差距（见注），运行速率，环球排名，所有一览无余。

注：ε-REPR，功效与论文功效差距在0.3%以内时打勾，差距≥0.3%且比论文功效差表现为红叉，比论文功效好表现为勾+

这个免费的跑分神器，宣布一天，便受到热烈接待：推特点赞600+，Reddit热度270+。

网友纷纷暗示：这对开拓者社区来说太有效了！

那么，先来看一下sotabench的成果和用法吧。

团队说，sotabench就是Papers with Code的双胞胎姐妹：

Papers with Code各人很认识了，它调查的是论文陈诉的跑分。可以用来探求高分模子对应的代码，是个造福人类的器材。

与之互补，sotabench调查的是开源项目，代码现实运行的功效。可以测试本身的模子，也能验证别家的模子，是不是真有论文说的那么强。

它支持跟其他模子的比拟，支持查察速率和精确率的弃取环境。

那么，sotabench怎么用？简朴，只要两步。

第一步，先在当地评估一下模子：

在GitHub项目标根目次里，建设一个sotabench.py文件。内里可以包括：加载、处理赏罚数据集和从中得出猜测所需的逻辑。每提交一个commit，这个文件城市运行。然后，用个开源的基准测试库来跑你的模子。这个库可所以sotabench-eval，这个库不问框架，内里有ImageNet等等数据集；也可所以torchbench，这是个PyTorch库，和PyTorch数据集加载器搭配食用更简朴。

一旦乐成跑起来，就可以进入下一步。

第二步，毗连GitHub项目，sotabench会帮你跑：

点击这个按钮，连到你的GitHub账号，各类项目就展现了。选择你要测试的谁人项目来毗连。连好之后，体系会自动测试你的master，然跋文录官方功效，统统都是跑在云端GPU上。测试情形是按照requirement.txt文件配置的，以是要把这个文件加进repo，让体系捕获到你用的依靠项。

以后，每当你提交一次commit，体系城市帮你从头跑分，来确保分数是最新的，也确保更新的模子依然在事变。

这样一来，模子出了bug，也能实时知晓。

假如要跑别人家的模子，fork到本身哪里就好啦。

今朝，sotabench已经支持了一些主流数据集：

列表还在一连更新中，团队也在美意约请各路英雄，一同充分benchmark各人庭。

既支持建设一个新的benchmark，也支持为现有benchmark添加新的实现。

你可以给sotabench-eval或torchbench项目提交PR，也可以直接建设新的Python包。

一旦筹备停当，就在sotabench官网的论坛上，宣布新话题，团队会把你的benchmark加进去的：

这样的一项处事推出，网友们纷纷点赞，好评如潮，推特点赞600+。

有网友暗示：

太棒了！对刚入门的新手来说，数据集获取、预处理赏罚和评估的自动化和尺度化很有效。通过说明差异模子及其超参数功效，来评估这些模子，自己是挺坚苦的一件事，你得在各类论文中查阅大量的非布局化数据。有了这个，这件事就轻松多了。（部门意译）

很多网友对这个项目举办了友爱的切磋及提议，而开拓职员也在线起劲回应。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!