加入收藏 | 设为首页 | 会员中心 | 我要投稿 河北网 (https://www.hebeiwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

还在用Github打点呆板进修项目?你早该相识这些更专业的新器材!

发布时间:2019-07-02 05:46:41 所属栏目:建站 来源:大数据文摘
导读:大数据文摘出品 编译:钱天培、胡笳 太伟大了!呆板进修(ML)项目其实太伟大了! 听到这种诉苦,认识软件开拓的小搭档们每每是嗤之以鼻的。 呆板进修,不外是和数据和软件打交道。那就应该是是运行代码、迭代算法的简朴题目呀?一段时刻后,我们就能拥有一个完

_get_or_run函数是mlflow.run的一个wrapper。每个挪用函数中的第一个参数为在MLproject文件中界说的entrypoint。每个entrypoint包括情形变量,要运行的呼吁,以及转达给该呼吁的参数。譬喻:

  1. etl_data:    parameters:      ratings_csv: path      max_row_limit: {type: int, default: 100000}    command: "python etl_data.py --ratings-csv {ratings_csv} --max-row-limit {max_row_limit}" 

乍一看感受很是不错。可是这里有几个题目值得思索:

  • 假如你的事变流是比直线流程更伟大的环境怎么办?你可以将传给mlflow.run的同步参数设为false,然后守候SubmittedRun工具标志使命已完成。也就是说,可以在MLFlow API上构建流程管道体系。
  • 为什么必要处事器?为什么不直接通过呼吁行执行呼吁?增进处事器及其设置使得MLFlow项目标配置越发伟大。
  • 怎样停止执行那些不必要的使命?在很多ML项目中,实习模子凡是必要数天时刻。资源应该只有在必要时才应该被行使,譬喻改换数据,修改参数或算法。

DVC可以行使通例呼吁行器材,而且既不必要配置处事器也不必要编写驱动措施。DVC支持行使前面提到的,通过一组DVC文件将事变流界说为有向无环图(DAG)。

我们之条件到了,DVC文件会与添加到workspace中的文件相干联。DVC文件同时还描写了要执行的呼吁:

  1. $ dvc run -d matrix-train.p -d train_model.py           -o model.p           python train_model.py matrix-train.p 20180226 model.p$ dvc run -d parsingxml.R -d Posts.xml           -o Posts.csv           Rscript parsingxml.R Posts.xml Posts.csv 

dvc run呼吁界说了一个DVC文件,个中包括了必要执行的呼吁。-d参数记录了对文件的依靠性,DVC将按照校验总和码来检测文件的变动。-o参数暗示呼吁输出配置。一个呼吁的输出同样可以用于另一个呼吁的输入。通过查察依靠相关和输出,DVC可以计较出执行呼吁的次序。

AI输出(包括实习模子)将被自动的记录在DVC的缓存中,workspace中的其他数据文件也云云。

由于它计较校验和,DVC可以检测到变动的文件。当用户哀求DVC从头执行管道时,它只执行有变革的那部门。输入文件没有变革的环境,DVC可以节减大量模子实习使命所必要的时刻。

全部的执行都行使通例呼吁行,不必要配置处事器。假如你但愿在云计较情形,或在附加GPU的处事器上执行,只必要将代码和数据陈设到该处事器上,并通过呼吁行执行DVC呼吁即可。

总结

我们在进步呆板进修实践原则的试探上已经走了很长一段路。如我们所知,呆板进修规模必要更好的打点器材,以便呆板进修团队可以或许更有用、更靠得住地事变。

功效可复现意味着他人可以评估你已完成的事变,可能协作举办更深层的开拓。可一再性具有许多先决前提,包罗可以或许搜查体系的每个部门,以及可以或许准确地从头运行软件及输入数据。

呆板进修项目中,一些GUI器材有很是大度的用户界面,譬喻Jupyter Notebook。这些器材在呆板进修的事变中占据一席之地。可是,GUI器材不太得当本文接头的原则。呼吁行器材很是得当处理赏罚在靠山运行的使命,而且可以轻松地满意我们上述的全部原则。而一样平常的GUI则会故障这些原则。

正如本文中描写的一样,我们可以从通例软件工程中借用许多器材和实践方法。可是,呆板进修项目标非凡性抉择了我们必要用到更得当其方针的器材。这些有代价的器材包罗:MLFlow,DVC,ModelDb,Git-LFS等等。

相干报道:https://dev.to/robogeek/principled-machine-learning-4eho

(编辑:河北网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读