加入收藏 | 设为首页 | 会员中心 | 我要投稿 河北网 (https://www.hebeiwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 移动互联 > 正文

GitHub标星2.6K!Jupyter“慌了”!Netflix宣布新开拓器材Polynote

发布时间:2019-11-11 11:54:29 所属栏目:移动互联 来源:猿妹编译
导读:克日,Netflix公布开源Polynote,Polynote是Netflix自家行使的多说话条记本情形,Polynote为数据科学家和呆板进修研究职员提供了一个条记本情形,应承他们将基于JVM的ML平台(此类平台大多行使Scala构建)与Python生态体系中风行的呆板进修和可视化库无缝
副问题[/!--empirenews.page--]

克日,Netflix公布开源Polynote,Polynote是Netflix自家行使的多说话条记本情形,Polynote为数据科学家和呆板进修研究职员提供了一个条记本情形,应承他们将基于JVM的ML平台(此类平台大多行使Scala构建)与Python生态体系中风行的呆板进修和可视化库无缝集成。

GitHub标星2.6K!Jupyter“慌了”!Netflix宣布新开拓器材Polynote

它已经在Netflix内部普及行使,并且Netflix正在研究怎样将Polynote和其他平台集成,下面一路具体来看看Polynote有哪些牛掰的成果特征:

成果概述

可一再性

Polynote的两个指导原则是可复制性和可见性。为了实现这两大特征,我们最早的计划决定之一是从新开始构建Polynote的代码表明,而不是像传统条记本一样依靠REPL。

我们以为,尽量REPL总体上不错,但它们基础不得当条记本电脑。为了相识REPL和条记本的题目,让我们看一下典范条记本情形的计划。

条记本是单位格的有序荟萃,每个单位格可以生涯代码或文本。每个单位格的内容可以独立修改和执行。单位格可以从头分列,插入和删除。这还可以取决于条记本电脑中其他单位的输出。

将此与REPL情形举办比拟会发明。在REPL会话中,用户把表达式一次一个地输入提醒符。一旦求值,表达式及其求值功效是不行变的,求值功效将附加到下一个表达式可用的全局状态。

不幸的是,这两个模子之间的摆脱意味着一个典范的notebook情形,它行使一个REPL会话来评估单位代码,当用户与notebook交互时,会导致潜匿状态蕴蓄。单位可以按任何次序执行,从而改变这种全局潜匿状态,从而影响其他单位的执行。凡是环境下,条记本无法从顶部靠得住地从头运行,这使得它们很难复制并与他人共享。这种潜匿状态也让用户很难揣度条记本上运行了什么。

GitHub标星2.6K!Jupyter“慌了”!Netflix宣布新开拓器材Polynote

在其他条记本中,潜匿状态意味着一个变量在其单位格被删除后如故可用。

GitHub标星2.6K!Jupyter“慌了”!Netflix宣布新开拓器材Polynote

在 Polynote 条记本中,没有潜匿状态,被删除的单位格变量不再可用。

从新编写Polynote的代码表明应承我们消除这种全局的、可变的状态。通过跟踪每个单位中界说的变量,Polynote按照在其上运行的单位构建给定单位的输入状态。使单位格的位置在其执行语义中变得重要,这也增强了最小诧异原则,应承用户从上到下阅读条记本。它通过让条记本一连运行,从而确保其可一再性。

编辑改造

Polynote提供了诸如交互式自动完成和参数提醒、错误高亮表现以及支持LaTeX富文本编辑器等相同ide的特征。

可见性

Polynote UI通过表现内核状态、突出表现当前正在运行的单位代码和当前正在执行的使命,从而让用户对内核状态的直观相识。

多说话

条记本中的每个单位格都可以用差异的说话编写,变量可以在它们之间共享。今朝支持Scala、Python和SQL说话范例。

依靠项和设置打点

Polynote 将设置和依靠项信息直接存入条记本,而不依靠于外部文件或集群 / 处事器级此外设置。

数据可视化

本机数据试探和可视化辅佐用户相识更多关于他们的数据,而不会弄乱他们的条记本。与matplotlib和Vega的集成应承高级用户通过大度的可视化结果举办交互。

接下来,我们将更深入地相识Polynote的成果:

安装

安装进程是凭证它的指南文档举办的,我还安装了matplotlib

  1. pip3 install matplotlib 

假如你规划实行它的多说话成果,则必要再添加一个情形变量:

  1. export PYSPARK_ALLOW_INSECURE_GATEWAY=1 

假如没有,你就会收到以下提醒:

GitHub标星2.6K!Jupyter“慌了”!Netflix发布新开发工具Polynote

编辑体验

行使条记本级此外“设置和依靠项”配置可以轻松地从maven存储库中提取依靠项,包罗行使HTTP get从Netflix博客获取文本的哀求:

GitHub标星2.6K!Jupyter“慌了”!Netflix发布新开发工具Polynote

GitHub标星2.6K!Jupyter“慌了”!Netflix发布新开发工具Polynote

自动完乐成能合用于从Maven存储库中提取的库:


GitHub标星2.6K!Jupyter“慌了”!Netflix发布新开发工具Polynote

可是,lambda函数的自动完乐成能好像不起浸染:

GitHub标星2.6K!Jupyter“慌了”!Netflix发布新开发工具Polynote

Spark示例

(编辑:河北网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读