最佳开拓器材大全！前谷歌工程师两年打造“厂外保留指南”，登上GitHub热榜

本文经AI新媒体量子位（公家号 ID: QbitAI）授权转载，转载请接洽出处”。

一位曾经的谷歌工程师，耗费两年时刻，辛勤清算了一份清单。

这个名为“xg2xg”的清单，本来是这位前谷歌工程师（ex-Googler），为全部去职的谷歌工程师写的一份“厂外”保留指南。

但现实上，这个大全实打实地也成为了一份最佳开拓器材大全。

全部的措施员，都能受益于此。

美国网友对这个大全给以了很高的评价：这份清单中列出的开源软件，不只办理了硅谷大厂前员工的难处，也能为其他全部码农扫除狐疑。

在这套大全的指导下，任何一个工程师，都能得到相同在谷歌内部写代码的体验。xg2xg上线仅仅一天就登上趋势榜，收成2500+星！

清单个中大部门更换软件是Google开源的项目，可能是受谷歌论文的开导，由开源软件基金会本身做的第三方实现。纵然你从来没进过Google事变，也在享受着Google工程师们带来的福利。不禁让人叹息“谷歌挽救天下”。

下面就让我们一路来看看这份清单吧。

开拓器材一览

这份清单总共有两部门，前半部门先容的是码农常用的开拓器材，包罗焦点技能、基本办法、处事、开拓运维等；后半部门则面向非技强职员。

焦点技能器材

大数据处理赏罚器材

Google内部器材：MapReduce；

更换品：Apache Hadoop、Spark

想要在上千台呆板构成的大集群上、并行处理赏罚上TB级此外海量数据集，就要用到这类大局限数据处理赏罚器材了。

MapReduce，就是这类器材的先驱。Jeff Dean等人2004年提出了这个漫衍式计较架构，最早在Google内部用来处理赏罚大局限数据的并行计较。Jeff Dean还亲身为它撰写过行使指南。

而Apache Hadoop这个开源更换品，也是按照Jeff Dean昔时的论文自行实现而成，能提供与MapReduce文件体系相同的成果。

假如想要更快的数据处理赏罚速率，尚有Apache Spark供你选择。相对付Hadoop的MapReduce会在运行完事变后将中介数据存放到磁盘中，Spark行使了存储器内运算技能，能在数据尚未写入硬盘时即在存储器内说明运算。

序列化器材

Google内部：Protocol Buffer；

外部更换品：Protobuf、Thrift、Avro

这一组器材用于布局化数据序列化，上面这些，都是xml更换品，比它更小、更快、也更简朴。

Protocol Buffer和Protobuf都是Google开拓的序列化名目（Serialization Format），github上可以找到这个项目标源代码。

比起XML和JSON，Protobuf 更小、更快，也更简捷，很得当做数据存储或 RPC 数据互换名目。只必要界说一次数据布局，就可以操作各类差异说话可能从各类差异数据流中对布局化数据举办轻松读写。

完全撇开Google，也不是就没有此外选择了。其他厂商也有相同的序列化方案。

好比Facebook开拓的Thrift ，它与Protobuf根基一样。

Avro 同样也有schema（也就是措施中布局化数据的界说），可是实现方法跟 Protobuf 和 Thrift 有很大区别。

因为数据不必要特另外标注，Avro 在序列化大量沟通的数据时会比 Protobuf 和 Thrift 更有服从。不外在编码大量变革的数据时，由于schema会随数据一同存储，Avro的服从会退化到 JSON 和 MessagePack 的级别。

看来在焦点技能器材上，重回人世的前Google人照旧有很多不错的选择的。

基本办法

大型集群打点体系

Google内部：Borg；外部更换品：Kubernetes、Apache Mesos、HashiCorp Nomad

大型集群打点体系用于打点云平台中多个主机上的容器化的应用。

Borg是Google内部的大型集群打点体系，现现在应用最普及的处事编配体系Kubernetes就脱胎于Borg。

Borg 闪开拓者可以或许不必劳神资源打点的题目，做到跨多个数据中心的资源操作率最大化。

没有Borg十五年的履历，也就不会有Kubernetes。固然作者把它放在开源/真实天下这一栏里，但究竟上Kubernetes也是由Google计划并参加开拓的。

Kubernetes行使Go说话编写， 是一个大而全的办理方案，处事调治、收集、存储、安详通通一手抓，并且自己的架构也很是好，在上面做二次开拓很是轻易。

HashiCorp Nomad同样是一个较量常见的开源调治措施，架构简朴，能将资源打点器和调治措施的成果集成到一个体系中。Nomad也是漫衍式的，高可用且易操纵。但显然Kubernetes的成果会更富厚。

至于Mesos，它仅仅是一个调治体系，无法直接行使，要共同各类 Mesos framework 来实现种种成果。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!