Facebook开源了超大规模图嵌入算法，上亿个节点也能快速完成

本文经AI新媒体量子位（公家号ID:QbitAI）授权转载，转载请接洽出处。

图，是很有效的数据布局，用节点 (Node) 和边 (Edge) 织成一张网。好比，常识图谱就是这样的网。

处理赏罚这样的数据，要用到图嵌入 (Graph Embedding) ：把高维的收集，转换成低维的向量。处理赏罚之后，呆板进修模子才气等闲食用。

假如像上图这样，只有几个节点，十几条边，图嵌入没什么难度。

假若有几十亿个节点，几万亿条边呢？传统的图嵌入要领就捉急了。

但此刻，Facebook开源了叫做PyTorch-BigGraph (简称PBG) 的新器材。

有了它，再大的图 (原文是arbitrarily large，恣意大) 都能快速天生图嵌入。并且，完全不必要GPU。

开源模子除了可以本身实习之外，尚有拿7,800万节点的Wikidata数据预实习过的模子，可以直接下载来用。

PBG颁发之后，小搭档们纷纷奔走相告：

LeCun先生还亲身转发了两次。

怎样养成

PBG是一个漫衍式体系，用1.2亿个节点的完备FreeBase常识图谱来实习的。

实习进程中，PBG会吃进图上全部边 (Edge) 的大列表，每条边都是用它两头的节点来界说，一个是源 (Source) ，一个是方针 (Target) 。界说中也有两点之间的相关 (Relation Type) 。

然后，PBG给每一个节点，输出一个特性向量 (就是嵌入) ，让两个相邻的节点在向量空间中离得近一些，让不相邻节点的离远一些。

这样一来，那些周围情形漫衍临近的节点，在向量空间里的位置也会互相接近，图本来要表达的意思就保存下来了。

其它，针对每种差异的相关，“近似度得分 (Proximity Score) ”都可以定制差异的计较要领。这样，一个节点的嵌入，，就可以在差异种类的相关里共享了。

快一点，再快一点

要快速处理赏罚大局限的图数据，PBG用了这几个术数：

一是图分区 (Graph Partitioning) ，这样就不必要把整个模子加载到内存里了。在图嵌入质量不丧失的环境下，比不分区时节减了88%的内存占用。二是一台呆板举办多线程计较。三是在多台呆板上同时跑，在图上各自跑一个不相邻的地区。四是批次负采样(Batched Negative Sampling) ，能让一台CPU每秒处理赏罚100万条边，每条边100次负采样。

实习完成之后，在FB15k、Youtube、LiveJournal等等图谱上，都测试过。

团队说，PBG和大先进们的图嵌入质量相等，但必要的时刻明明收缩了。

你也试一试吧

你也去实习一个PBG吧。

横竖，也不消GPU。

不想实习的话，尚有效完备WikiData预实习的模子。

你必要的传送门，都在这里了。

代码传送门：

https://github.com/facebookresearch/PyTorch-BigGraph

食用索引：

https://torchbiggraph.readthedocs.io/en/latest/

论文传送门：

https://arxiv.org/abs/1903.12287

博客传送门：

https://ai.facebook.com/blog/open-sourcing-pytorch-biggraph-for-faster-embeddings-of-extremely-large-graphs/

【编辑保举】

1. 作为口试官的一点点感悟，谈谈技强人的生长之路
2. 被京东和腾讯赶走的中年白领，不会有人怜悯_技能栈微信半月刊第38期
3. MIPS 指令集开源了 官方已释出
4. 措施员的软件开拓指南：零 bug 计策
5. 阿里开源混沌工程器材 ChaosBlade

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!