|
Facebook 克日开源了将 PyTorch 用于 3D 深度进修的函数库 PyTorch3D，这是一个高度模块化且颠末优化的库，具备独占的成果，旨在通过 PyTorch 简化 3D 深度进修。PyTorch3D 为 3D 数据提供了一组常用的 3D 运算符和快速且可微分的丧失函数(loss function)，以及模块化的可微分渲染 API。通过上述的成果，研究职员可以当即将这些函数导入至当前最先辈的深度进修体系中。
研究职员和工程师可以操作 PyTorch3D 举办各类 3D 深度进修研究（无论是 3D 重构、集束调解，以致 3D 推理），以及改造在二维空间下的辨认使命。
对三维空间的认知，在人工智能与真实天下的互动进程中饰演着异常重要的脚色。譬喻呆板人在物理空间中的导航、改造假造实际体验，以及辨认 2D 内容中被遮挡的物体等。不外即便有富厚深度进修技能蕴蓄的 Facebook，在面临 3D 的深度进修题目时依然会被困扰。 Facebook 暗示，之以是深度进修技能较罕用于 3D 场景，是由于缺乏足够的器材和资源来支撑神经收集与 3D 数据团结行使的伟大性，这种场景要求更多的内存与更高的算力，不像 2D 图像可以行使张量暗示，并且很多传统图形运算符不行微分，因此 3D 深度进修技能的研究受到了限定。
为此，Facebook 构建了 PyTorch3D 函数库以敦促 3D 深度进修研究，与 PyTorch 为 2D 辨认使命提供高度优化的函数库一样，PyTorch3D 通过提供批处理赏罚以及对 3D 运算符和丧失函数的支持来优化实习和推理。为了简化 3D 模子批处理赏罚的伟大度，Facebook 建设了 Meshes 名目，这是一种专为深度进修应用措施计划，用于批处理赏罚的异构网格模子数据布局。
这种数据布局可以让研究职员轻松地将基本网格模子数据快速转换成差异的视图，以使运算符与数据的最有用暗示方法相匹配。更重要的是，PyTorch3D 为研究职员和工程师提供了可以或许机动地在差异的暗示视图之间举办有用切换的方法，并会见差异的网格属性。
渲染是计较机图形学中的焦点内容，它可将 3D 模子转换为 2D 图像。这也是在 3D 场景属性（scene properties）和 2D 图像像素之间成立桥接的通例本领。不外传统渲染引擎无法举办微分，因此它们不能被归并至深度进修事变管道中。以是，Facebook 在 PyTorch3D 内置了高度模块化的可微分渲染器，能用来处理赏罚可微分的 3D 数据。此成果的实现由可组合单位构成，应承用户轻松扩展渲染器以支持自界嗣魅照明或阴影结果。
Facebook 将这些成果打包成器材包，并提供了运算符、异构批处理赏罚成果和模块化可微分的渲染 API 等，辅佐研究职员举办伟大的 3D 神经收集应用研究。 （编辑：河北网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
