omniverse

这是一篇关于omniverse的思维导图，介绍了NVIDIA Omniverse是一个基于NVIDIA RTX GPU和皮克斯Universal Scene Description（USD）的实时图形和仿真模拟平台，感兴趣的话记得收藏哦啊！

NVIDIA OMNIVERSE

• 概述
  • NVIDIA Omniverse 是基于 Pixar 通用场景描述和 NVIDIA RTX™ 的多 GPU 实时模拟和协作平台，性能强大，专用于处理 3D 制作流程。
    • Omniverse 致力于跨不同应用和 3D 生态系统供应商实现通用互操作性。它提供高效的实时场景更新，并基于开放标准和协议设计而成。Omniverse 平台充当枢纽的角色，使新功能作为微服务微服务开放给所有连接的客户端和应用。
    • Omniverse 包含 5 个重要组件，分别是 Omniverse Connect、Nucleus、Kit、Simulation 和 RTX。这些组件连同所连接的第三方数字内容创作 (DCC) 工具，以及所连接的其他 Omniverse 微服务，共同组成整个 Omniverse 生态系统。
  • 目标
    • 3D 应用和用户间实时协作
      • 使用通用场景描述 (USD) 和材质定义语言 (MDL) 在您喜欢的应用之间实时协作。
    • 实时多 GPU 光线追踪视口
      • 支持与 USD 内容相关的优质多 GPU 光线追踪和路径追踪。
    • 模拟
      • 利用最新 NVIDIA 技术，高效模拟复杂的 3D 物理世界。
• 一切从通用格式开始
  • Omniverse 中资产的主要表示方式采用 Pixar 的开源通用场景描述 (USD) 表示法。USD 不仅仅是一种文件格式，也是一种丰富的场景表示，可利用 API 支持复杂的属性继承、实例化、分层、延迟加载以及其他各类关键特性。Omniverse 使用 USD，通过 Nucleus DB 服务实现资产交换。
  • Omniverse 中的材质使用 NVIDIA 开源 MDL（材质定义语言）表示。NVIDIA 开发出以 USD 表示的自定义架构，以此表示材质的资料和参数，简化不同应用特定材质定义间的交换。这种标准定义使许多应用中的材质，即使不完全相同，看起来也会非常相似。
• 这一切的核心是 Omniverse Nucleus
  • Omniverse Nucleus 提供一组基本服务，使各种客户端应用、渲染器和微服务能够共享和修改虚拟世界的表示。 Nucleus 在发布/订阅模式下运行。根据访问控制，Omniverse 客户端可以将对数字资产和虚拟世界的修改发布到 Nucleus 数据库 (DB)，或订阅这些更改。更改在互联的应用之间实时传输。数字资产包括几何图形、灯光、材质、纹理，以及描述虚拟世界及其演变的其他数据。
• 利用 Omniverse Kit 创建您自己的应用
  • Kit 并非单体应用，而是由一些扩展程序组成，这些扩展程序可作为构建块以多种方式组装，进而助力创建不同类型的应用。由于均采用 Python 编写，所有 UI 元素、工作流程和一般性功能具有很高的可定制性。
  • Omniverse Kit 是一个用于构建原生 Omniverse 应用和微服务的工具包，基于基础框架而构建，该框架可通过一组轻量级扩展程序提供各类功能。这些独立扩展程序是用 Python 或 C++ 语言编写的插件。
  • 经过设计，Kit 成为了一个灵活且可扩展的应用和微服务开发平台。它可在无外设模式下，或通过 UI 创建微服务。UI 应用可完全使用 UI 引擎编写，从而获得完全的可定制性。 如需获得更出色的性能或访问某些 C++ API，则可以在这些扩展程序中添加较低级别的 C++ 插件，并且也可将这些插件通过绑定连接到 UI。这些扩展程序包括它们单独运行所需的图标、图像和配置
• Omniverse Kit 扩展程序
  • RTX 视口扩展程序
    • 利用 NVIDIA RTX 和 MDL 材质，以超高保真度表示您的数据。该程序可扩展性惊人，支持大量 GPU，并能在大型场景中提供实时交互，以及通过各种光线追踪和路径追踪选项保证准确性。
  • 内容浏览扩展程序
    • 浏览您的本地或远程 Omniverse Nucleus 服务器上的文件，整理数据，并查找您要处理或协作处理的文件。其中包含一系列丰富的 API，可帮助您实现任务和流程自动化，例如，通过使用 DeepTag，利用 AI 分配元数据类别，以全新方式搜索资产。
  • USD 小组件和 Window 扩展程序
    • Stage Window 扩展程序可用于打造稳健的 Stage 数据浏览体验，Stage Window 中包含场景物体的所有相关信息，您可从中处理这些信息。 借助 Property Window，您可以访问 USD 文件中包含的所有物体属性以及其他各类信息。此外，该程序具备完全可扩展性，其中的每个部分均衍生自针对场景中每种基元类型的专用扩展程序。 最后，您可以通过 Layer Window 使用 USD 功能强大的分层系统，实现丰富的构图，同时还可通过该系统获取 Omniverse 的层访问管理和实时协作功能。
  • Omniverse UI
    • 为提供一个快速响应的轻量级、开放硬件加速 UI，Omniverse 框架建立在 Dear ImGui 库的基础上。 主要特性： 快速的现代轻量级 UI 框架 Omniverse Kit 用户界面的基础 声明性语法和动态布局 支持完全的 styleable，类似于 HTML 使用“stylesheet-like”工作流 支持具有无损 UI 质量的 Omni UI 流式传输 支持 XR（VR 和 AR）渲染（小组件的 3D 投影） 包括 XR 输入设备（控制器、手部、眼部
• Omniverse Apps
  • NVIDIA Omniverse 现可连接众多内容创作应用，NVIDIA 更是创建了 Apps 来展示它在不同工作流程中的功能。
  • Apps 采用 Omniverse Kit 构建而成，不仅本身是一款实用工具，还可作为起点，使开发者在其基础上构建、扩展或创建自己的应用。Apps 中的应用不仅为技术艺术家和开发者提供示例参考，日后还将不断获得新的功能和特性。
  • NVIDIA Omniverse Create
  • NVIDIA Omniverse View
  • NVIDIA Omniverse Machinima
  • NVIDIA Kaolin App
  • NVIDIA Isaac Sim
  • NVIDIA Omniverse Audio2Face
• Omniverse RTX 渲染器
  • Omniverse 支持多种可兼容 Pixar Hydra 架构的渲染器，其中之一便是全新 Omniverse RTX 渲染器，它充分利用 NVIDIA Turing 及 Ampere 架构中的硬件 RT Core，实现了实时的硬件加速光线追踪和路径追踪。
  • 这款渲染器在实现光线追踪之前无光栅化处理，因此可以实时处理大型场景。它包含两种模式，一种是提供快速性能的传统光线追踪，另一种是提供高质量结果的路径追踪。
  • Omniverse RTX 渲染器在一个系统内原生支持多个 GPU，不久后将支持多个系统的交互式渲染。
• Omniverse 物理模拟
  • Omniverse 中的 模拟功能由一系列 NVIDIA 技术以插件或微服务形式向 Omniverse Kit 提供。
  • 作为 Omniverse 提供的首批模拟工具之一，NVIDIA 开源物理模拟器 PhysX 广泛应用于电脑游戏中。参与模拟的物体、它们的属性、任何约束条件和任何求解器参数都在自定义 USD 架构中指定。Kit 提供编辑模拟设置、启动和停止模拟以及调整所有参数等功能。
  • Omniverse 物理模拟目前包括刚体动力、破坏和断裂、汽车动力以及流体动力 (Flow) 等效果模拟。Flow 是对烟/火的欧拉流体模拟，利用稀疏体素网格实现无界模拟域。
• Omniverse 流程
  • 在左侧，我们可以看到许多热门 DCC 应用，以及使用 Kit 为 Omniverse 专门创建的新应用。这些应用都能导出 USD 文件格式，并支持 MDL 材质。得益于 Omniverse Connector 插件助力创建的 Omniverse 门户，这些应用可实现与 Nucleus 数据库的连接。
  • Nucleus 服务器也可作为无外设微服务提供 Omniverse 功能，并可以将精美的渲染成果提供给众多可视化客户端，包括 VR 和 AR 设备。
• Connector 为各类应用打开互连门户
  • Omniverse Connect 库以插件的形式分布，使客户端应用能够连接到 Nucleus，以及发布和订阅单个资产和整个世界。
  • 完成必要的同步后，DCC 插件将使用 Omniverse Connect 库应用从外部接收的更新，并在必要时发布内部生成的更改。
  • 当应用更改场景的 USD 表示时，Omniverse Connect 会跟踪自上次发布活动后的所有本地更改。当应用发出请求后，Omniverse Connect 库将针对每个差异构建一个独立文件，并将其发布到 Nucleus，然后转发给所有订阅者。