元宇宙知识全景图(元宇宙思维导图)

从简单的纸质记录，到灵活的电子图表，再到进一步的三维可视化和沉浸式体验.为了清晰有效地传递、挖掘和交互信息，世界的类表示技术部分经过了一代又一代的进化和改进，以达到更好的分析和推理知识，最终有效地理解和洞察世界。随着人工智能的发展，三维知识可视化已经成为最热门的表达方式之一。本文将从知识地图可视化的技术核心入手，介绍三维地图可视化的技术要点和应用方法，最后提出该技术的落地前景和创新实践。1.什么是知识图谱的可视化？二、知识地图可视化现状三、3D地图可视化的价值四、3D地图渲染技术五、3D地图布局计算六、VR/AR技术在地图可视化中的应用七、知识地图可视化技术的创新实践：DataExa-Sati认知智能平台
1.什么是知识图谱的可视化？
知识地图是一种现代理论，可以将复杂的信息计算和处理成可以用结构化方式表达的知识。可视化技术是其技术基础之一，通过可视化技术可以直观地展示知识资源及其载体之间的相互关系。
一张图胜过千言万语。从生物认知的角度来看，图像视觉信息远比单一的文字和声音更快、更丰富。数据可视化的意义在于见物知物，即从见物到获取知识。从视觉感知和认知的角度来看，用户是一切行为的主体。他们可以通过视知觉器官获得视觉信息、编码和形成认知，在交互分析的过程中获得问题的解决方案。在这个过程中，知觉和认知能力直接影响信息的获取和加工过程，进而影响外界对世界环境的反应。人类处理数据的能力远远落后于获取数据的能力，人类视觉对图像视觉符号的理解能力更强。
知识地图可视化是一门技术，也是一门艺术，旨在借助图形手段清晰有效地传达和交流信息。然而，知识可视化不仅仅是为了看起来丰富多彩和复杂，而是为了有效地传达思想和概念。美学和功能需要齐头并进，通过直观地传达关键方面和特征，我们可以实现对相当稀疏和复杂的数据集的深入洞察。
借助计算机图形可视化技术，知识地图的可视化维度也从2D扩展到了3D。近年来，基于三维可视化技术等衍生出VR/AR和XR技术。由于生物感知的生理特性，3D可视化是一种更接近自然的交互方式，这一点后面会讲到。
二，知识地图可视化的现状
知识图谱的可视化过程是一个逐渐演化的过程，经历了几个阶段的技术引入，包括SVG、Canvas2D、WebGL、WebGL2以及最新的WebGPU。目前的技术状况受到计算机硬件和软件的限制，主要是2D。
1.可缩放矢量图形(SVG)是一种基于XML的标记语言，用于描述二维矢量图形。SVG作为一种基于文本的开放网络标准，可以优雅简洁地渲染不同大小的图形，与CSS、DOM、JavaScript等其他网络标准无缝接口非常方便。D3.js首创使用SVG绘制知识图谱网络图，为开源社区提供早期知识图谱可视化的技术库资源。
2.Canvas是HTML5提供的新标签，定义了一个矩形区域的画布。通过Javascript可以在画布上绘制各种图形，绘制路径、矩形、圆形、字符、添加图像的方式有很多种。为了区分WebGL，这里的Canvas主要是指Canvas2D。
canvas和SVG技术的优缺点对比：从大部分实践来看，Canvas在渲染性能上比SVG更有优势，尤其是在需要绘制大量对象的时候，但另一个方面就是Canvas大小的影响。因为SVG是矢量，所以在大尺寸渲染性能上有优势。微软MSDN上给出的对比图：
而且在数据量较小的情况下，SVG方案通常占用内存较少，在做缩放、平移等操作时帧率往往较高。
从交互优势来说，由于SVG是基于HTML的DOM，可以快速应用鼠标事件、CSS样式、CSS3动画等。在浏览器的底部，并且在交互和局部重绘方面有很多方便。
3.WebGL(Web Graphics Library)是一个JavaScript API，可以在任何兼容的Web浏览器中渲染高性能的交互式3D和2D图形，而无需使用插件。GL通过引入一个与OpenGL ES 2.0非常一致的API来做到这一点，这个API可以用在HTML5的Canvas元素中。
4.WebGL 2是WebGL的重大更新，通过WebGL2RenderingContext接口提供。它基于OpenGL ES 3.0，增加了一些新特性，性能有了很大提升，但受限于OpenGL引擎技术相对于WebGPU的滞后。
5.WebGPU基于Vulkan，Metal和Direct3D 12。该设计更好地反映了近年来GPU硬件技术的新发展，能够提供更好的性能，支持多线程，并采用部分面向对象的编程风格。目前WebGPU能支持的设备很少，相关生态还在发展阶段，但这是未来的趋势。
在知识地图可视化逐渐演进的过程中，出现了一些经典的开源项目和企业，如：
1.D3.js项目
D3是一个可视化的Javascript库，提供基本的可视化能力，比如图形、颜色、比例、布局算法、定时器、缩放、动画等等。
2.Sigma.js项目
与D3.js相比，Sigma.js是一个专门为地图渲染编写的Javascript库。它的主要特点是对地图渲染做了一些优化努力，包括使用Canvas技术渲染地图，因此可以处理成千上万个节点的地图渲染。
3.Cytoscape.js项目
Cytoscape.js主要以图论算法为主，对Cytoscape.js的布局做了大量的研究，在提供大量不同布局的实际例子的同时，Cytoscape.js还提供了手势等交互控制。
4.剑桥情报公司
Cambridge-intelligence开发了多种知识地图可视化产品。Keylines是基于Javascript的地图可视化库，ReGraph是基于React前端框架的可视化组件库，KronoGraph是时间序列数据分析的工具。剑桥公司在知识图谱领域实践了很多应用场景，在知识图谱变革领域是大家渴望学习的对象。
三、三维地图集可视化的价值
目前主流的地图集可视化仍然是基于平面可视化，使用的技术主要基于画布，因此其表现力和便捷性仍然有限。然而，随着新技术的演进和硬件的更新，WebGL和WebGPU技术已经将2D可视化扩展到三维可视化。在未来，当软件和硬件成熟时，三维可视化技术将会给人们一种更自然的方式来理解和掌握知识。
三维可视化技术是一种管理、分析和交互数据的新方法。可以实现实时反射、实时折射、动态阴影等高质量，还可以实时逼真地渲染3D图像。三维数据可视化与一般数据可视化的主要区别在于，它更立体、更真实、更具沉浸感。由于2D地图集平面空间有限，节点和边缘容易粘贴在一起形成一个麻球，造成视觉不清晰，而三维地图集数据的可视化则呈现出一种全新的视角。利用3D空间，通过旋转视角和变焦镜头，我们可以轻松达到深入了解和查看数据的目的。
三维地图集可视化可以利用物理坐标系将数据映射到地理空间，将地图集与地理信息结合起来采集数据，使用户更好地了解数据与物理现实的关系，加深对数据的理解，创造更好的体验感。
三维数据可视化技术可以呈现数据特有的三维美感，使用粒子、轨迹、飘带等特效，大大提升用户交互体验。
三维可视化技术在知识地图应用中的价值正逐渐显现。作为业内领先的人工智能产品提供商，袁婷科技始终紧跟行业前沿技术趋势，并依托其强大的自主研发能力，拓展多种3D地图技术
四。三维地图渲染技术
原生WebGL接口包括WebGL上下文、视图和裁剪、状态信息、缓冲区、帧缓冲区、渲染缓冲区、纹理、程序对象和着色器对象、统一、属性、绘图缓冲区等。但是对于实际应用开发来说，WebGL的原生接口是技术性的，用起来不是很友好，所以主流的WebGL开发还有一些更友好的库来完成。有两个基于3D Web的著名引擎Three.js和Babylon.js，还有基于原生应用的Unity和Unreal。
从地图渲染技术来看，主要包括：纹理、文本渲染、节点渲染、边缘渲染、动画处理、相机、粒子系统、交互处理等技术。
1.材料纹理
在DataExa-Sati中，我们可以选择不同的材质贴图来渲染图形节点对象，材质在场景中光线的作用下可以呈现出丰富的视觉效果。对于PBR(基于物理的渲染)和传统的Bling-Phong材质，不同的算法所达到的效果也是不同的。
2.文本渲染
3D场景中的文字要比2D复杂很多，文字需要考虑光影、呈现角度、反走样等复杂问题。
3.节点、边和其他元素的渲染
节点和边元素是主要的地图表示元素。节点通过边连接形成地图，节点需要通过合理的布局到达分布位置，使观察者得到易读、易用、可分析的数据可视化。
4.动画
动画的作用不仅仅是好看和酷，流畅的动画表达可以引导用户理解数据的意义，节点动画可以吸引用户的注意力，不同的动画类型可以表达未使用的动画的意义，从而赋予商业意义。边缘动画可以表达节点之间的方向关系，不同的边缘动画也可以指向不同的业务目的。
5.照相机
相机是用户的视角，用户用不同的观测点和视野宽度观察图集。它定义了三维空间到二维屏幕的投影方式。
6.粒子系统
粒子系统将大量计算从CPU转移到GPU进行并行计算。CPU每帧向GPU输入最简单的时间值，更新每个粒子的位置、旋转角度、透明度、贴图的UV等值。其算法非常简单，并能获得较好的性能。
动词（verb的缩写）3D地图布局计算
在2D布局中，我们设计了多种布局，如随机布局、网格布局、圆形布局、放射状布局、顺序布局、垂直布局、面向力的布局等。在维度上，3D布局是基于2D加一个维度，即[x，y]变成[x，y，z]，看起来不会太复杂。袁婷DataExa-Sati已经可以实现基于2D的3D布局扩展。
三维力导向布局的原理可以在2D力排斥布局上扩展。在平面中，为了使节点距离分开，平面中两点之间距离的向量通过排斥能量重新计算。同样，在三维空间中，我们只需要把一个二维向量变成一个三维向量。从视觉容量的角度来看，3D的视觉容积和住宅是一样的。通过向上扩展，我们可以在同一个窗口中放置更多的元素节点，而不会造成视觉混乱。
不及物动词VR/AR技术在地图集可视化中的应用
W3C在今年1026发布了WebXR设备API草案，用来替代之前的WebVR。草案支持在网络上访问虚拟现实(VR)和增强现实(AR)设备，包括传感器和头戴式显示器。标准的制定有利于设备的兼容，让开发者更容易开发VR/AR应用。
基于HTML语言的开发框架A-Frame，兼容多种3D可视化引擎，设备兼容Vive、Rift、Quest、Daydream、GearVR、Cardboard等主流VR平台。基于A-Frame技术，袁婷科技开发并扩展了WebXR在DataExa-Sati上的技术应用。
XR应用于图集可视化的优势在于交互性。借助A-Frame的交互能力，在硬件设备的支持下，我们可以拥有无限的想象力，在抓、扔、擦、翻、戳、伸、按等基本动作的基础上，通过扩展现实世界中我们能想到的动作来控制交互。不仅如此，我们甚至可以创造一个超现实的世界，手牵手，手牵手，手牵手，手牵手。
XR在基于凝视的光标组件交互上很有意思，和与WebXR页面的交互不同。在虚拟环境中，我们可以让视觉焦点看起来像一只移动到目标的鼠标。凝视控制对于没有手柄的头部显示器特别有用。通过凝视交互，DataExa-Sati将这种交互形式应用于地图节点的信息标题查看。
XR中的控制器对于虚拟现实中的沉浸式体验尤为重要。使用具有六个自由度(6DoF)的控制器，人们可以感觉到与周围景物的接触，并用手与物体进行交互。A-Frame提供了一系列控制器组件，并通过各自的Web浏览器支持Gamepad)Web API。有不同的组件来支持来自不同制造商的控制器。我们可以通过使用手柄来移动我们在虚拟世界中的位置，通过手柄投掷光线，我们可以轻松地指向我们需要移动的位置。通过这种交互方式，DataExa-Sati实现了身临其境的虚拟世界漫游和数字空间行走。
在XR中，我们注册监听器来监控按钮事件和轴事件。通过监控事件，我们可以动态地改变图的一些属性，比如高亮显示图的节点、边、放置或移动节点等。另一个非常交互的手段是让超级手组件和超级手组件提供全功能的自然手控制器交互。基本手势包括：
悬停):在实体的碰撞空间中持有控制器。
抓取):并按一个按钮在实体上悬停或移动。
拉伸):双手抓住一个实体，调整大小。
拖放):将一个实体拖到另一个实体上。
2020年10月22日，W3C沉浸式Web工作组发布了第一版WebXR手写输入模块(Level 1)的首个公开工作草案。该模块扩展了WebXR设备API的规范，具有跟踪关节手势的功能，可用于识别手部关节手势或渲染VR场景中的手势模型。
在手柄控件的帮助下，我们可以真正模拟现实世界，并将地图投影到3D空间中。我们可以用我们的虚拟手拿起和触摸地图，并通过面板触摸地图节点和操作地图节点。这种交互形式极大地还原了真实世界的交互模拟，交互特别自然。
七。知识地图可视化技术的应用实践
1.DataExa-Sati认知智能平台
近年来，袁婷科技在知识图谱、可视化等人工智能前沿领域投入了大量研究。公司自主研发的DataExa-Sati认知智能平台提供一站式多模态行业知识图谱构建系统，包括知识建模定义领域认知框架、多源异构知识提取、知识融合提升本体层和实例层质量、支持万亿级高性能图存储和计算引擎以及知识推理能力等。让机器能够利用专家知识和推理能力解决实际问题为主要目标，最终赋能行业应用。
DataExa-Sati广泛使用知识图谱可视化技术，涵盖2D、3D可视化渲染和VR/AR技术应用。它的表现更加优秀，表现形式更加多样，一目了然。它可以直观地显示信息之间的具体关系，用简单的术语描述信息之间的潜在关系，预测信息的动态变化。DataExa-Sati现已覆盖金融、公安、国防、运营商、教育、医疗等领域。其中产品为公安、国防领域提供的情报分析和金融领域提供的基于知识图谱的知识推理分析，如信贷大数据分析、风控分析等，成功帮助客户挖掘海量数据背后的价值信息。
2.基于DataExa-Sati可视化知识地图的最新技术应用
去年，袁婷科技为某军工科研单位开发的网络安全图集应用大量使用了WebXR交互手段，均应用了3D图集可视化分析技术。在这个项目中，涉及的数据量非常大，数据种类非常多。它是典型的多源异构数据，并且大量的数据还伴随着时空关系。
传统的基于平面的图谱分析，面对的是大量的数据节点，即使布局再好，数据也往往会在屏幕上糊成一个“大草球”。通过3D图集的展示，可以有效利用空间变量透视，通过缩放和移位可以看到节点的细节。同时，我们应用WebXR技术，通过魔方手势交互，通过双缩放地图和自然滑动翻转地图，极大地方便了数据的可视化分析；此外，我们利用handle可视位移技术实现数据空间第一人称移动，沉浸式交互体验解决了复杂海量数据的洞察和分析困难，交互使用更容易上手。该项目的成功应用赢得了客户的高度认可和好评。
创新是企业发展的不竭动力。袁婷将努力将更多前沿技术带入知识图谱产品，丰富产品能力，为客户创造更多价值。
了解有关DataExa-Sati的更多信息
1.知识图谱的应用：百万知识图谱的实时可视化引擎。
2.袁婷认知中间平台：认知智能全栈技术，一站式“KaaS”平台。
3.袁婷技术数据Exa-Sati产品能力评级报告