疫情与科技双轮驱动,彻底改变了人类社会,线上会议、云上办公、远程医疗,很多新的协作方式应运而生。
钉钉、腾讯会议等依托已有的用户打造了方便实用的会议工具,AI公司推出了相关的会议场景解决方案,也有一些VR、AR科技公司开始拓展在线会议的边界,想在细致划分领域开拓一片天地。
今年的中关村论坛将继续发挥科技办会的优势,利用多项黑科技全方面提升参会体验。在2021中关村论坛中多项科技办会应用,也将直接落地到了北京冬奥会中。
首先,根据不同功能需求,在关键区域和出入口布设睿家科技智能安检测温系统及旷视明骥智能体温筛查比对系统。前者用于在安检处快速核验个人健康防疫信息,后者用于在人员密集处快速筛查体温。
值得一提的是,睿家科技智能安检测温系统能做到一秒七步合一:身份识别、智能测温、健康码、核算检验测试、疫苗接种、公安联网、电子登记。
会场还布置了气溶胶新冠病毒监测系统,利用生物气溶胶采样器直接将空气中新冠病毒颗粒采集至检测芯片裂解液腔室,芯片放入病原体核酸分析仪后,可全自动完成核酸提取与扩增检测,实现“样品入-结果出”式的高灵敏检测。
3G时代人与人之间的沟通更快了,4G时代物与物连成了物联网,5G时代,人、物、数据将更加深度的绑定在一起,现实世界和虚拟世界也会加速融合。
无论VR还是AR,都会让人感觉到真实和虚拟世界的割裂,缺乏沉浸式的体验,本次云上论坛,将同步在MR(混合现实)全景会场中举办,融合实景全景+三维模型,还原真实的会场空间,将多种融媒体整合、让观众可以在线上得到身临其境的沉浸式体验。
AR这项技术主要是通过三维模型、视频等数字媒体来给现实世界增加新的视角,将各种“美术”元素实时叠加在了用户的像机视图上,但如果你想和虚拟对象去交互,就行不通了,在AR中,现实和虚拟世界只是形式上的融合。
MR则不同,在MR的世界里人们能像现实世界一般去互动、操纵和体验,想象一下类似隔空输入,敲击着桌面上的虚拟键盘,屏幕上就实时显示出了内容,在混合现实中,到处都是这样的场景,虚拟世界的对象都是可触碰,有反馈的,相当于创造了现实和虚拟共存的混合世界。
那MR全景会场如何构建?第一步是要一套全景技术来复制一份会场的全景三维镜像,然后再整合多元化的媒体信息。这个全景系统会涉及超高清全景相机、全景拼接和全景图像渲染引擎等。
全景相机将拍摄的会场高清图像上传至云端,后台通过特征点识别、特征点匹配、图像智能拼接、图像融合等技术,将图片无缝拼接好,再由前端渲染引擎实现全景照片在手机、电脑、智慧屏等终端上完美呈现。
再融合空间定位、实时数据映射等多元媒体技术,一个令人兴奋可以实时交互的MR全景会场就诞生了,这个MR会场不再是“堆特效”堆出来的死场景,而是生动可感的第三世界。
MR云上会场虽然有更加沉浸式的体验,但现场的互动体验更能让与会者感受到科技的变化。
中关村论坛这样的科技盛会,不仅规格高,场次也很多,较为重要的会议通常伴有手语直播,方便听障人士参会,如果全靠真人手语主播,工作强度将会非常大。
近两年,虚拟数字主播逐渐走上舞台,帮助主持会议、播报新闻,几乎能乱真,但目前可以播报手语的虚拟人并不常见。本次大会非常幸运请到了 “悟道2.0”超大规模预训练模型加持的手语播报数字人。
由于手语主要靠手势来传递信息,不同的人有不同的手势习惯,非常容易导致信息传递偏差,而AI则能够尽可能的防止“千人千面”,只要前端接收的自然语言信息无误,就能准确表达。
普通播报新闻的虚拟主播也是由AI来驱动,对它们来说,只要语音准确就可以,表情和手势只需配合,而手语播报数字人,对手势的要求会更加精准。
追根溯源,手语数字人也还是为了传递信息,所以对自然语言的理解特别的重要,这次的手语数字人背后注入了“悟道2.0”和微软小冰的强大基因。
“悟道2.0”是类似GPT-3的人工智能预训练大模型,参数规模达到了1.75万亿,达到了GPT-3的10倍,打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录,并且完全使用了国产算力,在世界公认的9项Benchmark基准测试任务上都达到了精准智能。
因为训练数据和参数跟普通的AI模型不在一个量级,所以在自然语言理解上会有十分明显的优势。微软小冰基于情感的交互能力更强,不光能够直接进行创作性回答,还能控制自然对话的节奏,让整个播报更像真人。
据悉,该手语播报数字人不光参加中关村论坛,也会服务于北京冬奥会,为全世界的听障人士带去更好的参会体验。
而作为线下论坛,利用科技增强现场效果、给观众带来更佳的体验亦是重中之重。
中关村论坛引入了一系列适用于论坛场景的新技术,多维度整合进论坛场景中,让科技论坛真正科技化。
“国际化”、“高端化”是今年中关村论坛办会特色,为此论坛邀请了众多海外相关领域嘉宾线上参会,嘉宾线上视频的质量直接影响了现场效果。
本次中关村论坛利用视觉差原理,通过绿幕录制、后期特效等方式制作远程嘉宾演讲视频,达到线D效果,配合制作合成的模拟特写镜头上屏,达到人从画中来的真实效果。
同时利用AI视频增强技术,将部分质量不高的演讲视频优化为高清视频。如今,AI视频增强技术通常是基于深度学习技术,重新设计或提出自研的超分核心技术算法。可针对有损的视频场景、低分辨率视频流或视频文件进行实时放大、修复、复原,输出高分辨率、高清晰度视频,并经过神经网络的处理,有效修复编解码引入的图像错误。
除此之外,2021中关村论坛在在通州区九棵树文化产业园设置了沉浸式第二现场,全方位还原中关村论坛部分活动场次——通过边缘融合技术对多个方位拍摄影像进行拼接融合,在第二现场进行播出,达到全方位沉浸式体验的效果。
事实上,许多赛事会议都将用上基于5G的沉浸式VR体验,例如2022北京冬奥会的赛场。
如今的许多体育场和竞技场全都安装有数十台高清摄像机,然后捕捉各类角度的赛事镜头,将捕捉到的图像数据来进行渲染处理,进而可以在一定程度上完成360度的回放,并使得对人眼难以判断的动作和场上的违反相关规定的行为进行详细描述成为可能。角度还可以你在球场中间、运动员就在你身边的效果,进而达到沉浸式体验。
如今,人、物、数据将更加深度的链接在一起,现实世界和虚拟世界正在加速融合,VR会议只是数字孪生的冰山一角,是一个表现形式一个窗口,未来的数字化智能工厂,不是搬进了虚拟世界,而是迈上了通往融合创新的新大陆。