《中移智库：面向工业互联网的确定性网络协同技术白皮书（2024年）（42页）.pdf》由会员分享，可在线阅读，更多相关《中移智库：面向工业互联网的确定性网络协同技术白皮书（2024年）（42页）.pdf（42页珍藏版）》请在本站上搜索。 1、面向面向工业互联网工业互联网的确定性的确定性网络协同技术白皮书网络协同技术白皮书（2022024 4 年）年）牵头编写单位：中国移动通信有限公司研究院工业互联网产业联盟（工业互联网产业联盟（AIIAII）中移智库中移智库2022024 4 年年 6 6 月月声声明明本报告所载的材料和信息，包括但不限于文本、图片、数据、观点、建议，不构成法律建议，也不应替代律师意见。本报告所有材料或内容的知识产权归工业互联网产业联盟和中国移动所有（注明是引自其他方的内容除外），并受法律保护。如需转载，需联系本联盟并获得授权许可。未经授权许可，任何人不得将报告的全部或部分内容以发布、转载、汇编、转让、出售等方式使2、用，不得将报告的全部或部分内容通过网络方式传播，不得在任何公开场合使用报告内相关描述及相关数据图表。违反上述声明者，本联盟将追究其相关法律责任。工业互联网产业联盟联系电话：010-62305887邮箱：编写说明编写说明本报告主要研究面向工业互联网的确定性网络协同技术，通过该研究报告可对工业互联网确定性网络的研究和后续的标准制定起到参考作用。牵头编写单位：中国移动通信有限公司研究院参与编写单位：北京邮电大学中兴通讯股份有限公司北京科技大学浪潮集团有限公司中国信息通信研究院华为技术有限公司新华三技术有限公司紫金山实验室工业互联网产业联盟公众号编写组成员编写组成员（排名不分先后）：刘鹏、王晶、黄震宁3、、陆璐、许方敏、李斌、张晓琦、姜永、赵俊峰、朱瑾瑜、张恒升、付韬、李广鹏、李培、汪硕目目录录一、范围.1二、术语与缩略语.1三、确定性网络的标准化发展现状.4（一）IEEE 时间敏感网络 TSN.5（二）IETF 确定性网络 DetNet.8（三）3GPP 5G+TSN、5G+DetNet.10（四）CCSA 确定性网络.13四、确定性网络要解决的问题.14（一）保障单域网络的时延.15（二）保障端到端跨域网络时延的协同.16五、端到端确定性网络协同框架.17（一）端到端横向跨网络域.18（二）端到端纵向跨功能平面协同.20六、端到端确定性网络协同技术.24（一）现场网与车间网协同技术.24（4、二）工厂内网与工厂外网协同技术.25（三）移动网与承载网协同技术.26（四）增强确定性网络协同技术.32七、发展建议.34（一）确定性网络的场景和技术分类分级.34（二）应用确定性需求和网络确定性能力映射.34（三）网络与计算确定性技术协同.351一、范围本报告主要研究内容包括：在业界主流的确定性技术和标准的基础上，从端到端角度分析确定性网络需要解决的问题，描述了工业互联网确定性网络端到端技术协同架构。研究各技术在工业互联网部署的协同性，主要包括车间网络与现场网络、企业网络与广域网、移动网和承载网等，并给出发展建议。二、术语与缩略语下列缩略语与术语适用于本报告：AFApplication Fu5、nction应用功能AMFAccess and MobilityManagement Function访问与移动管理功能ARAugmented Reality增强现实AVBAudio and Video Bridging音视频桥接工作组BBUBase Band Unit基带处理单元BEBest Effort尽力而为BGPBorder Gateway Protocol边界网关协议CPRICommon Public Radio Interface通用公共无线接口CNCCentralized Network集中式网络配置2ConfigurationCUCCentralized User Config6、uration集中式用户配置DetNetDeterministic Networking确定性网络DCSDistributed Control System分布式控制系统DIPDeterministic IP确定性IP网络DNData Network数据网络DSCPDifferentiated Services CodePoint差分服务代码点DS-TTDevice Side TSN Translator设备侧TSN转换器EDNEnhanced DeterministicNetworking增强确定性网络GNSSGlobal Navigation SatelliteSystem全球导航卫星系统7、GPSGlobal Positioning System全球定位系统GTPGeneral Packet Radio ServiceTunneling Protocol通用分组无线业务隧道协议IEEEInstitute of Electrical andElectronics Engineers电气与电子工程师协会IETFThe Internet Engineering TaskForce互联网工程任务组IGPInterior Gateway Protocol内部网关协议IPInternet Protocol互联网协议3IP-RANInternet Protocol-Radio AccessNe8、tworkIP无线接入网ITInformation Technology信息技术MACMedia Access Control媒体介入控制层MESManufacturing ExecutionSystem制造执行系统MPLSMulti-Protocol Label Switching多协议标签交换NFVNetwork Function Virtualization网络功能虚拟化NW-TTNetwork Side TSN Translator用户设备UE和网络侧TSN转换器PTNPacket Transport Network分组传送网QoSQuality of Service服务质量OTOpe9、ration Technology操作技术P2PPoint-to-Point点对点PCFPolicy Control Function策略控制功能PREOFPacket Replication,Eliminationand Ordering Functions报文复制、消除和排序功能RANRadio Access Network无线接入网RFCRequest For Comments征求意见稿，IETF的发布标准RRCRadio Resource Control无线资源控制RRHRemote Radio Head射频拉远头4RRURemote Radio Unit射频拉远单元SCADASupe10、rvisory Control and DataAcquisition监控与数据采集SDNSoftware Defined Network软件定义网络SLAService-Level Agreement服务级别协议SMFSession Management Function会话管理功能SPNSlicing Packet Network切片分组网TSNTime Sensitive Network时间敏感网络UEUser Equipment用户设备UPFUser Plane Function用户面功能uRLLCUltra Reliable Low LatencyCommunication超可靠低延11、迟通信VRVirtual Reality虚拟现实WPTWireless Power Transmission无线电能传输三、确定性网络的标准化发展现状越来越多的应用对网络时延的上界/下界提出了严格且明确的诉求，传统数据通信网络提供的“尽力而为”服务已不能满足。如工业中的运动控制需要保证毫秒级的时延和微秒级的抖5动1，电力差动保护也需要毫秒级的时延保障2，其他如游戏、视频业务也期望得到尽可能稳定、优质的网络服务，时延和抖动等控制在数十毫秒以内，从而保障良好的业务体验。标准化组织如电气与电子工程师协会 IEEE、互联网工程任务组IETF、第三代合作伙伴计划 3GPP、中国通信标准化协会 CCSA等12、也已经开展了标准制定。（一一）IEEE 时间敏感网络时间敏感网络 TSNIEEE 于 2006 年首先开展确定性网络标准的研制，成立了“音视频桥接 AVB”工作组，研究音视频局域网络的确定性；2012 年更名为“时间敏感网络 TSN”工作组3,将应用场景扩展至工业、车载以及前传等，其包括时间同步、低时延、可靠性和资源管理四个部分，如图 3-1 所示：图 3-1 TSN 组件TSN 工作组至今已经发布一系列核心标准，包含基础标准、配置标准以及增强标准：(1)基础标准：1)IEEE Std 802.1Q-2018:桥梁和桥接网络62)IEEE Std 802.1AB-2016:站点和媒体访问控制连13、接发现3)IEEE Std 802.1AS-2020:时间敏感应用程序的定时和同步4)IEEE Std 802.1AX-2020:链接聚合5)IEEE Std 802.1CB-2017:可靠性的帧复制和消除6)IEEE Std 802.1CS-2020:链接本地注册协议(2)配置标准：1)IEEE Std 802.1BA-2021:音频视频桥接（AVB）系统2)IEEE Std 802.1CM-2018:时间敏感前传网络(3)增强标准：1)IEEE 802.1ABcu-2021:站点和媒体访问控制连接发现修正案：YANG 数据模型2)IEEE 802.1ABdh-2021:站点和媒体访问控制连14、接发现-修正案：支持多帧协议数据单元3)IEEE Std 802.1CBcv-2021:可靠性的帧复制和消除修正案：信息模型、YANG 数据模型和管理信息库模块。4)IEEE 802.1CBdb-2021:可靠性的帧复制和消除修正案：扩展流识别功能5)IEEE Std 802.1CMde-2020:时间敏感前传网络修正案：前端配置文件的增强，以支持新的前端接口、同步和合成标准6)IEEE Std 802.1Qbu-2016:桥梁和桥接网络修正案：框架优先权77)IEEE Std 802.1Qbv-2015:桥梁和桥接网络修正案：增强排定流量8)IEEE Std 802.1Qca-2015:桥梁15、和桥接网络修正案：路径控制和预留9)IEEE Std 802.1Qch-2017:桥接和桥接网络修正案：循环排队和转发10)IEEE Std 802.1Qci-2017:桥接和桥接网络修正案：逐流过滤和管理11)IEEE Std 802.1Qcc-2018:桥接和桥接网络修正案：流保留协议（SRP）增强和性能改进12)IEEE Std 802.1Qcp-2018:桥接和桥接网络修正案：YANG 数据模型13)IEEE Std 802.1Qcr-2020:桥梁和桥接网络修正案：异步流量成形14)IEEE Std 802.1Qcx-2020:桥梁和桥接网络修正案：连接故障管理的 YANG 数据模型16、15)IEEE Std 802.1Qat-2010:虚拟桥接局域网修正案：流保留协议(SRP).16)IEEE Std 802.1Qav-2009:虚拟桥接局域网修改案：时间敏感流的转发和排队增强TSN 的标准是全球确定性网络的基础标准，其他标准组织的标准均基于 TSN 标准中提供的机制进一步扩展或者增强而制定。8（二二）IETF 确定性网络确定性网络 DetNet国际互联网工程任务组 IETF 于 2015 年成立“确定性网络DetNet 工作组”4，沿用 TSN 的技术体系，解决基于 IP 等网络层的确定性问题。DetNet 网络参考模型（多域）如图 2-2 所示：图 3-2 DetNet17、 网络参考模型（多域）DetNet UNI 参考接口是确定性终端到确定性网络的连接参考点，其提供终端到确定性网络的确定性服务连接。DetNetUNI 可以提供多种能力接口，例如，它可以将与特定网络技术相关的数据封装添加到确定性网络流上；它也可以提供与预留资源相关的可用性状态信息给终端；它可以提供时钟同步服务给终端；它也可以携带消息给未使用控制器的分组网络以便分组节点将相关资源进行预留。当前 DetNet 工作组已经发布标准 18 项，包括场景、架构、数据面的封装、YANG 模型配置以及安全性考虑等：1)RFC 8557确定性网络(DetNet)问题声明92)RFC 8578确定性网络(DetN18、et)应用场景3)RFC 8655确定性网络(DetNet)架构4)RFC 8938确定性网络(DetNet)数据面框架5)RFC 8939确定性网络(DetNet)数据面:IP6)RFC 8964确定性网络(DetNet)数据面:MPLS7)RFC 9016确定性网络(DetNet)流和服务信息模型8)RFC 9023确定性网络(DetNet)数据面:IP over TSN9)RFC 9024确定性网络(DetNet)数据面:TSN overMPLS10)RFC 9025确定性网络(DetNet)数据面:MPLS overUDP/IP11)RFC 9037确定性网络(DetNet)数据面:M19、PLS overTSN12)RFC 9055确定性网络(DetNet)安全考虑13)RFC 9056确定性网络(DetNet)数据面:IP overMPLS14)RFC 9320确定性网络(DetNet)有界时延15)RFC 9546基于 MPLS 的确定性网络 OAM16)RFC 9551确定性网络 OAM 架构17)RFC 9550确定性网络报文排序18)RFC 9566基于 MPLS over UDP/IP 的确定性网络报文复制、消除和排序10当前，DetNet 工作组正在面向数据面进行增强和扩展，其中 需 求 文 稿 已 经 采 纳（draft-ietf-detnet-scaling-20、requirements），面向规模可扩展的确定性网络进一步制定标准。（三三）3GPP 5G+TSN、5G+DetNet国际 3GPP 从 R16 开始引入 TSN 机制，支持最基本的 5 个IEEE TSN 协议，并对 5G 网络进行时间同步机制和确定性服务保障增强，R17 阶段对 R16 进一步增强，并支持基于 5G 的确定性能力开放，当前标准研究已经完成 R18 详细设计，支持了DetNet、跨域确定性。3GPP 5G+TSN 的标准发展历程如下：1)R16 阶段TS 22.261 明确 5G 支持以太及 LAN 转发能力TR 22.804 明确 TSN 作为 5G 系统关键特性TS 221、3.501 提出 5G 作为 802.1Q 中 TSN 网桥，5GS 支持TSN 桥接管理和配置TS 23.502 规定 5G TSN 控制面流程TS 23.503 规定 5G TSN QoS 配置框架TS 24.519 定义 5G TSN DS-TT 与 TS-TT 网元的协议设计TS 24.535 定义 5G TSN AF 与 DS-TT 和 TS-TT 的协议设计TS 29.244 定义时间敏感信息的用户面控制接口详细设11计TS 29.512 定义时间敏感通信的 QoS 等详细设计TS 29.522 定义时间敏感通信的能力开放2)R17 阶段TS 23.501 提出 TSC 概念，构建22、 TSCTSF 能力TS 23.502 更新 IP PDU 的 TSC 功能，TSC TSF 核心网响应流程、发现和选择流程，规定 TSN GM 和 5GS 时钟 TSCAI 映射，澄清使用 TSCTSF 提供的时间同步服务TS 23.503 更新 TSCTSF 发现和选择流程TS 24.501 支持时间同步TS 24.535 增强 gPTP 机制，支持 PTPTS 29.512 支持 TSC 开放TS 29.513 TSC 的策略控制流程TS 29.514 支持 TSC 开放TS 29.519 存储 TSC 数据TS 29.522 支持 TSC 开放TS 29.591 支持 TSC 开放TS23、 29.244 用户面控制接口详细设计更新TS 29.510 定义 TSCTSF 注册和发现3)在 R18 阶段TS 23.501 提出 DetNet 概念，构建 5G 与基于 IP 层的确定性网络协同能力；提出 5G 和传输网络的跨域确定性协同，进12一步支持时间同步能力开放TS 23.502 支持 DetNet 配置流程，支持时间同步能力开放、N3 确定确定性等业务流程TS 23.503 规定 DetNet QoS 配置框架，支持时间同步能力开放、N3 确定确定性的策略控制TS 29.585 规定 SMF/CUC 和 AN-TL、CN-TL 交互的协议交互TS 24.501 规定时间同步状24、态详细定义TS 24.539 UMIC 中传递时间同步状态信息TS 29.122 BAT 适应能力/偏移适配TS 29.507 时间同步订阅事件处理TS 29.512 BAT 适应能力/偏移适配，DetNet 信息交互TS 29.513 TSC、时间同步状态信息、DetNet 的策略控制流程TS 29.514 BAT 适应能力/偏移适配，DetNet 信息交互TS 29.522 TSC 和时间同步状态信息能力开放TS 29.534 时间同步签约扩展TS 29.539 DetNet 所需 NW-TT 字段扩展TS 29.565 时钟同步状态报告，支持 IETF draft-ietf-detnet25、-yangTS 29.503 签约数据更新TS 29.504 签约数据更新13TS 29.505 签约数据更新TS 29.518 AMF 相关流程更新TS 29.571 通用数据更新TS 29.244 用户面控制接口详细设计（四四）CCSA 确定性网络确定性网络中国通信标准化协会 CCSA 各标准技术工作委员会和特设任务组从 2018 年起均已经开展面向运营商网络、下一代移动无线网络、工业互联网的确定性网络行业标准的制定：1)2021-0277T-YD 电信网络的确定性 IP 网络总体架构和技术要求2)2021-0278T-YD 电信网络的确定性 IP 网络控制面技术要求3)2022-075926、T-YD 电信网络的确定性 IP 网络设备技术要求4)2021-0993T-YD 电信网络的确定性 IP 网络 面向汇聚层边缘云的技术要求5)2021-CCSA-116 工业互联网 确定性网络技术要求6)2022-CCSA-32 网络 5.0 确定性业务分类分级需求7)2020B60 面向物联网应用的确定性网络技术需求分析研究8)2021B80 工业互联网 企业确定性网络关键技术及自运营系统研究149)2022B60 5G 确定性通信业务保障方法研究10)2021B91 新一代无线网络确定性技术研究11)2021B133 5G 网络确定性时间感知技术研究12)2020B39 PON 支持低时延27、和确定性时延技术的研究13)2023-0107T-YD 5G 移动通信网支持时间敏感网络（TSN）技术要求（第二阶段）虽然各行业和标准化组织都已经开展确定性网络技术的研究以及标准的制定，确定性网络目前仅在局域网或专用大型设备中应用，还未广泛应用。TSN 的时延控制机制适用于范围较小的二层网络，对于长距离、拓扑复杂的网络，TSN 的可扩展性并不够优异；DetNet 虽然面向 IP 层，但由于继承了 TSN 的技术，也面临和 TSN 一样的问题，目前正在致力于制定可扩展的标准。5G 引入 TSN 机制的复杂性对于后期的应用是一个很大的挑战。除了个别局域网的业务，大部分业务都是需要跨越多域以及多种接28、入方式的，因此需要确定性网络技术的协同。目前业界对于确定性网络技术协同技术的研究尚处于起步阶段，各标准化组织尚未有确定性网络协同技术标准发布，所以研究确定性网络协同技术是非常必要的。四、确定性网络要解决的问题确定性网络通过对网络数据转发行为进行控制，从而实现可预期、可规划的，将带宽、时延、抖动和丢包率等控制在确定的范围内5。其中，带宽资源可以通过资源预留协议、软硬15切片资源隔离等方式实现，丢包率可以通过多发选收等技术实现。时延和抖动是确定性网络所关注的最核心的方面，包括网络的单跳时延和端到端时延6，通常表现在单台网络设备对于报文的收发时间的控制，以及与上下游节点的相互配合。（一一）保障保障单29、域单域网络的时延网络的时延网络的单跳时延主要由单跳传播时延和节点内时延组成，其中传播时延是指数据包在链路上传播的时延，主要取决于网络设备之间的链路距离及链路传输速率。在一个稳定的网络拓扑中，链路距离及链路速率相对稳定，因此链路时延几乎没有变化的空间。节点内时延主要包括报文的处理、排队、发送和重传等，特别是节点中的排队时延是造成长尾效应的主要因素。当没有任何网络拥塞，数据报文进入缓冲队列的时延几乎为零，但是网络一旦有拥塞发生，报文必须在网络设备（路由器、交换机）中排队等待。这个时间不是固定的，与网络繁忙程度以及队列排队机制相关。网络负载比较轻的时候，不需要排队，无排队时延；负载较重时，排队则可能30、时延很大（几十到几百毫秒都有可能）。所以，链路时延的可降低空间十分有限，达到低时延进而实现确定性网络的关键在于减少节点内的时延。图 4-1 网络单跳时延16确定性网络中，可以事先调度规划好关键事件的发生序列。各个子系统之间通过通信任务的特定调度规划和数据包的处理调度，使确定性任务处于一种无冲突的状态，避免了信息在交换过程中不可控制的排队，有效地降低了设备的缓存成本以及传输等待而导致的时延，从而使得整个网络的关键数据包的传送处于确定的状态。图 4-2(a)和(b)分别给出了在传统 IP 网络和确定性网络中的端到端传送时延的概率密度分布，可以看到确定性网络的时延和抖动是有上界的。(a)传统 IP 31、网络(b)确定性网络图 4-2 网络时延概率密度（二二）保障端到端保障端到端跨域跨域网络时延网络时延的的协同协同网络的端到端时延是指业务请求从客户端发出之后，一直到数据中心进行处理所经过的所有网络链路和设备的时延。如图 4-1 所示，网络端到端单向时延包括以下 4 种。（1）无线侧时延：无线侧时延主要是指业务数据从端侧发出，经无线空口被无线接入网（RAN）接收的时延。17（2）回传网时延：从基站连接至用户面功能（UPF）的时延，这段网络不同的运营商采用不同的技术，如分组传送网、切片分组网以及 IP 无线接入网技术等。（3）UPF 处理时延：UPF 作为 5G 核心网的用户面网元，是RAN 与数32、据网络（DN）之间的连接点，负责完成数据报文的识别和重封装。其中，服务质量映射、深度包检测等功能处理会带来一定的时延。UPF 的部署位置随着 5G 核心网下沉，可能在城域接入、汇聚、核心、骨干等多个位置。（4）IP 承载网时延：IP 承载网主要指省际骨干网和部分城域网，以及互联网，采用的是 IP 网络技术。图 4-3 端到端的网络时延通常除了局域网业务，其他需要访问外网或者互联网的业务都需要经过多个网络域，包括跨越局域网、运营商不同自治域的网络以及不同运营商之间的网络，单个设备的确定性转发无法保障全局的确定性。当前确定性网络的转发面技术如流量整形、队列调度等均以解决单跳时延为基础，缺少了基于端33、到端时延保障的考虑。五、端到端确定性网络协同框架18端到端的确定性网络不仅要解决网络设备对报文处理的时延，也需要协同多域、多运营商的全局时延。基于以上原则，端到端确定性网络的架构如图 6-1 所示。（一）（一）端到端横向跨网络域端到端横向跨网络域从网络域的角度看，端到端的确定性网络包括 3 个部分：工厂内网、工厂外网及跨网络域。图 5-1端到端确定性网络架构1.工厂内网以工业为例，工厂内网通常分为信息网络和生产网络7，其中离用户站点较近的生产网络对时延有一定的要求。传统的生产网络采用的总线或工业以太网技术，可以保障时延，但是无法适应工业互联网趋势下的互联互通要求，这也是 TSN 网络深入工业想34、要解决的问题。TSN 的一系列流量控制的机制，适用于企业规模的网络，TSN 在工业的融合发展趋势，促使信息19和生产系统在网络层互联和应用层语义一致，实现不同系统的互联互通。2.工厂外网工厂外网主要是指运营商网络，包括 5G 无线侧、接入网、汇聚网和骨干网。工厂外网的确定性是端到端确定性网络的关键环节之一，目前暂无明确的方案，可以考虑采用资源预留的方式优化重要业务的部分时延。汇聚和接入网络主要采用PTN/SPN/IP-RAN 等技术，也都在一定程度上考虑了网络时延的需求，不过是否需要进一步的基于二层或者 3 层网络的确定性技术支持还有待验证。骨干网基于 IP 协议实现，所以基于 3 层的确定性35、技术是主要的选择。5G 边缘计算的兴起使得数据中心和 UPF 逐渐融入到运营商的融合/接入网络中。以 UPF 为分界点，回传网和承载网可能采用不同的技术和协议，这两部分网络也有不同的控制面。流量从用户侧发出，到 UPF 之前，通过 5G 系统的控制面来管理和配置，在 UPF 之后即进入固网的范围。5G 系统对于流量的 QoS 有着比较复杂和较为全面的控制，但是在 UPF 之后，仅仅映射为固网 IP 协议的差分服务代码点 DSCP 字段8，DSCP 共定义了64 种，但是现阶段并未在现网中应用。所以一方面流量在 5G网络中并没有实现严格的确定性，另一方面在 UPF 之后无法得知其具体的 QoS 36、需求，也无法实现确定性。现阶段 3GPP 开始启动对确定性机制的引入，即使两部分网络都实现了确定性，也需要充分感知和交互，才能实现端到端的确定性。203.跨网络域跨网络域的情况包括跨同一个运营商网络的多个网络域，不同网络域所采用的网络技术可能不同；也包括跨不同运营商的网络，如 quality on demand9，用户通常通过某一运营商的网络接入，访问其他运营商网络中的服务。同时也指不同的局域网之间的互联。确定性的业务流在各个网络域都需要被识别才能保证其快速有序的转发，可能涉及时间同步、频率同步、非同步技术的结合，确定性流量标识的解析和重封装，各域所划分时间片的协商等机制。因此，需要跨域互通的37、管理系统来建立有效的协商和确定性转发机制，以保证业务流的及时到达，该系统可能根据网络规模，通过集中式或者分布式部署。由于各网络域可能使用不同的调度、整形技术，如时延敏感门控调度、循环队列调度、剩余时间调度、异步调度等，不同技术对时延和抖动的影响各有不同，为满足端到端时延/抖动SLA 指标，可以在不同技术域边界额外放置时延/抖动调整器，对经过当前域的确定性业务的时延或者抖动做二次调整。时延/抖动调整器可以通过多种技术实现，具体方案还待进一步研究。（二二）端到端纵向端到端纵向跨功能平面协同跨功能平面协同确定性网络的实现技术包括数据面、控制面和管理面，需要各功能平面协同来保障端到端的确定性。211.38、数据面数据面技术是确定性网络的基础，包括流量整形、队列调度、标签解析等，这些机制规定了网络设备中时间敏感流的排序和转发规则，可以单个或者组合使用，达到不同的确定性效果。（1）流量整形：单个业务的流量可能会呈现出规律性，如工业类的应用、物联网设备周期性的数据采集等，对于整体的网络流量，通常是无规则的。需要在网络设备处对无规则的流量进行整形，满足一定的规律分布，从而便于后续的处理。IEEE802.1Qav 定义了基于信任的整形，通过信任消耗和累积算法来决定每种流量是否发送和等待10。（2）队列调度：网络设备内部对报文或流的处理一般是基于队列先进先出的原则，通过对报文所对应的收发队列的控制，可以调整39、其在某个网络设备发送的时间，从而达到逐流逐报文可控的效果。IEEE 802.1 Qbv11是典型的队列调度机制，也是循环队列调度12以及异步流量整形13等调度的基础。（3）标签解析：消息在不同网段传输时，由于不同网络的实现技术不同，可能需要对标签进行重新解析和封装。例如，从二层网到三层网络，时间敏感流的关键字段需要从以太网帧中解析出来，封装成 IP 报文。（4）周期映射：一些非时间同步的确定性网络实现机制，如确定性 IP14，需要基于循环队列的机制对上下游设备进行标签映射。22（5）富语义识别：报文中可能携带其他的扩展信息，如应用的需求信息、时间戳等信息，需要能够对这些扩展信息进行识别，从而满40、足多样化的数据面功能的扩展。2.控制面控制面端到端时延和抖动保障方面可以有多种技术手段，例如：（1）拓扑生成：确定性网络的部署可能是分阶段的，演进过程中并非所有设备都支持确定性网络的功能，可能采取隧道技术或者叠加层的方式，因此需要具备确定性网络设备和拓扑生成的功能。（2）SLA 指标分解：端到端总 SLA 指标分解成各个网络段的的多段 SLA 指标，各网络分别提供满足指标的服务。（3）QoS 参数映射：通过二层帧头的源、目的 MAC 地址和优先级区分业务和 QoS 等级，通过确定性流标识和分类分级信息区分确定性业务和 SLA 服务等级；为保证端到端统一的 QoS服务，网络边界节点需要做参数映射41、和转换；（4）路径计算：根据分解的 SLA 指标，各网络域分别计算满足需求的业务路径，域内根据业务分类分级信息选择合适的确定性路由，也可以通过集中控制方式由控制器规划显式路径；（5）资源预留：资源预留是保障确定性网络服务的基础，传统的资源预留协议15或基于流量工程扩展的资源预留协议16协议目前应用得并不是特别广泛，一方面原因是之前确定性业务并未兴起，另一方面原因是降低了网络资源利用率。所23以需要在提升资源预留的粒度和准确度上，并且需要改进广域网络对应流聚合情形下的资源预留方案。（6）流聚合：在大多数大规模确定性网络中，由于业务的多样性，需要进行流量聚合，详细定义聚合策略，如开始和结束时间、流42、量类型和特征。3.管理面管理面需要实现确定性网络的跨域互通管理、资源管理配置、性能检测、多用户配置和能力调用等功能。（1）跨域互通管理：配置确定性网络流量在不同网络域的策略，可能包括域间的资源分配和协商等功能。（2）资源管理配置：可以是一些基本的网络配置，也可以是特定的资源，如 YANG 模型、端口、周期映射关系等。（3）性能监测：通过获取网络反馈来调整转发策略，定位故障，并根据历史数据预测网络拥塞。（4）多用户配置：确定性网络需要考虑一定的应用方的需求，在视频、游戏等应用中，涉及用户之间的交互，因此需要保持同一应用中多用户的一致性，从而达到最优的业务体验，需要同时考虑路径选择和流聚合策略等。43、（5）能力调用：向用户云开放确定性网络的能力，如路径计算、门控制列表等。用户云通常包括基本的网络配置功能，但对于复杂的网络管理或者控制面功能，可以通过调用大网的能力实现。24六、端到端确定性网络协同技术本章节提出一些确定性网络技术协同方案，作为当前确定性网络的补充，实现端到端的确定性网络保障。（一）（一）现场网与车间网现场网与车间网协同技术协同技术工业网络对通信的实时性有着较高的要求，传统的工业以太网针对特定的应用领域开发了许多专有的协议来保障通信需求，如 EtherCAT、PROFINET 和 TTEthernet 等，但是它们都是行业的专有协议，彼此互不兼容，无法在同一网络中实现互操作，为44、了解决这一问题，TSN 应运而生，TSN 技术标准制定了一系列机制，将工业以太网和 TSN 结合，可以确保或改善以太网流量的实时传输，并进一步促进工业网络中的 IT/OT 融合，满足各类工业场景的通信需求。工业网络中对 TSN 的应用主要通过 TSN 交换机来实现。TSN交换机可以实现 TSN 的一系列功能，包括时钟同步、资源预留、流量调度等，时钟同步作为 TSN 交换机最基本的功能，可以在每一台 TSN 交换机中实现。根据不同的应用场景，可以选择具备不同功能的 TSN 交换机，例如，对时延要求高的应用，可以使用具有 Qbv、Qbu 等功能的交换机来保障关键流量的确定性时延；对可靠性要求高的应45、用，可以使用具有 802.1CB 功能的交换机来减少数据包的丢失以提升可靠性。TSN 在网络中需要提供的网络指标包括带宽、延迟、抖动、丢包率、可靠性等等，25对于中小规模的静态网络，TSN 的流量规划调度往往可以提供高质量的调度方案。（二二）工厂内网工厂内网与与工厂外网工厂外网协同技术协同技术本节主要面向工厂内网和外网的协同互联场景。例如DetNet 可以在 IP 层，解决 3 层网络与 2 层网络孤岛连通的场景，RFC9024 提 TSN 叠加 DetNet MPLS 的场景及方案，L3 层使用 DetNet 实现确定性技术，与 TSN 网络连通。DetNet MPLS 域边缘节点提供业务代46、理（service proxy）功能，实现 TSN 流和DetNet 流的映射，将 TSN 流关联到 DetNet 流，可能一对一，也可能是多个 TSN 流映射到一个 DetNet 流。TSN 相关信息，如流处理需求，优先级，队列操作等属性，需要通告到 DetNet 网络，TSN 的 Stream ID 及其相关参数及需求，需要转化成DetNet Flow-ID 及相关参数及需求，其流识别规则及流映射需要采用管控平面方法实现。目前产业界代表性确定性 IP 技术 DIP，基于 IP 分组转发技术做到端到端时延抖动不超过需求阈值，且时延抖动上限与数据包所经过的 IP 节点跳数无关，主要适用于远程手47、术、在线 VR 游戏、电网继电保护、天车远程驾驶等场景。确定性 IP网络的转发架构主要包括控制面的资源预留、数据面的确定性转发，在入口边缘节点处进行确定性流准入条件判定，必要时进行确定性流量整形；出口边缘节点参与资源预留的信令过程。26DIP 面向广域网设计，同时也可以应用在工厂内网。从工厂内网到外网的链接转换过程中，需要配置好周期映射的关系，消除内网和外网周期频率的偏差，以及适应不同网段的速率和周期大小的设置问题。图 6-1 确定性 IP 网络架构（三三）移动网与承载网协同技术移动网与承载网协同技术1.5G+TSN 技术（1）5G 前传+TSN通过 TSN 技术来提升包括前传、回传网络在内的48、 5G 传输网的质量，实现确定性传输，IEEE 802.1CM-2018 和 802.1 CMde-2020 对 TSN 作为移动前传网络进行了规范。标准解决了使用以太网将蜂窝无线电设备连接到远程控制器的问题，有望在 5G 小型蜂窝网络以及未来基于云的无线接入网络的技术设计中发挥重要作用。面向工业企业园区内工业互联网规划和部署，时间敏感网络与移动前传网络融合部署的场景主要有如下三类：271）车间级：车间内部及生产线上，部署有大量异构的传感器和控制器，分别具有高并发接入和高可靠、强实时传输要求。其中，不同类型数据通过前传网络传送至车间综合接入点的MEC 进行本地实时处理，支持闭环控制。此时前传网49、络为主要承载网络，传输范围为车间内；2）楼宇级：楼宇内部，部署有大量监控器和移动机器人，具有高带宽和高可靠传输要求。其中，监控数据和机器人控制数据通过前传网络传送至楼宇综合接入机房的 MEC 进行本地实时处理，支持实时调度。此时前传网络为主要承载网络，传输范围为楼宇内；3）园区级：园区内部，部署有大量监控器或巡检机器人，具有高带宽传输要求。其中，监控数据一般通过前传网络传送至园区综合接入机房的 MEC 进行本地实时处理和存储。此时前传网络为主要承载网络，传输范围为园区内；面向室外生产作业环境（如石油开采、电力传输）的工业互联网规划和部署，时间敏感网络与移动前传网络融合部署的场景主要有如下两类：50、1）生产单元级：室外大型生产单元（如抽油机、变电站）附近，部署有大量异构的传感器、监控器和控制器，分别具有高并发接入、高带宽传输和高可靠、强实时传输要求。其中，不同类型数据通过前传网络传送到室外生产单元接入点的 MEC进行本地实时处理，支持闭环控制。此时前传网络为主要承载网络，传输范围为生产单元附近；282）生产区域级：室外大型生产单元之间需要进行协同调度与控制，具有高可靠、强实时传输要求。其中，数据通过前传网络传送到区域生产调度室的 MEC 进行本地实时处理。此时前传网络为主要承载网络，传输范围为生产区域内；（2）5G TSN 端到端同步技术软件定义 5G TSN 同步网络基于集中式控制和管51、理架构，通过引入控制平面，提供智能化的同步网络配置管理、保护恢复、故障管理以及性能管理等功能，防止同步网络定时环、PTP 广播风暴、同步网络配置错误等问题，方便同步网络规划部署，增强同步网络运行安全可靠性，提升同步网络运维管理效率。基于 SDN/NFV 技术，通过软件定义的方式可以将网络的主要工作简化为传递时间同步消息，并将协议级别的逐跳补偿从专用时钟设备解耦成网络功能。一方面通过 SDN 控制器可以获取相关链路参数信息（例如，链路长度，物理链路特性等），并且可以获取节点参数，例如网元的类型，振荡器特性以及任何其他根据 SDN 规则以可编程方法添加的参数信息；另一方面，通过将时间同步构建为网络52、功能，完成集中式的时间误差补偿。结合 SDN、NFV 技术实现软件定义的网络时间同步后，时间误差补偿数据可以汇集到计算平台进行处理。（3）5G TSN 融合组网根据工业互联网中确定性业务的 SLA 不同，支持 5G 系统与TSN 系统融合的 5G TSN 组网架构如图 7-4 所示，从层次上分为数据平面、控制平面和业务应用。29数据平面：主要包括 TSN 数据平面和 5G 数据平面。TSN 数据平面主要包括终端设备（端站、工业设备、工业控制器等），5G 数据平面主要包括网络侧的网关功能设备、5G 核心网用户平面功能、5G 接入网、NW-TT、DS-TT。网关功能设备和设备侧TSN 转换器是实现53、 5G 系统与 TSN 系统的协同融合的关键部件，主要用于实现 5G 系统与 TSN 系统之间的时间同步，并为业务流提供端到端传输通道。控制平面：主要包括 5G 系统控制器、TSN 系统配置器和 5GTSN 协同控制器。5G 系统控制平面中的访问与移动管理功能AMF、会话管理功能 SMF、策略控制功能 PCF 以及与 TSN 控制平面相关的 TSN 应用功能 AF 等功能模块，形成为 5G 系统的控制器。TSN 系统配置器主要包括 CUC 和 CNC，TSN 系统配置包含网络侧与用户侧两个部分。5G TSN 协同控制器掌握全局网络状态，北向接口面向网络应用 APP 提供抽象的网络信息，获取服务54、需求，其南向接口与单域控制器（5G 系统控制器和 TSN 系统配置器）进行交互，以支持 5G TSN 全网的协调配置。业务应用：由于 5G TSN 融合架构兼备 5G 技术和 TSN 技术优势，具有宽带接入、大规模互联、实时连接、时间敏感连接等特性，因而可以广泛应用于数据融合、智能电网、工业自动化、数字交通等多个领域，赋能工业互联网数字化、网络化、智能化。30图 6-2 5G TSN 组网架构目前，如何面向工业互联网对 5G 和 TSN 技术进行融合组网部署是产业界、学术界、标准组织研究的热点。3GPP R16 版本主要定义了采用网络侧和用户侧 TSN 转换器实现 5G-TSN 组网方式，实现55、端到端确定性通信；工业互联网产业联盟（AII）定义了三种 5G TSN 融合组网方式，分别是 TSN over 5G uRLLC、5G承载网 over TSN、5G 作为 TSN 系统网桥。2.UPF 增强技术当前，移动网络终端接入后遵循 3GPP 若干协议规定，UPF支持 GTP17所携带的移动网的各类参数，但是解析后通过 N6接口发送给后续承载网的报文中，除了 DSCP 字段，不会向固网输出任何关于应用、用户等的信息。意味着移动核心网中的Qci，Qfi 等具体包括业务需求的参数无法被承载网感知，承载网的服务质量便无法得到保障。即使承载网具备网络切片、确定性网络等功能，也无法很好的和业务需求56、匹配。31端到端的确定性网络需要不同网段之间的协同，所以需要移动网的控制面以及数据面与承载网进行交互，包括控制面的参数配置同步，以及数据面的参数解析和重新封装。以基于时间戳的确定性网络转发机制为例，总体时延 T 应等于分配给核心网和承载网的时延之和，由于路径上承载网在移动网后面，则需要进一步的策略规则制定。实现方式简述：(1)如果报文在移动网络传输过程中消耗时间正常，需要重新封装应用对网络的需求信息,可以通过读取 Qci 的对应表获取时间要求信息(2)如果报文在移动网络传输过程中已经消耗过多时间，但并未超过总体时延，则承载网络可以选择更快速的转发路径，也可以按照原本路径转发(3)如果报文在在移57、动网络传输过程中已经超时，则承载网络可以选择丢弃报文，并向移动网反馈重新发送报文，则再与核心网沟通重新发送报文。进一步，控制面要解决的问题是如何让 UPF 根据 Qci，Qfi等信息写入详细的应用需求。一种方式为，UPF 具有 FAR 转发行为规则的功能，其中 Transport level marking 是可以对转发报文 IP 头部添加指定的 DSCP 标记，即可以重新定义Transport level marking，在现有的 DSCP 标记处扩展。或者UPF 新增功能，写入详细的应用参数信息。另一种方式是 UPF具备 PDR 识别流的功能并可以进行分类，例如通过 Local F-TEI58、D 字段，网络示例，UE IP 等信息的任意组合识别。32数据面要解决的问题是如何考虑移动网已经消耗掉的时延，传递给 IP 网络，可以通过对 GTP 的修改，携带应用的需求信息。GTP 报文中包括 Pn 字段，为 N-PDU 号标志位（Number Flag），长度 1 位，标记是否存在一个可选的 N-PDU 号字段，有则值为1，无则为 0。可以将 Pn 字段设置为 1，之后通过扩展字段来携带具体的应用参数信息。（四四）增强增强确定性网络确定性网络协同协同技术技术随着园区网络确定性技术的日趋成熟，跨越 IP 确定性网络的各种应用场景也应运而生，确定性网络面临多方面挑战：多样化的服务质量需求、大59、规模网络连接和流量需求、差异化确定性转发机制，需要不同层次资源和路由的协同。增强确定性网络（Enhanced Deterministic Networking，EDN）基于上述需求，以资源、路由的协同满足业务多层次时间确定性的需求。1.资源确定性资源确定性是提供确定性网络服务的基础，是指满足节点内、链路处理的确定性指标达成的资源以及对应资源的处理机制（比如链路带宽、队列及其调度算法）。需要对网络进行整体资源规划，建模异构确定性资源，为不同级别的确定性转发能力提供保障。EDN 将确定性资源统一抽象为确定性“链路”，不同的资源类型或资源能力都是为确定性路由层提供不同的“链路”，这些链路具有确定性路60、由可感知的确定性属性。确定性链路可33以是提供确定性传输的子网，也可以是点对点 P2P 链路。通过确定性链路的抽象，对路由层屏蔽不同资源的细节，由确定性链路集合、子网之间相互协同构成具有端到端的确定性服务能力的逻辑拓扑。EDN 针对不同资源类型和能力，在数据面携带通用队列资源调度信息，涵盖 Qbv、CBS、ATS、基于截止时间的调度、周期调度等队列调度机制，报文依据此信息可以得到对应的转发和调度，保证业务的端到端时延和抖动确定性。2.路由确定性传统的路由只具备可达性，确定性需求如时延抖动等只作为算路约束条件，路径随网络拓扑的实时变化而发生改变，不具备 SLA 能力，无法满足多种确定性级别的需求61、。为了满足分类分级确定性业务的需求，EDN 基于统一建模后的确定性链路资源，生成和发布具有不同 SLA 能力的确定性路由，例如域内使用 IGP 基于确定性时延度量计算确定性路由，跨域使用 BGP 基于精确的时延/抖动指标计算确定性路由。区别于传统可达路由，确定性路由本身都是由确定性链路构成，通过路由选择匹配不同的确定性链路资源，从而提供不同的路由转发服务。基于上述确定性链路计算出的路径，由于与底层具体队列调度机制相关，除原有可达性外，还可以体现由底层机制保障的时延和抖动信息，因此此类路由称为确定性路由。“资源确定性”通过规划携带确定性能力的网络资源，对确定性资源进行统一建模，形成增强确定性链路62、。“路由确定性”基于资源层面提供的统一建模的确定性链路计算确定性保34障路径并进行时隙化编排，下发域内或跨域的确定性路由，提供确定性承载能力。七、发展建议确定性网络目前标准已经走向成熟，但是仍需在确定性网络的场景和技术分类分级、应用确定性需求和网络确定性能力映射，网络与计算确定性技术协同方面展开进一步研究：（一一）确定性网络的场景和技术分类分级确定性网络的场景和技术分类分级端到端的确定性网络技术的协同需要根据业务需求将确定性业务映射到不同的确定性服务等级。同时，确定性网络的服务的等级，需要综合业务的需求及网络的能力，来决策确定性网络相关的技术选择和试点规划。当前确定性业务的场景需求和技术分类分63、级还未完全明确。为了更好地进行确定性网络技术的协同，有必要对确定性网络的场景和技术分类分级进一步研究，以满足确定性业务多样化需求和 SLA 指标达成。（二二）应用确定性需求和网络确定性能力映射应用确定性需求和网络确定性能力映射不同应用对网络的时延、抖动、丢包率等指标有着不同的需求，确定性网络的终极目标是保障应用确定性需求。网络QoS 越高，传输机制越复杂，成本也越高，因此不能一味地追求高质量的网络 QoS，而是要“因地制宜、对症下药”，综合考虑性能和成本之间的平衡。当前细分应用场景众多，无法直35接从业务质量需求中提取出网络的确定性传输需求。为了解决上述问题，需要解决应用的确定性需求和网络的确64、定性能力之间的映射问题。（三三）网络与计算确定性技术协同网络与计算确定性技术协同针对工业控制系统向着广域化、云化发展的趋势，网络与计算确定性技术协同可以为下一代工业控制系统提供实时算力和实时传输保障。网络确定性主要关注的是网络的实时性能力，如时延和抖动的控制；计算确定性则更多地关注算法的稳定性和执行效率，确保计算任务能够稳定执行并在有限的时间内得到结果。网络确定性技术和计算确定性技术分属两个不同的领域，相互协同为工业系统提供融合确定性保障仍面临诸多挑战。下一步，希望与产学研各界凝聚共识，携手探索确定性网络协同技术领域，解决当前确定性网络协同技术发展过程中存在的标准体系尚不完善、关键技术尚不成熟65、等问题，共同推进产业发展！36参考文献1 IEC 62443.Security for industrial automation and control systems:ISA/IEC62443S.2007.2 5G 确定性网络产业联盟.5G 确定性网络 电力系列白皮书 I：需求、技术及实践R.2020.3 IEEE.Official website of the IEEE 802.1 time-sensitive networking(TSN)taskgroup.OnlineAvailable https:/www.ieee802.org/1/tsn.4 IETF.Official web66、site of the IETF deterministic networking(detnet)workinggroupS.OnlineAvailable https:/datatracker.ietf.org/wg/detnet.5刘鹏,杜宗鹏,李永竞,等.端到端确定性网络架构和关键技术J.电信科学,2021,37(9):10.6段晓东,刘鹏,陆璐,孙滔,李志强.确定性网络技术综述J.电信科学,2023,39(11):1-12.7 工业互联网产业联盟（AII）.工业互联网网络连接白皮书R.20188 IETF.Definition of the Differentiated Service67、s Field(DS Field)in the IPv4 andIPv6 Headers:RFC2474S.1998.9 Quality on demandS.OnlineAvailable https:/www.camaraproject.org.10 IEEE.IEEE Standard for local and metropolitan area networks-forwarding andqueuing enhancements for time-sensitive streams:802.1QavS.2009.11 IEEE.IEEE Standard for local and68、 metropolitan area networks-enhancementsfor scheduled traffic:802.1QbvS.2015.12 IEEE.IEEE Standard for local and metropolitan area networks-cyclic queuing37and forwarding:802.1QchS.2015.13 IEEE.IEEE Standard for local and metropolitan area networks-bridges andbridged networks amendment:asynchronous 69、traffic shaping:802.1QchS.2020.14 强鹂,刘冰洋,于德雷,等.大规模确定性网络转发技术J.电信科学,2019,35(9):12-19.15 IETF.Resource reservation protocol(RSVP):RFC2205S.1997.16 IETF.RSVP-TE:Extensions to RSVP for LSP tunnels:RFC3209S.2001.17 3GPP.General packet radio system(GPRS)tunnelling protocol user plane(GTPv1-U):TS29.28S.2015.