引用本文:

袁帅,张慧,蔡安亮,等. 基于自注意力深度强化学习的特定流路由选择算法[J]. 光通信技术,2024,48(3):7-12.

基于自注意力深度强化学习的特定流路由选择算法

袁 帅1,张 慧2,蔡安亮1,沈建华1*

(1. 南京邮电大学 通信与信息工程学院,南京 210003; 2. 深圳赛柏特通信技术有限公司,广东 深圳 518000)

【下载PDF全文】 【下载Word】

摘要:为了有效降低传统流量工程机制中重路由对网络带来的负面影响,基于软件定义网络的全局网络视角和管理能力,提出一种基于自注意力深度强化学习的特定流路由选择算法,以重新路由少量流量达到接近最优的性能。通过多尺度融合注意力机制的神经网络模型来提取流量的特征,并采用集中式训练-分布式执行架构,根据观测网络状态做出实时决策。理论研究和实验结果表明,与传统深度强化学习算法与启发式算法相比,所提算法在平均负载和端到端延迟性能方面均有显著改进。

关键词:软件定义网络;多智能体深度强化学习;流量工程;负载均衡

中图分类号:TN91 文献标志码:文章编号:1002-5561(2024)03-0007-06

DOI:10.13921/j.cnki.issn1002-5561.2024.03.002

0 引言

  流量工程(TE)是软件定义网络(SDN)中的关键技术,其通过管理和调整骨干网络中的路由配置来分配和调控网络中的流量,对于优化网络性能和提高资源使用效率至关重要。传统的TE方法需要定期重新路由网络中的流,这些流被定义为数据传输的路径,旨在平衡链路上的负载并减少网络拥堵的可能性[1-6]。流路由问题的定义通常基于特定的性能指标,如延迟、带宽利用率等,并致力于通过优化目标函数来寻找最佳的路由方案。在给定流量矩阵的情境下,目标常常是重新路由网络中所有的流,以最小化网络中的最大链路利用率。尽管这种方式能有效提升网络性能,但它往往忽视了重路由可能给网络带来的负面效应,特别是当重路由导致流量过大时,可能会引发网络不稳定或服务中断等问题;同时,无限制的重路由流量会对SDN控制器造成很大的负担。相关文献研究表明,在重新路由多个传输控制协议(TCP)流之后,吞吐量可能会下降一半[7]。传统的等价多路径(ECMP)算法使用哈希函数分配网络流,但无法感知网络拥塞,因此缺乏实时性。当网络中存在大流时,ECMP可能会将多条大流分配在同一路径上,导致网络拥塞,从而使得网络吞吐量大幅下降。

解决这类问题的有效方法之一是采用ECMP来转发大部分的流量,并利用SDN控制器有针对性地重新规划一小部分特定流量的路由,以平衡网络链路的利用率。这些特定的流量通常是对网络性能产生重要影响的流量[8-9]。ECMP通过平均分配等成本路径上的流量来降低拥塞概率,而重新特定流路由则旨在通过减少网络干扰来实现更高的性能提升。然而,ECMP无法感知网络拥塞状态,容易发生哈希冲突,从而导致网络拥塞和性能下降。为此,本文提出一种基于自注意力深度强化学习的特定流路由选择算法(下文简称SFRS算法),并通过应用线性规划(LP)方法[10]来优化流量分配,从而有效地平衡网络的链路利用率,实现最优的系统性能。


3 结束语

  本文针对SDN中的重路由问题,提出了一种基于自注意力深度强化学习的特定流路由选择算法。算法通过选择少量的流量重路由以达到接近最优的性能,能够有效解决重路由流量过大所引发的网络不稳定或服务中断等问题。仿真结果表明:融合多尺度的自注意力流量编码能够有效捕捉不同网络流量数据之间的依赖关系,与其它算法相比,该算法在平均负载和端到端延迟方面的性能最优。在未来的工作中,本文作者将尝试降低算法模型的复杂度,并综合考虑SDN网络中的链路带宽、抖动等指标,进一步提升算法性能。