0 引言

　　卫星光网络（OSN）已受到越来越多的关注[1-2]，其星间采用激光链路传输数据，相较于传统卫星网络的微波传输，具有不受频率限制、带宽大、传输速率高、保密性好等优势。OSN采用波长路由技术，以光信号为载体，并利用波分复用（WDM）技术实现在同一链路上的多路数据流并行传输，从而显著提高数据传输速率和系统容量，满足未来不断增长的数据需求。

　　路由波长分配（RWA）是OSN中最具挑战性的任务之一，已被证明是一个NP（Non-deterministic Polynomial）难问题。该问题通常被拆解为路由选择和波长分配2个子问题来解决，已有文献提出了多种启发式算法用以解决这些子问题。例如：文献[3]不仅提出了一种虚拟节点思想，用以屏蔽OSN拓扑的动态变化，还设计了一种分布式路由算法，该算法能够针对低轨卫星网络的特点，基于每个数据包灵活做出路由决策，有效避免拥塞区域。文献[4]提出一种基于小窗策略的蚁群优化RWA算法，降低了OSN的阻塞率，并使收敛速度增加。文献[5]提出一种基于多业务的OSN蚁群优化路由算法，通过改进蚁群算法的启发函数，并考虑波长空闲率、时延等因素，使该算法在降低时延和提高波长利用率方面有着良好表现。文献[6]提出了一种创新的负载均衡算法，该算法基于拥塞避免原则，并通过人工蜂群算法优化链路代价。这一算法实现了流量的预先分配，从而最大限度地减少了拥塞对网络性能的负面影响。文献[7]针对低轨道OSN通信成功率下降的问题，提出一种基于蜂群适应度优化的RWA算法，改进了蜂群适应度函数，在保证业务实时传输的基础上，提高了卫星光通信业务的通信成功率。文献[8]针对大规模低轨OSN中存在的空间风险，利用一种管道风险评估模型来综合考虑碰撞概率和影响卫星正常运行的故障概率，并提出一种基于可靠性的路由算法，可降低通信失败率。文献[9]提出一种基于跨层设计的OSN RWA算法，考虑多普勒波长偏移、传输时延和波长一致性约束，建立跨层优化模型，并使用蚁群算法进行求解，该算法在通信成功率和传输时延方面有良好表现。文献[10]针对具有计算和存储功能的超级卫星节点OSN，提出一种RWA算法，可改善波长利用率和连通性等性能。但是，上述基于启发式的路由算法计算复杂度较大，而且容易陷入局部最优。

　　与启发式算法相比，深度强化学习（DRL）可以通过自主学习的方式找到基于奖励的最优策略，更快得到接近全局最优解，并且无需预先建立底层网络数学模型，这使得其在实际应用中更具灵活性和适应性。因此，已有不少文献将DRL引入路由算法设计中。文献[11]首次将Q学习引入动态网络的路由算法，证明了在网络负载发生变化时也能有效选路。针对中、低轨双层OSN，文献[12]提出一种基于DRL的RWA算法，利用DRL动态感知网络当前状态和进行路由决策，能够降低时延和丢包率，不仅提高了网络的波长利用率，还降低了针对低时延、高优先级业务的阻塞率。为了提高规划过程的灵活性和敏捷性，文献[13]针对低轨卫星网络，考虑了节点的排队时延、存储空间、链路带宽以及传播时延等因素的影响，提出一种基于DRL的负载均衡路由算法，该算法可以有效降低网络丢包率和时延。但是，上述基于DRL的路由算法，往往侧重于解决卫星网络的选路问题，而很少考虑对波长分配的影响。实际上，RWA中的选路是波长分配的前提和基础，波长分配成功与否与路由算法所选路径息息相关。不同的路由选择结果会导致不同的波长需求，直接影响波长分配成功的可能性。另外，所选路径上的波长使用情况也会影响后续波长资源的分配，决定业务连接能否成功建立。由此可见，OSN中选路与波长分配紧密相关，选路时也应关注所选链路的波长使用情况，鼓励选择具有更多共同空闲波长的链路构成路径，有利于提高在该路径建立业务连接的成功率。为此，本文提出基于深度Q网络（DQN）的匹配度感知波长路由算法（下文简称DQN-MD-RWA算法）。

4 结束语

　　为了解决OSN中复杂的路由与波长分配问题，本文提出了一种DQN-MD-RWA算法。该算法综合考虑了网络拓扑和负载信息，通过不断与环境交互来调整路由的选择，获得采取动作的最大化奖励，从而得到最佳的选路决策。随后，在所选路径上根据相邻链路匹配度，选择合适的波长以建立业务连接。仿真结果表明，与DRL-RWA算法、KSP-FF算法、DQN-PWMDR-FF算法、KSP-ALWMD-WA算法相比，本文所提算法在降低网络阻塞率和时延，以及提高波长资源利用率方面的性能最优。