基于强化学习的基站多维度资源协同分配方案

ｄｏｉ:１０.３９６９/ｊ.ｉｓｓｎ.１００３

－

３１１４.２０２２.０４.００９

引用格式:郑青碧ꎬ邓娟ꎬ刘奕彤ꎬ等.基于强化学习的基站多维度资源协同分配方案[Ｊ].无线电通信技术ꎬ２０２２ꎬ４８(４):６３８

－

６４５.

[ＺＨＥＮＧＱｉｎｇｂｉꎬＤＥＮＧＪｕａｎꎬＬＩＵＹｉｔｏｎｇꎬｅｔａｌ.ＡＭｕｌｔｉ￣ｄｉｍｅｎｓｉｏｎａｌＲｅｓｏｕｒｃｅＣｏｌｌａｂｏｒａｔｉｖｅＡｌｌｏｃａｔｉｏｎＳｏｌｕｔｉｏｎｏｆＢａｓｅＳｔａｔｉｏｎｓＢａｓｅｄ

ｏｎＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ[Ｊ].ＲａｄｉｏＣｏｍｍｕｎｉｃａｔｉｏｎｓＴｅｃｈｎｏｌｏｇｙꎬ２０２２ꎬ４８(４):６３８

－

６４５.]

基于强化学习的基站多维度资源协同分配方案

郑青碧

１

ꎬ邓　娟

１

ꎬ刘奕彤

２

ꎬ田开聪

２

ꎬ高月红

２

ꎬ邵泽才

１

ꎬ刘光毅

１

(１.中国移动通信有限公司研究院未来研究院ꎬ北京１０００５３ꎻ

２.北京邮电大学信息与通信工程学院ꎬ北京１０００３２)

摘　要:算网融合是未来移动通信网络的发展趋势ꎬ面向未来更高实时性的业务需求ꎬ６Ｇ无线网络需要实现通

信与计算的深度融合ꎮ一种可能的模式是基站内部具有计算资源ꎬ并高效协同调配通信与计算资源ꎮ随着基站部署

规模的增大、计算业务量的逐步增加ꎬ计算资源的能耗问题将成为６Ｇ无线网络节能的潜在问题ꎮ调研发现ꎬ目前无线

通信网络的节能方案大多针对通信业务ꎬ对计算资源的节能方案研究相对较少ꎬ未来６Ｇ无线网络则需要同时考虑通

信业务与计算业务ꎬ将能效作为基站进行通算资源协同分配的优化目标之一ꎮ考虑到方案具有动作空间较大、动作输

出为离散确定值的特性ꎬ提出了一种基于强化学习的６Ｇ基站通算资源协同分配方案ꎬ并对系统能耗进行了建模ꎬ方案

奖励由业务特征、基站接入用户情况等信息确定ꎬ同时对比了智能模型的迭代优化频次对方案性能的影响ꎮ在多小区

通信环境下进行了仿真ꎬ结果表明ꎬ该方案可以在满足业务性能需求(含基站执行业务的时延、ＲＳＲＰ等)的前提下ꎬ将

系统能耗节约４６.９８％ꎬ并且ꎬ所采用的智能模型通过高频样本提供和迭代优化可以获得更优的性能ꎮ

关键词:６Ｇꎻ算网融合ꎻＡＩꎻ通算资源协同

中图分类号:ＴＮ９２９.５　　　文献标志码:Ａ　　　

文章编号:１００３

－

３１１４(２０２２)０４

－

０６３８

－

０８

开放科学(资源服务)标识码(ＯＳＩＤ):

ＡＭｕｌｔｉ￣ｄｉｍｅｎｓｉｏｎａｌＲｅｓｏｕｒｃｅＣｏｌｌａｂｏｒａｔｉｖｅＡｌｌｏｃａｔｉｏｎＳｏｌｕｔｉｏｎｏｆ

ＢａｓｅＳｔａｔｉｏｎｓＢａｓｅｄｏｎＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ

ＺＨＥＮＧＱｉｎｇｂｉ

１

ꎬＤＥＮＧＪｕａｎ

１

ꎬＬＩＵＹｉｔｏｎｇ

２

ꎬＴＩＡＮＫａｉｃｏｎｇ

２

ꎬＧＡＯＹｕｅｈｏｎｇ

２

ꎬＳＨＡＯＺｅｃａｉ

１

ꎬＬＩＵＧｕａｎｇｙｉ

１

２.ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇꎬＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓꎬＢｅｉｊｉｎｇ１０００３２ꎬＣｈｉｎａ)

ｈｉｇｈｅｒｒｅａｌ￣ｔｉｍｅｓｅｒｖｉｃｅｒｅｑｕｉｒｅｍｅｎｔｉｎｔｈｅｆｕｔｕｒｅꎬ６Ｇｗｉｒｅｌｅｓｓｎｅｔｗｏｒｋｎｅｅｄｓｔｏｒｅａｌｉｚｅｄｅｅｐｉｎｔｅｇｒａｔｉｏｎｏｆｃｏｍｍｕｎｉｃａｔｉｏｎａｎｄｃｏｍｐｕ￣

ａｎｄｃｏｌｌａｂｏｒａｔｉｖｅｌｙ.Ｗｉｔｈｔｈｅｉｎｃｒｅａｓｅｏｆｔｈｅｄｅｐｌｏｙｍｅｎｔｓｃａｌｅｏｆｂａｓｅｓｔａｔｉｏｎａｎｄｔｈｅｇｒａｄｕａｌｉｎｃｒｅａｓｅｏｆｃｏｍｐｕｔｉｎｇｔｒａｆｆｉｃꎬｅｎｅｒｇｙｃｏｎ￣

Ａｂｓｔｒａｃｔ:Ｉｎｔｅｇｒａｔｉｏｎｏｆｃｏｍｐｕｔｉｎｇｐｏｗｅｒａｎｄｎｅｔｗｏｒｋｉｎｇｉｓｔｈｅｆｕｔｕｒｅｄｅｖｅｌｏｐｍｅｎｔｔｒｅｎｄｏｆｍｏｂｉｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｎｅｔｗｏｒｋｓ.Ｆａｃｉｎｇ

(１.ＦｕｔｕｒｅＲｅｓｅａｒｃｈＬａｂꎬＣｈｉｎａＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎＩｎｓｔｉｔｕｔｅꎬＢｅｉｊｉｎｇ１０００５３ꎬＣｈｉｎａꎻ

ｔｉｎｇ.Ｏｎｅｐｏｓｓｉｂｌｅｍｏｄｅｉｓｔｈａｔｔｈｅｂａｓｅｓｔａｔｉｏｎｈａｓｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓａｎｄａｌｌｏｃａｔｅｃｏｍｍｕｎｉｃａｔｉｏｎａｎｄｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓｅｆｆｉｃｉｅｎｔｌｙ

ｓｕｍｐｔｉｏｎｏｆｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓｗｉｌｌｂｅｃｏｍｅａｐｏｔｅｎｔｉａｌｅｎｅｒｇｙｓａｖｉｎｇｐｒｏｂｌｅｍｏｆ６Ｇｗｉｒｅｌｅｓｓｎｅｔｗｏｒｋｓ.Ｔｈｅｓｔｕｄｙｆｏｕｎｄｔｈａｔａｔｐｒｅｓｅｎｔꎬ

ｍｏｓｔｏｆｔｈｅｅｎｅｒｇｙ￣ｓａｖｉｎｇｓｏｌｕｔｉｏｎｓｆｏｒｗｉｒｅｌｅｓｓｃｏｍｍｕｎｉｃａｔｉｏｎｎｅｔｗｏｒｋｓａｒｅａｉｍｅｄａｔｃｏｍｍｕｎｉｃａｔｉｏｎｓｅｒｖｉｃｅｓꎬａｎｄｔｈｅｒｅａｒｅｒｅｌａｔｉｖｅｌｙ

ｓｅｒｖｉｃｅｓａｎｄｃｏｍｐｕｔｉｎｇｓｅｒｖｉｃｅｓꎬａｎｄｔａｋｅｅｎｅｒｇｙｅｆｆｉｃｉｅｎｃｙａｓｏｎｅｏｆｔｈｅｏｐｔｉｍｉｚａｔｉｏｎｏｂｊｅｃｔｉｖｅｓｏｆｃｏｌｌａｂｏｒａｔｉｖｅａｌｌｏｃａｔｉｏｎｏｆｃｏｍｍｕｎｉ￣

ｆｉｘｅｄｖａｌｕｅｏｆａｃｔｉｏｎｏｕｔｐｕｔꎬａｃｏｌｌａｂｏｒａｔｉｖｅａｌｌｏｃａｔｉｏｎｓｏｌｕｔｉｏｎｏｆｃｏｍｍｕｎｉｃａｔｉｏｎａｎｄｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓｆｏｒ６Ｇｂａｓｅｓｔａｔｉｏｎｓｉｓｐｒｏ￣

ｐｏｓｅｄａｎｄｖｅｒｉｆｉｅｄｂｙｓｉｍｕｌａｔｉｏｎꎬａｎｄｔｈｅｓｙｓｔｅｍｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｉｓｍｏｄｅｌｅｄ.Ｔｈｅｓｃｈｅｍｅｒｅｗａｒｄｉｓｄｅｔｅｒｍｉｎｅｄｂｙｔｈｅｓｅｒｖｉｃｅｃｈａｒ￣

收稿日期:２０２２

－

０３

－

３０

基金项目:国家重点研发计划(２０２０ＹＦＢ１８０６８００)ꎻ北京邮电大学

－

中国移动研究院联合创新中心

ＦｏｕｎｄａｔｉｏｎＩｔｅｍ:ＮａｔｉｏｎａｌＫｅｙＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔＰｒｏｇｒａｍｏｆＣｈｉｎａ(２０２０ＹＦＢ１８０６８００)ꎻＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ

－

ＣｈｉｎａＭｏｂｉｌｅＲｅｓｅａｒｃｈＩｎｓｔｉｔｕｔｅＪｏｉｎｔＩｎｎｏｖａｔｉｏｎＣｅｎｔｅｒ

ｆｅｗｓｔｕｄｉｅｓｏｎｅｎｅｒｇｙ￣ｓａｖｉｎｇｓｏｌｕｔｉｏｎｓｏｆｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓ.Ｉｎｔｈｅｆｕｔｕｒｅꎬ６Ｇｗｉｒｅｌｅｓｓｎｅｔｗｏｒｋｓｓｈｏｕｌｄｃｏｎｓｉｄｅｒｂｏｔｈｃｏｍｍｕｎｉｃａｔｉｏｎ

ｃａｔｉｏｎａｎｄｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓｂｙｂａｓｅｓｔａｔｉｏｎｓ.Ｃｏｎｓｉｄｅｒｉｎｇｔｈａｔｔｈｅｓｏｌｕｔｉｏｎｈａｓｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｌａｒｇｅａｃｔｉｏｎｓｐａｃｅａｎｄｄｉｓｃｒｅｔｅ

ａｃｔｅｒｉｓｔｉｃｓꎬｂａｓｅｓｔａｔｉｏｎａｃｃｅｓｓｕｓｅｒｓａｎｄｏｔｈｅｒｉｎｆｏｒｍａｔｉｏｎ.Ａｔｔｈｅｓａｍｅｔｉｍｅꎬｔｈｅｅｆｆｅｃｔｏｆｔｈｅｉｔｅｒａｔｉｖｅｏｐｔｉｍｉｚａｔｉｏｎｆｒｅｑｕｅｎｃｙｏｆｔｈｅ

　６３８

ＲａｄｉｏＣｏｍｍｕｎｉｃａｔｉｏｎｓＴｅｃｈｎｏｌｏｇｙ

Ｖｏｌ

本文标签： 基站用户业务计算方案