图书详情

¥149.0

网络智能化中的深度强化学习技术

作者：戚琦，付霄元，庄子睿，王敬宇，廖建新

编辑：代晓丽

相关信息

图书名称：网络智能化中的深度强化学习技术
ISBN：978-7-115-57263-9
作者：戚琦，付霄元，庄子睿，王敬宇，廖建新
编辑：代晓丽
从书名：无
开本：小16开
页数：250
印刷色数：单色
出版状态：已出版
出版日期：2023-03-01
作者简介：戚琦,北京邮电大学，副教授。长期从事业务网络智能化和移动云计算方向的科研工作，近年来重点关注深度强化学习、分布式机器学习、联邦学习、轻量化神经网络等方面的前沿研究，取得了知识定义网络、边缘智能、手部姿态估计、草图检索等一系列研究成果。发表高水平学术论文70余篇，申请国家发明专利10余项，其中国际专利2项。先后主持1项重点研发计划课题，2项国家自然科学基金目，1项北京市自然科学基金以及多项企事业单位合作项目，作为主研人承担创新团队、创新群体、973等多个国家及省部级重大项目。指导学生获得4次北京邮电大学研创展一等奖，指导学生参加中国互联网+大学生创新创业大赛获得北京赛区二等奖；指导学生参加CVPR 2019细粒度物品分类大赛，获得全球第三名。

特别说明

无

本书卖点

1.作者来自于北京邮电大学网络与交换技术国家重点实验室网络智能研究中心，长期从事网络智能化、深度学习、深度强化学习、边缘智能等方向的前沿研究工作，发表高水平国际前沿论文70余篇。
2.网络智能化已在学术界和工业界均得到广泛关注，本书内容属于移动通信网以及未来网络的重要方向。
3.本书将前沿学术成果以系统、模型、方法的角度进行阐述，关注网络问题场景以及深度强化学习方法的原理，便于读者深入了解深度强化学习方法在网络智能中的应用。

第1章网络智能概述 1
1.1 概述 2
1.1.1 网络架构的持续演进 2
1.1.2 网络管理与控制的挑战 3
1.1.3 网络智能的兴起 4
1.2 网络智能的基础 7
1.2.1 大数据 7
1.2.2 算力支持 7
1.2.3 集中式控制 9
1.3 网络智能的现状 10
1.3.1 意图网络 10
1.3.2 自动驾驶网络 12
1.3.3 知识定义网络 14
1.3.4 标准化工作 17
1.4 网络智能的实现途径 18
1.4.1 监督学习 18
1.4.2 无监督学习 20
1.4.3 强化学习 21
1.5 网络智能的愿景与挑战 22
1.5.1 网络智能的愿景 22
1.5.2 网络智能的挑战 24
参考文献 25
第2章深度强化学习方法 29
2.1 强化学习方法概述 30
2.1.1 马尔可夫决策过程 30
2.1.2 多臂赌博机 32
2.1.3 蒙特卡洛树搜索与时间差分方法 33
2.1.4 值迭代与策略迭代 35
2.2 深度强化学习 37
2.2.1 深度Q网络 38
2.2.2 策略梯度方法 40
2.2.3 策略梯度单调提升优化算法 44
2.2.4 最大熵算法 50
2.3 多智能体强化学习 52
2.3.1 独立强化学习及其涌现行为分析 53
2.3.2 多智能体通信 55
2.3.3 多智能体合作机制 56
2.3.4 多智能体建模与策略推断 59
2.4 分层强化学习 61
2.5 迁移强化学习 64
2.5.1 迁移强化学习框架 65
2.5.2 根据迁移设置的分类 66
2.5.3 根据迁移知识类型的分类 67
2.5.4 根据迁移目标的分类 68
2.6 多任务强化学习 69
2.6.1 多任务学习基本概念 69
2.6.2 多任务强化学习 70
2.6.3 基于多任务学习的迁移强化学习 71
2.7 逆强化学习 73
2.8 分布式强化学习 75
参考文献 77
第3章基于强化学习的无线接入优化 81
3.1 多信道无线接入 81
3.1.1 多信道无线接入概述 82
3.1.2 基于DRL的动态多信道无线接入 83
3.1.3 异构无线网络的多信道接入 87
3.2 异构无线网络的调制和编码 91
3.2.1 调制和编码问题概述 91
3.2.2 基于DRL的调制和编码 93
3.3 基站自适应能量控制 99
3.3.1 基站自适应能量控制内容概述 99
3.3.2 基站自适应能量控制问题引入 100
3.3.3 基于DRL的自适应能量控制 100
参考文献 105
第4章基于强化学习的网络管理 108
4.1 智能服务编排 108
4.1.1 NFV的资源配置 108
4.1.2 服务功能链映射 110
4.1.3 服务功能链选路 117
4.1.4 无线网络VNF的资源编排 122
4.2 智能网络切片 124
4.2.1 网络切片的需求与概念 124
4.2.2 网络切片的资源管理 127
4.2.3 无线接入网切片 128
4.2.4 核心网切片 133
参考文献 136
第5章基于强化学习的网络控制 141
5.1 智能路由控制 141
5.1.1 时间相关QoS的路由控制 143
5.1.2 边缘网络路由控制 147
5.1.3 带缓存的DCN路由控制 151
5.2 智能拥塞控制 158
5.2.1 多路径TCP控制 160
5.2.2 智能拥塞控制模型Aurora 164
5.3 智能流量调度 167
5.3.1 流量工程概述 168
5.3.2 智能流量调度 169
5.3.3 分布式流量调度 170
参考文献 172
第6章基于强化学习的任务调度 175
6.1 并行计算的任务调度 175
6.1.1 问题定义 176
6.1.2 基于RL的并行任务调度方法 177
6.1.3 基于DRL的并行任务调度方法 178
6.2 基于有向无环图的任务调度 182
6.2.1 分布式系统任务模型 182
6.2.2 边缘计算任务调度 183
6.2.3 云计算的任务调度 185
6.2.4 数据处理集群的任务调度 188
6.3 混合任务调度 192
6.3.1 多类型任务调度 192
6.3.2 任务调度相关的联合优化 195
参考文献 198
第7章基于强化学习的流媒体控制 200
7.1 超低时延的流媒体传输 201
7.1.1 超低时延的流媒体传输框架 201
7.1.2 码率自适应算法 204
7.1.3 基于强化学习的超低时延传输算法 206
7.2 个性化的流媒体传输 210
7.2.1 个性化用户体验 210
7.2.2 基于强化学习的个性化QoE设计 212
7.3 新场景下的流媒体传输展望 214
参考文献 215
第8章基于强化学习的自组织网络 218
8.1 网联自动驾驶 218
8.1.1 车载通信任务 218
8.1.2 车载资源分配 221
8.2 无人机网络概述 226
8.2.1 无人机通信资源调度 227
8.2.2 无人机公平效率覆盖 231
8.2.3 无人机传感数据收集 235
参考文献 238
名词索引 241

资源