公开(公告)号：CN111652365A

公开(公告)日：2020-09-11

申请号：CN202010366873.X

申请日：2020-04-30

Applicant: 哈尔滨工业大学

Inventor： 刘冰 ,  凤雷 ,  付平 ,  李喜鹏 ,  卢学翼 ,  吴瑞东 ,  王嘉晨 ,  童启凡 ,  周彦臻 ,  谢宇轩

IPC: G06N3/08 ,  G06N3/04 ,  G06N3/063 ,  G06N5/04

Abstract: 本发明公开了一种用于加速Deep Q-Network算法的硬件架构及其设计空间探索方法。硬件架构包括：通用处理器模块负责与外部环境进行交互和实现奖励函数的计算，也负责Deep Q-Network算法经验池的维护；外部DDR存储器负责Deep Q-Network算法的经验池的存储；AXI总线接口为通用AXI总线接口结构，负责实现通用处理器与FPGA可编程逻辑模块之间控制信号和数据信号的传递与反馈；Target Q模块负责实现Target Q网络的前向推理计算；Current Q模块负责实现Current Q网络的前向推理和反向传播。本发明在高度优化FPGA硬件架构下，实现Deep Q-Network算法的实时计算。

公开(公告)号：CN111652365B

公开(公告)日：2022-05-17

申请号：CN202010366873.X

申请日：2020-04-30

Applicant: 哈尔滨工业大学

Inventor： 刘冰 ,  凤雷 ,  付平 ,  李喜鹏 ,  卢学翼 ,  吴瑞东 ,  王嘉晨 ,  童启凡 ,  周彦臻 ,  谢宇轩

IPC: G06N3/08 ,  G06N3/04 ,  G06N3/063 ,  G06N5/04

Abstract: 本发明公开了一种用于加速Deep Q‑Network算法的硬件架构及其设计空间探索方法。硬件架构包括：通用处理器模块负责与外部环境进行交互和实现奖励函数的计算，也负责Deep Q‑Network算法经验池的维护；外部DDR存储器负责Deep Q‑Network算法的经验池的存储；AXI总线接口为通用AXI总线接口结构，负责实现通用处理器与FPGA可编程逻辑模块之间控制信号和数据信号的传递与反馈；Target Q模块负责实现Target Q网络的前向推理计算；Current Q模块负责实现Current Q网络的前向推理和反向传播。本发明在高度优化FPGA硬件架构下，实现Deep Q‑Network算法的实时计算。