新浪财经

提高GPU利用率,听英伟达专家分享这个CUDA工具

腾讯新闻客户端

关注

原标题:提高GPU利用率,听英伟达专家分享这个CUDA工具 来源:腾讯新闻

随着 NVIDIA GPU 计算性能的不断提升,如何提升 GPU 利用率是开发者普遍关心的问题之一。从 Kepler 架构开始,NVIDIA GPU 支持多个 CUDA kernels 函数的并发执行,称为 Hyper-Q 技术。Hyper-Q 技术支持多个 CUDA streams、多个 CPU threads 或者多个 CPU processes 同时发射 CUDA kernels 函数到 GPU 上,在硬件资源允许的情况下,实现多个 kernels 的并发执行。对于多个 CPU processes 发射 kernels 的情况,要想实现真正的 kernels 并发,就需要借助 CUDA 中的工具:MPS (Multi-Process Service)。

为此,NVIDIA 中国区 GPU 计算专家团队高级工程师吴磊将带来一场线上直播分享,从介绍 CUDA context / Hyper-Q 等背景知识入手,深入浅出的向大家展示 MPS 技术的最佳实践方法,并以实际案例向大家说明 MPS 能够带来的 GPU 性能提升,同时让大家了解一些 MPS 使用过程中的注意事项。

本次直播的预备知识为对 GPU 和 CUDA 的基本概念有所了解,例如什么是 GPU 利用率 (Utilization) 和占用率 (Occupancy),什么是 CUDA kernel 函数和 stream 异步并发执行等,难度较低,希望能给 GPU 开发者带来帮助。

本次线上分享详情如下:

主题:CUDA多进程服务工具:MPS

日期:2019 年 10 月 31 日,星期四

时间:20:00-21:30

演讲嘉宾

吴磊

NVIDIA中国区GPU计算专家团队高级工程师

吴磊先后从事HPC领域基于CUDA的代码移植和优化,人工智能领域深度学习模型的训练和推理优化。对GPU体系架构,CUDA编程和优化,深度学习推理加速等技术有深刻的理解和丰富的工程经验。

加载中...