还不理解GPU推理卡和训练卡(简单易懂)

背景介绍

市面上用于做训练和做推理的显卡都很多,比如英伟达、华为、寒武纪、曙光等公司都有自己的训练卡和推理卡。拿英伟达来说,训练时可以选A100\V100\A800等显卡,推理时可选P4、T4、A10等显卡。但网上很少有资料能清楚地说明训练卡和推理卡的主要区别。他们设计时主要考虑的因素有哪些?训练卡用于做推理会有什么问题吗?

介绍

首先要了解神经网络训练和推理时的差别,然后自然就知道对GPU的需求的差别。
先看一下训练时的需求。神经网络训练通常使用随机梯度下降算法,显存中除了加载模型参数,还需要保存中间状态,主要是梯度信息,相比推理,显存需求要增加几倍,显存要够大才能跑起来;要训练好的模型,需要使用大量数据,大量数据要读入显存,显存带宽要够大;另外对于当前的大数据量,单卡已经无法满足要求,要用多卡集群训练,集群训练要在多机间通信,要交换大量数据,要支持更高的通信带宽,接口一般用NVLINK,通常还要GPU支持RDMA特性,能够直接在显存和通信卡内存间搬数据。

总结起来就是训练卡要求显存大,显存带宽大,和外部通信接口带宽大,算力就不说了,都不是主要考虑问题了,训练卡目前主要是NVIDIA的A100 V100。

推理时的需求就简单了,算力和显存平衡就可了,模型能装的进去,把算力跑慢就可以了,显存和算力越大,推理的并发数越多,T4跑推理挺好,便宜,算力也够强。

原创文章,作者:AIRF,如若转载,请注明出处:http://www.ai-rf.com/index.php/2023/04/24/%e8%bf%98%e4%b8%8d%e7%90%86%e8%a7%a3gpu%e6%8e%a8%e7%90%86%e5%8d%a1%e5%92%8c%e8%ae%ad%e7%bb%83%e5%8d%a1%ef%bc%88%e7%ae%80%e5%8d%95%e6%98%93%e6%87%82%ef%bc%89/

赞 (0)
AIRFAIRF
上一篇 2023年4月24日
下一篇 2023年5月9日

相关推荐

  • 宝塔面板超级美化(登录页+后台)

    前言 宝塔面板一般情况下不需要使用模板。然而,随着时间的推移,我开始想要改变一下面板的风格,于是我尝试了很多模板,但大多数都只能改变背景图片而已。虽然我找到了几个满意的模板,但它们…

    芯片设计 2023年6月16日
  • 免责声明

    人工智能射频博客提供的所有内容仅供学习与交流。通过使用本站内容随之而来的风险以及法律责任与本站无关,所承担的法律责任由使用者承担。  免责声明:根据二○一三年一月三十日《计算机软件…

    其他网站 2022年9月26日
  • Nginx轻松搞定跨域问题

    简介 当你遇到跨域问题,不要立刻就选择复制去尝试。请详细看完这篇文章再处理 。我相信它能帮到你。 分析前准备 前端网站地址:http://localhost:8080 服务端网址:…

    2024年3月1日
  • 宝塔第三方云端的php站点程序

    网上经常说宝塔开心脚本版有后门,所以很多小伙伴都不敢用网上那些所谓的开心版脚本,最近博主在github上找到一款自行搭建的宝塔云端,重要的是这程序它开源。博主也自行搭建了一份,有需…

    2024年4月30日
  • 蓝奏云盘客户端(支持win和Mac)

    前言 蓝奏云PC客户端 LANZOUYUN 是一款免费开源专业的第三方蓝奏网盘电脑版,支持 Macos 和 Windows,蓝奏云客户端开源在Github,提供源代码文件,你开源下…

    软件设计 2023年5月30日
  • OSI七层模型和TCP/IP五层很难?

    一、OSI参考模型 1、OSI的来源 OSI(Open System Interconnect),即开放式系统互联。 一般都叫OSI参考模型,是ISO(国际标准化组织)组织在198…

    其他网站 2023年4月24日
  • http和https有什么区别

      超文本传输协议HTTP协议被用于在Web浏览器和网站服务器之间传递信息,HTTP协议以明文方式发送内容,不提供任何方式的数据加密,如果攻击者截取了Web浏览器和网站服务器之间的…

    芯片设计 2022年10月10日
  • 心情不好极度抑郁的文案

    1.分享情绪有什么用呢 人的悲欢并不相通 2.微信里有你就够了 偶尔能偷偷看看你就够了 至于你是不是我的 能不能拥有你在不在一起真的没那么重要了 3.我越安静、越忍让、越平和、越无…

    生活情感 2022年10月1日
  • DiskGenius v5.5.0.1488专业版

    下载地址

    软件设计 2023年6月1日
  • 【实测推荐】国内外免费CDN

    简介 CDN是一种新型网络构建方式,它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层;而从广义的角度,CDN代表了一种基于质量与秩序的网络服务模式。 CDN主要特点 1…

    2023年10月27日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注