还不理解GPU推理卡和训练卡(简单易懂)

背景介绍

市面上用于做训练和做推理的显卡都很多,比如英伟达、华为、寒武纪、曙光等公司都有自己的训练卡和推理卡。拿英伟达来说,训练时可以选A100\V100\A800等显卡,推理时可选P4、T4、A10等显卡。但网上很少有资料能清楚地说明训练卡和推理卡的主要区别。他们设计时主要考虑的因素有哪些?训练卡用于做推理会有什么问题吗?

介绍

首先要了解神经网络训练和推理时的差别,然后自然就知道对GPU的需求的差别。
先看一下训练时的需求。神经网络训练通常使用随机梯度下降算法,显存中除了加载模型参数,还需要保存中间状态,主要是梯度信息,相比推理,显存需求要增加几倍,显存要够大才能跑起来;要训练好的模型,需要使用大量数据,大量数据要读入显存,显存带宽要够大;另外对于当前的大数据量,单卡已经无法满足要求,要用多卡集群训练,集群训练要在多机间通信,要交换大量数据,要支持更高的通信带宽,接口一般用NVLINK,通常还要GPU支持RDMA特性,能够直接在显存和通信卡内存间搬数据。

总结起来就是训练卡要求显存大,显存带宽大,和外部通信接口带宽大,算力就不说了,都不是主要考虑问题了,训练卡目前主要是NVIDIA的A100 V100。

推理时的需求就简单了,算力和显存平衡就可了,模型能装的进去,把算力跑慢就可以了,显存和算力越大,推理的并发数越多,T4跑推理挺好,便宜,算力也够强。

原创文章,作者:AIRF,如若转载,请注明出处:http://www.ai-rf.com/index.php/2023/04/24/%e8%bf%98%e4%b8%8d%e7%90%86%e8%a7%a3gpu%e6%8e%a8%e7%90%86%e5%8d%a1%e5%92%8c%e8%ae%ad%e7%bb%83%e5%8d%a1%ef%bc%88%e7%ae%80%e5%8d%95%e6%98%93%e6%87%82%ef%bc%89/

赞 (0)
AIRFAIRF
上一篇 2023年4月24日
下一篇 2023年5月9日

相关推荐

  • Windows批量ping工具

    windows批量pingIP地址工具 下载地址如下: [c-downbtn type=”123″ url=”https://www.123pa…

    2021年12月30日
  • YPay源支付支付页面报错问题

    支付问题 发起支付时候,部分人出现十年磨一剑 这个问题有可能是商品名字问题,有的中文名字不支持,或者就是看一下用户中心的通道配置是否可以进入,若是无法进入就是触发器掉了,触发器需要…

    2024年8月3日
  • 超级推荐 – 自建代理中转服务Gost 可导入小火箭

    介绍 众所周知,很多代理服务例如Trojan服务或一些Vmess、Vless协议的软件搭建起来很困难,目前刚好有个需求,需要连接国内的服务器做为代理服务器转发流量 很多服务或协议都…

    2025年4月1日
  • 5分钟学会JSON格式的全部知识

    当谈到数据交换和存储时,JSON(JavaScript Object Notation)是一种常用的格式。它是一种轻量级的数据交换格式,易于阅读和编写,并且在各种编程语言中都有广泛…

    芯片设计 2024年1月24日
  • 宝塔第三方云端的php站点程序

    网上经常说宝塔开心脚本版有后门,所以很多小伙伴都不敢用网上那些所谓的开心版脚本,最近博主在github上找到一款自行搭建的宝塔云端,重要的是这程序它开源。博主也自行搭建了一份,有需…

    2024年4月30日
  • PC微信WeChat v3.9.5.25绿色版

    软件介绍 经常使用微信电脑版的用户都会发现一个蛋疼的事情,那就是微信PC版不支持多开,也就是不能同时登陆多个账号,这对于需要在电脑上登陆多个微信账号的朋友来说肯定是极其的不方便。另…

    软件设计 2023年6月1日
  • 丝滑关闭企业版奇安信天擎开机自启动

    前言 公司要求安装奇安信天擎,并更新病毒库到最新版,我自己电脑安装天擎之后浏览器只有edge能打开,vmware workstation之类的软件全部打不开 过程 网上找到了好多资…

    2024年6月14日
  • Linux系统的Swap Buffer和Cache

    在Linux系统中,我们经常用free命令来查看系统内存的使用状态。在一个 CoreOS 的系统上,free命令的显示内容大概是这样一个状态: core@localhost ~ $…

    Linux系统 2022年10月1日
  • JetBrains 全家桶激活教程

    CodeKey Run 简介 CodeKey Run(ckey.run)是一个专注于 JetBrains 系列软件及插件自动激活的网站,支持 Windows、Linux 和 Mac…

    软件设计 2025年7月7日
  • 防止SSL泄露源站 IP

    前言 有很多站长(比如我)选择为自己的网站套上cdn,比起加速效果我相信更多人是为了保护自己那脆弱可怜幼小无助的源站ip不被人发现,不过有亿些平台 例如 会通过nginx的‘特性’…

    芯片设计 2022年12月3日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注