江西冬酿科技有限公司 · 南昌市 · 服务江西及全国咨询热线 400-873-2750

买卡前必须搞清的六个算力指标

买卡前必须搞清的六个算力指标 选 GPU 卡的对话里,最耗时的往往不是挑型号,而是把参数表翻来覆去看完,还是不知道该买哪种。同一款卡,业务方觉得算力够了,运维同事盯着功耗和散热,采购在比单价。三个视角说的不是同一件事,讨论于是卡住。 问题出在多数参数表只给数字,不给含义。显存写 24GB 还是 48GB,跟你的任务能跑多大批量、能不能撑住并发,关系得自己换算;峰值算力写着多少 TFLOPS,跟真实推理吞吐之间,还隔着精度格式、算子实现和带宽瓶颈。这篇把买卡前必须看懂的六项指标逐条拆开,每一项说清它决定了什么、怎么核对,顺带列出几个最常见的误判。 一、选卡最容易卡在哪一步 先说结论:大多数选卡难题不是技术问题,是需求没量化。业务提”要做大模型推理”,没说要处理多大并发、多长上下文、响应时间压到多少。参数再详细,也没法直接对号入座。 另一种常见卡点是只看单卡参数,忽略整机视角。单卡跑得动,不代表装进机柜后还能跑得动——供电、散热、网络拓扑都会反过来限制实际可用性能。指标是要连着看的。 二、六项指标对照:决定了什么,怎么看 把六项指标放进同一张表看,逻辑会清楚很多。每一项都对应一个具体决策,核对方式也各不相同。 指标 决定了什么 怎么看 常见误判 显存容量 能装下多大的模型与批量,决定能不能跑、跑多并发 按模型权重 + KV Cache + 激活值估算,留两成余量 只看能装下模型,忽略长上下文的显存占用 显存带宽 决定推理是算力瓶颈还是搬运瓶颈 看算力与带宽的比值,长上下文生成阶段尤其吃带宽 认为峰值算力高就一定跑得快 算力精度 决定同一张卡能换算出多少有效算力 区分 FP16、BF16、FP8、INT8 的实际折算关系 把不同精度的 TFLOPS 数字直接横向比较 卡间互联…

微调一个模型要多少显存和钱?7B/13B/70B 估算表

AI 推理集群:多卡并行与高速互联,为大模型在线推理提供稳定算力底座 微调一个模型要多少显存和钱?7B/13B/70B 估算表 微调要多少显存,先把钱花在哪说清楚 「微调一个 7B 要几张卡」这个问题没法一句话回答,因为全参、LoRA、QLoRA 三条路的显存差着十倍以上。显存开销拆开就四块:模型权重、梯度、优化器状态、激活值。 按 bf16 训练加 AdamW 算笔账:权重 2 字节每参数,梯度 2 字节,AdamW 的一阶二阶动量是 fp32 的 8 字节,光这三项 12 字节,再叠上 fp32 master weight 和通信 buffer,经验倍数是 16~20 倍参数量。7B 落到 110~140GB,单张 80G 卡装不下,这就是全参的门槛。 LoRA 把梯度和优化器状态砍到只剩适配器那一小块,倍数量级掉到 2.5~3 倍参数量;QLoRA…

跑图跑视频该配什么机器?文生图到批量出图配置清单

AI 推理集群:多卡并行与高速互联,为大模型在线推理提供稳定算力底座 跑图跑视频该配什么机器?文生图到批量出图配置清单 先记住一件事:显存是准入门槛,不是性能指标 很多人问「跑 Stable Diffusion 要什么显卡」,得到的回答往往是「8G 也能跑」。能跑是真的,但你让他跑一张 1024×1024 的 SDXL 再加两个 ControlNet,8G 卡会直接甩一个 CUDA out of memory 给你。显存决定的不是跑得快不快,而是这个任务能不能启动。所以选机器的顺序应该反过来:先按模型规模和目标分辨率算出显存下限,再看卡的算力,接着是内存和存储,出口带宽放最后——但批量任务里它又会变成主角。 下面按文生图、图生视频、批量出图三类任务拆开讲,每类给一份能直接拿去对照下单的清单。价格随行情浮动,文中区间仅供参考,以实际报价为准。 三类任务的配置对照表 任务类型 显存下限 推荐机型 内存 存储 网络 文生图 SD1.5 / LoRA 推理 6GB RTX 4060Ti 16G 32GB 500GB NVMe…

AI 推理扛并发四步:量化、批处理、多实例、缓存降级

AI 推理集群:多卡并行与高速互联,为大模型在线推理提供稳定算力底座 AI 推理扛并发四步:量化、批处理、多实例、缓存降级 先分清两件事:首 token 延迟和吞吐 并发扛不住,多数时候不是卡不够,是参数没调对,或者指标看错了。上线前先把三个数约定好:TTFT(首 token 延迟,从请求发出到第一个 token 返回)、TPOT(后续每个 token 的间隔,决定“吐字”速度)、整体吞吐(tokens/s)。 不少团队只盯吞吐,把 batch 拉到 64、128,看板上 tokens/s 翻倍很开心,可 TTFT 从 200ms 涨到 3s。聊天类产品用户点完发送,两三秒没反应就以为卡死了;后面吐字再快,体验也是崩的。反过来,纯离线跑报表、批量翻译,你完全可以把 TTFT 放到几秒,去换更高的吞吐。两者策略相反,混在同一个实例上,总有一边难受。 指标 含义 什么场景该重点盯 TTFT 首 token 延迟,含排队 + prefill 对话、语音、Copilot 类交互 TPOT /…

拨打 400-873-2750免费咨询