显存越涨越凶,英特尔的32GB大显存卡反倒显出性价比:我把本地跑大模型的4条路线算了笔账,谁该买谁该等说清楚了
这波硬件涨价已经持续半年多,最难受的其实不是游戏党,而是想本地跑大模型的人。内存这边,一年前32GB DDR5套条均价大约728元,现在来到4067元左右,一年涨幅429%。今日头条CPU这边也没闲着,7月初英特尔官方确认涨价,高端Xeon服务器产品整体涨幅达到7%至12%。今日头条而本地跑模型的第一瓶颈恰恰是显存:模型参数规模趋于稳定,上下文却在越拉越长,推理对显存容量的依赖远高于算力峰值,32
