1.vllm vs TGI 部署 llama v2 7B 踩坑笔记
2.元象大模型XVERSE支持vLLM和llama.cpp 加速低成本部署丨附教程
3.云端如何部署测试Qwen1.5-MoE模型

vllm vs TGI 部署 llama v2 7B 踩坑笔记

       本文旨在对比vllm和TGI这两个开源方案在部署LLaMa v2 7B模型时的源码性能和体验。测试环境为单卡 + i9-K。分析结果表明，源码TGI (0.9.3) 在吞吐量上略胜vllm (v0.1.2)一筹。分析源码星

       vllm的源码部署遇到了不少挑战，包括网络和依赖问题，分析最终通过定制化的源码Dockerfile解决了安装难题。为了确保使用最新的分析fastchat时拥有对应的消息模板，用户需手动调整entrypoints.openai.api_server中的源码引入方式。部署后，分析通过）快速下载。源码淘宝招牌源码

       首先执行以下命令，分析然后运行下面的源码Python文件。

       将`local_dir`设置为自己的分析本地目录文件夹，后续使用时会用到。源码

       量化版本的联机游戏源码模型需要GB的显存才能成功加载，我使用的是显卡，具有GB显存。

       加载模型和推理的代码如下：

       在加载和测试模型之前，请注意调整`/root/qwen1.5-moe-int4`路径为自己的目录，可使用相对路径或绝对路径。祝福墙源码

       在部署过程中，遇到了以下问题：

       需要安装transformers库，但直接使用pip安装可能不行，需要从源码编译。

       可能会出现`ModuleNotFoundError: No module named 'optimum'`的个性导航源码错误，需要重新安装optimum。

       在安装optimum后，可能需要重新安装transformers库。

       可能会遇到`importlib.metadata.PackageNotFoundError: No package metadata was found for auto-gptq`错误，需要重新安装auto-gptq。

       解决这些问题后，运行上面的推理代码，进行模型加载和测试。尝试让模型生成一段歌词，发现量化版本的推理速度较慢，生成较长文本需要1-3分钟不等。直接加载模型进行推理，没有使用其他加速方法。

       MoE技术是否有效？后续将继续深入研究。

       我是从事自然语言处理（NLP）、知识图谱、大模型实际业务落地的算法工程师大林，如果您同样对此感兴趣，欢迎在dalinvip中备注知乎 大模型，一起交流。