写文章
- @arkohut
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
用 llama.cpp 跑通 mixtral MoE 模型
使用 llama.cpp 项目三分钟快速部署由 mistral.ai 最新开源的 Mixtral MoE 大语言模型
VLLM 测试 Mixtral MoE 的 GPTQ 量化版本
使用 vllm 跑起来 Mixtral MoE 的 GPTQ 量化版本
Yi-34B 本地部署简单测试
用 LM Studio 直接把模型在本地跑起来，这里就是简单测试模型的速度和几个抽样问题的回答质量
到底了