Finetune中文译为“微调”，深度学习中需要在深层网络中不断进行训练更新模型的参数（权重）拟合能实现预期结果的模型。“微调”的原理就是利用已知的网络结构和已知的网络参数，修改output层为我们自己的层，微调最后一层前的若干层的参数，这样就有效利用了。

台风“贝碧嘉”在上海浦东临港新城登陆了，外面刮着怒吼的狂风，倾盆的大雨宣泄着“贝碧嘉”的威力。瑟瑟发抖的人类，蜷缩在呜呜作响的出租屋的角落，看着抢购一空的奥乐齐货架，失望地关掉微信小程序，默默地掏出了开发板。感谢Intel的“走近开发者”活动，给了我这个试用的机会。之前是玩树莓派，还有行空板。但苦于他们俩的计算性能实在赶不上现在LLM大模型的变态算力需求。我也一直在寻找替代方案，正巧这时候参加了I

今天学习了书生·浦语的全链路开源体系，它包括了数据、预训练、微调、部署、评测和应用这六个方面。

书生·浦语是上海和商汤科技联合研发的一款大模型，这次有机会参与试用，特记录每日学习情况。今天学习的是评测。

模型部署是指将训练好的模型在特定环境中运行的过程，以便将其应用到实际生产中。这个过程需要解决模型框架兼容性和运行速度的问题。LMDeploy是一个用于部署大模型的工具箱，由上海人工智能实验室开发。它使用C++/CUDA进行推理，并对外提供Python/gRPC/HTTP接口和WebUI界面。LMDeploy支持tensor parallel分布式推理，并支持fp16/weightint4/kv c

在人工智能的发展道路上，大模型无疑成为了重要的突破口。从专用模型到通用大模型，它们在解决特定任务和应对多种任务、多种模态方面都展现出了强大的能力。本文记录书生浦语大模型的开源历程及其全链路开源体系。

lnternLM是一个基于互联网的大型语言模型，它是基于Transformer架构构建的，包含数十亿个参数。

模型部署是指将训练好的模型在特定环境中运行的过程，以便将其应用到实际生产中。这个过程需要解决模型框架兼容性和运行速度的问题。LMDeploy是一个用于部署大模型的工具箱，由上海人工智能实验室开发。它使用C++/CUDA进行推理，并对外提供Python/gRPC/HTTP接口和WebUI界面。LMDeploy支持tensor parallel分布式推理，并支持fp16/weightint4/kv c

lnternLM是一个基于互联网的大型语言模型，它是基于Transformer架构构建的，包含数十亿个参数。

模型部署是指将训练好的模型在特定环境中运行的过程，以便将其应用到实际生产中。这个过程需要解决模型框架兼容性和运行速度的问题。LMDeploy是一个用于部署大模型的工具箱，由上海人工智能实验室开发。它使用C++/CUDA进行推理，并对外提供Python/gRPC/HTTP接口和WebUI界面。LMDeploy支持tensor parallel分布式推理，并支持fp16/weightint4/kv c