logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

结合猛猿博客阅读VLLM代码5: 离线和在线推理

六.倒回去看llm.py llm类看函数 generate函数和chat函数 这个放在下面异步和同步的内容offline看benchmarks\benchmark_throughput.pymain函数入手backend 为vllm ,async_engine==False为default(1)进入run_vllm函数 定义LLM 到vllm\entrypoints\llm.pyLLM 定义LLE

#python#人工智能#算法
国产化AI推理部署系统集成工作的经验心得

一般来说,很多厂商的给的SDK demo都名目繁多,比如华为的昇腾推理的示例超级多,并且超级乱,cann samples还有mindx,谁看谁迷糊,有机会一定要问,提issue或者观察一下人家写的和自己内部要兼并的SDK有无共同之处。如果有一些对齐变量的需求,比如格式转换,图片格式,变量格式等等,一般厂商提供的某个相关的库里会有用到的函数,注意版本如果不是最新,翻看最新的版本文档。比如python

文章图片
#人工智能
如何用一台服务器用dify私有部署通用的大模型应用?

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和LLMOps的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。由于 Dify 内置了构建 LLM 应用所需的关键技术栈,包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 A

#服务器#运维#人工智能 +3
AI创作教程:用deepseek和猫箱做互动故事游戏

年轻的时候我看过典型的玛丽苏文学、小妞文学,老了虽然识破这是给女孩编织的琉璃般的梦,看起来梦幻美丽其实一击就碎,会伤人的碎渣渣。【叠甲完毕】现在我来造梦玛丽苏梦。这个梦境里让所有聪明、强壮的男人都为我疯狂!首先,我先联系自身背景开始写一个背景。请你帮我写一个橙光互动游戏剧本,假如故事女主角是AI芯片公司的技术支持工程师,和同事在外抢修设备的故事,还有外出出差遇见前男友,以及和同居男友,玩家互动剧本

文章图片
#游戏#人工智能#python
菜叶子芯酸笔记1:芯片的基本概念、种类、产业链和生产工序

对于客户(ODM,Original Design Manufacturer,原始设计制造商,比如华勤,闻泰做AIoT的,还有很多很多啦)提出需求后,在芯片设计部分,主要分模拟芯片设计和数字芯片设计,这里数字芯片设计,基本上都会用到EDA(Electronic design automation)设计工具,EDA服务供应商做得较为有名的有Synopsys(‌新思科技)、‌Cadence(‌楷登电子)

文章图片
#人工智能#阿里云#硬件工程 +2
AI创作教程:用deepseek和猫箱做互动故事游戏

年轻的时候我看过典型的玛丽苏文学、小妞文学,老了虽然识破这是给女孩编织的琉璃般的梦,看起来梦幻美丽其实一击就碎,会伤人的碎渣渣。【叠甲完毕】现在我来造梦玛丽苏梦。这个梦境里让所有聪明、强壮的男人都为我疯狂!首先,我先联系自身背景开始写一个背景。请你帮我写一个橙光互动游戏剧本,假如故事女主角是AI芯片公司的技术支持工程师,和同事在外抢修设备的故事,还有外出出差遇见前男友,以及和同居男友,玩家互动剧本

文章图片
#游戏#人工智能#python
Deepseek系列从v3到R易背面经版

训练时:1. 把前一个block中input tokens经过embedding layer和transformer block的输出,进入output head之前的内容记为h,与下一个block的input tokens经过embedding layer输出的内容都经过rmsnorm后concat 再送入projection和block。这是causal chain的连接关系,在embeddi

文章图片
#开发语言#人工智能
到底了