![](../../asset/images/user/bgImg_default.jpeg)
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。它简化了将这些模型集成到应用程序中的复杂性,使得开发者可以快速利用最新的模型,如 Meta 的 Llama3,进行本地开发和测试。对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云
![文章图片](https://img-blog.csdnimg.cn/img_convert/2d16cfa806746f48336f0820460c0e83.png)
最近这阵比较忙,线下见了非常多不同地区的朋友,围绕 Dify 和开源社区做了不少应用和实践分享。可爱的 Ollama 项目不论是 Dify 生态还是其他的软件生态,越来越多的朋友开始使用 Ollama 来了解模型。不过更多时候,我们见到的是“下载预制菜”使用的玩法,如果我们本地有微调好的模型,又该如何运行呢?以及,在最近 Llama.cpp 的一次版本发布中,支持了 Llama 3.1 的“rop
![文章图片](https://img-blog.csdnimg.cn/img_convert/7a58273cc1ecaed30e1e726a1dbd9d78.jpeg)
ollama+obisidian 能够读取obsidian 的所有文档,直接在 obsidian 实现本地知识库问答和大模型对话对于像我这样的用 obsidian 作为写作工具的文字工作者来说, 这个组合实在是很有用,我在写文章时就下载了 ollama,并用 ollama 下载了 4 位量化的 llama 70B 模型, 只占 30G 内存,运行速度是很快的ollama 配置直接去 ollama
![文章图片](https://img-blog.csdnimg.cn/img_convert/4061b245b90e89b90dd0ee20bc30696d.png)
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中,GLM-4-9B及其人类偏好对齐的版本均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话,GLM-4-9B-Chat还具备网页浏览、代码执行、自定义工具调用(Function Call)和长文本推理(支持最大 128K 上下文)等高级功能。本
![文章图片](https://i-blog.csdnimg.cn/direct/08d4e4e83ac1489285d77ad42f60bf2e.png)
本篇讲述如何根据模型参数量,参数设置以及batch size推理所需要的GPU显存。假设现在想要全参数训练一个llama-6B的模型,那么如何预估自己需要准备多大显存的卡?当fp32、fp16、int8模式下时显存大小具体又有什么变化呢?本篇来解答这个问题。下面是一个快捷目录。1. 大模型RAM构成2. 一个大模型显存计算示例大模型所需要的考虑的显存包括三个部分:模型本身,CUDA kernel,
![文章图片](https://img-blog.csdnimg.cn/direct/80dfd54ec491457faa956c46afad1163.png)
3.指令类型应该是多样化的,包括各种类型的任务,类别种类例如:brainstorming,open QA,closed QA,rewrite,extract,generation,classification,chat,summarization。该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 A
![文章图片](https://img-blog.csdnimg.cn/img_convert/b4a985867e14298b93e6b422d75ba3ed.png)
pyinstaller将Python脚本打包成可执行程序,使在没有Python环境的机器上运行最新版是pyinstaller 3.1.1。支持python2.7和python3.3+。可运行在Windows,Mac和Linux操作系统下。但它不是跨编译的,也就是说在Windows下用PyInstaller生成的exe只能运行在Windows下,在Linux下生成的只能运行在Linux下。
![文章图片](https://img-blog.csdnimg.cn/99224472f5c142499f299d85d3467e1e.jpeg)
Python 中的 main 函数充当程序的执行点,在 Python 编程中定义 main 函数是启动程序执行的必要条件,不过它仅在程序直接运行时才执行,而在作为模块导入时不会执行。Python函数是指组织好的、可重复使用的、用来实现单一或相关联功能的代码段,Python函数包含系统中自带的一些函数、第三方函数以及用户自定义的函数。函数能提高应用的模块性和代码的重复利用率,你已经知道Python提
![文章图片](https://img-blog.csdnimg.cn/30eb3419f5e1466dacf9a34f9aeb6e48.png)
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈)
![文章图片](https://img-blog.csdnimg.cn/700e58b43943483c809ea554ff204e7c.png)
前言是这样的,之前接了一个金主的单子,他想在淘宝开个小鱼零食的网店,想对目前这个市场上的商品做一些分析,本来手动去做统计和分析也是可以的,这些信息都是对外展示的,只是手动比较麻烦,所以想托我去帮个忙。一、 项目要求:具体的要求如下:1.在淘宝搜索“小鱼零食”,想知道前10页搜索结果的所有商品的销量和金额,按照他划定好的价格区间来统计数量,给我划分了如下的一张价格区间表:2.这10页搜索结果中,商家
![文章图片](https://img-blog.csdnimg.cn/22e692ec7dcb42b7b422c6b206b20930.png)