logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

试试deepseek-engineer:功能强大的编码助手应用程序

deepseek-engineer是跟DeepSeek API绑定的,如果不修改代码的话,它是不支持任何其它AI大模型的。即使自己搭建大模型API服务器,也要根据需要修改模型名字等信息。让它创建一个hello world的python文件,它果然创建成功了!但是有时候还是会有这个报错:我的理解,是自己搭建的deepseek api服务器还是没达到官方的精确输出?先就这样,回头再跟open inte

文章图片
#人工智能#python
在openi启智社区的dcu bw1000使用llama.cpp推理 stelterlab/Qwen3-Coder-30B-A3B-Instruct-AWQ(失败)

摘要:本文记录了在openi启智社区DCU计算卡上部署Qwen3-Coder-30B模型的失败过程。首先通过llmfitinfo查看模型参数,显示该MoE架构模型适合代码生成任务。随后尝试使用llama.cpp编译安装,但因缺少依赖库报错,通过添加路径解决。从魔搭下载模型后,llama-cli因模型不匹配无法加载。改用transformers时又遇到AWQ量化模型需要gptqmodel的问题,但安

#人工智能
2026.1月llama.cpp的最新进展:在AIStudio推理Llama-3-8B-Instruct-Coder.Q6_K.gguf模型

在AI Studio上使用CPU进行LLM推理速度极慢,体验不佳。作者尝试了多个模型(Qwen3-Coder-30B、Llama-3-8B),但下载和运行都遇到问题:大模型导致空间不足,Llama-3-8B推理速度仅0.1t/s。后续计划尝试LFM2.5-1.2B模型,并测试了llama.cpp工具链中的服务器部署、困惑度计算等功能。整个过程中,硬件性能不足成为主要瓶颈。

SCNet超算平台DCU异构环境的Ollama启动服务后无法转发公网的问题解决

摘要:在SCNet超算平台DCU异构环境部署Ollama大模型时,发现服务启动后只能本地访问(监听127.0.0.1:11434),无法通过公网API调用。经排查发现是服务未绑定到0.0.0.0所致。解决方法是在启动ollama serve前设置环境变量OLLAMA_HOST=0.0.0.0,使服务监听所有网络接口,成功实现端口转发后,可通过curl测试调用deepseek-r1:32b等模型,问

文章图片
#人工智能
使用chatglm.cpp本地部署ChatGLM3-6B模型

ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型 交互实践:../build/bin/main -m ~/models/chatglm3-6b/chatglm3-ggml.bin -p 你好,最好的大模型是哪一款?创建models目录,到目录里下载chatglm3-6b模型到chatglm3目录里。ChatGLM3 > 如果树上有8只鸟,打死3只后,树上将剩下5只鸟。

文章图片
#人工智能
第六十五回 时迁火烧翠云楼 吴用智取大名府-羊驼大模型的部署应用:llama.cpp和llama.c纯c编译安装部署 以及Ollama一键部署

LLaMA羊驼模型是元宇宙平台公司(Meta)公开发布的一款大型语言模型。该模型建立在Transformer基础架构上,采用了多层神经网络结构,有助于捕捉和学习数据中的复杂模式。这种设计使得LLaMA模型在自然语言处理方面表现突出,能够进行语义分析、情感识别和文本生成,广泛应用于人工智能各种场景。羊驼模型最显著的特点之一是它的开源性,这意味着任何研究人员或开发者都可以访问和使用该模型的源代码。此外

文章图片
#c语言#开发语言#人工智能
gpt4free报错集锦

后来又重新编译安装了glibc-2.32 ,还是一样的报错Segmentation fault。本来安装nodriver是为了解决一个问题才装的,结果反而带来了问题。装好之后运行ls等命令报错:Segmentation fault。升级ubuntu系统的glibc。问题没有解决,先搁置。

文章图片
#python#开发语言#人工智能
从modelscope快速下载ollama软件,原来升级ollama就是把ollama的安装指令再执行一遍

摘要:本文记录了ollama升级过程中遇到的问题及解决方法。由于直接安装脚本失败,改用下载压缩包方式,但GitHub下载缓慢,转而使用魔搭加速镜像。通过modelscope下载ollama-linux后执行安装脚本完成升级。调试过程中解决了python环境问题和PATH路径问题,最终成功运行qwen3.5模型。关键步骤包括:查找并终止旧进程、重新启动ollama服务、解决版本不兼容问题。整个过程展

#人工智能
vllm cpu编译失败,因为 vLLM CPU backend requires AVX512, AVX2, Power9+ ISA, S390X ISA, ARMv8 or RISC-V

摘要:vLLM CPU 版本编译失败,原因是测试使用的 Intel Xeon E5-2643v2 处理器不支持必备的 AVX512/AVX2 指令集。vLLM CPU 后端要求处理器支持 AVX512、AVX2、Power9+、S390X、ARMv8 或 RISC-V 指令集。安装过程中需要移除 PyTorch 的额外下载源参数才能成功安装依赖包,但最终编译时由于 CPU 不满足指令集要求而失败,

文章图片
#ubuntu#vLLM#人工智能
整理一下当前语法特点,头脑风暴一下,怎么才能让汉语使用者写起来更方便、丝滑,读起来更方便、省力!段言项目推进6.17 @ Dumate+Trae

《段言编程语言语法优化方案》摘要 本文分析了面向中文用户的段言编程语言的语法现状,提出了一套自然语言流优化方案(方案B)。当前语法存在句号冗余、结束符负担重、英文符号割裂等问题。优化方案核心包括:1)用"的"替代英文点号进行属性访问;2)引入口语化的"若-则"条件语句;3)简化遍历语法为"对列表中的每项";4)使"结束&quot

#学习#开发语言
    共 653 条
  • 1
  • 2
  • 3
  • 66
  • 请选择