logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LM Studio使用MTP的qwen3.6-27B-以7840hs的780M为例

本文介绍了如何在LM Studio中启用MTP功能来提升大语言模型的运行效率。作者以7840hs的780M核显为例,展示了更新软件版本、配置开发者模式、选择支持MTP的模型等关键步骤。实测结果显示,启用MTP后,思考时间从1分49秒缩短至1分32秒(提升15.6%),回答生成速度从3.5t/s提升到6.71t/s(提升91.7%)。文章还通过"虎鲸是否是鱼"的问答示例,展示了模型在启用MTP后的性

文章图片
LM Studio的GPU卸载对Token生成速度的影响-以7840hs的780M核显为例

本文探讨了LM Studio中GPU卸载参数对Token生成速度的影响。通过对比默认GPU卸载=4和提升至64的情况,发现提高GPU卸载能显著提升性能:思考时间从3分58秒缩短至1分49秒(提升54.2%),Token生成速度从2.64t/s提升到3.5t/s(提升32.58%)。测试使用7840hs处理器和780M核显,96GB内存中分配48GB给核显运行Q4 30b模型。结果表明合理配置GPU

文章图片
C#编写上位机驱动运动控制板卡

虎彩首个不含PLC的运动控制系统。技术栈:脉冲控制,步进控制,C#基础。

#c##单片机
USDP使用笔记(六)解决HBase的ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing报错

解决HBase的ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing报错

#hbase#hadoop#apache +2
从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala

本文将以大数据开发中最常见的数仓组件Hive的drop table为例,抛砖引玉,解读为神马大数据开发可以脱离SQL、Java、Scala。

文章图片
#大数据#hive#scala +1
Spring Boot3流式访问Dify聊天助手接口

使用Spring Boot 3实现Dify聊天助手的流式访问接口。回顾了Dify 1.4.1及LM Studio的集成配置,指出批式访问存在响应延迟问题,提出采用流式访问提升用户体验。重点分析SSE(Server-Sent Events)协议,包含请求参数和响应报文格式。通过Spring Boot的SseEmitter组件实现了流式响应,将Dify返回的Unicode编码内容实时转换。提供Cont

文章图片
#spring boot#后端#java
【文生图】Win10环境借助基于ComfyUI的图狗2.3.1抢先体验阿里万相wan2.1

Win10环境借助基于ComfyUI的图狗2.3.1抢先体验阿里万相wan2.1的文生视频功能

文章图片
Win10环境使用Dockerdesktop部署Dify集成Deepseek

Win10环境借助Dockerdesktop部署Dify集成Deepseek,实现一户一码访问

文章图片
#docker#容器
Spring Boot3批式访问Dify聊天助手接口

摘要:本文介绍了如何使用Spring Boot3集成Dify聊天助手接口实现批式访问。首先配置Dify1.4.1与LM Studio集成,通过Spring Boot3作为中间层调用Dify后端接口,确保安全性和可观测性。文章详细展示了Dify聊天助手的配置过程(包括开启Think模式和DeepSeek14b小模型),提供了接口文档说明和示例请求/响应报文。最后给出Spring Boot3的Mave

文章图片
#spring boot#后端#java
    共 18 条
  • 1
  • 2
  • 请选择