logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从词向量到大模型:NLP 技术演进浅记

作为词义表达的基础方式,其概念早于现代 NLP,20 世纪 50 年代随着自然语言处理领域萌芽开始,最初通过同义词互释的方式表达词义,为后续词的向量表示奠定基础,核心是通过相似语义关联理解词的含义。基于共现矩阵与点互信息(PMI)。正点互信息 PPMI 于 1990 年代在 NLP 中逐步成熟,基于"一个词的含义可由其周围的上下文词决定"这一核心概念,通过统计目标词与上下文词的共现概率,结合 PP

#自然语言处理#人工智能
SGLang本地大模型服务缓存清理

当下版本的KTransformer,相比于旧版本,多出来一个多用户的特性:一个本地模型加载起来之后,支持多路的会话。在释放缓存之前,这个sglang任务所占据的显存空间为:27196MiB,而运行上述指令,清空缓存之后,剩下27064MiB的显存空间。由于显卡资源比较有限,没必要让所有的会话都一直用缓存占据着空间,闲时或者有紧急任务穿插的时候,可以释放一部分显存出来用。话,显存占用还是持久化的保存

#sglang#缓存#spring
Tomcat Container容器之Engine

这里你会发现,如下接口中包含上述defaultHost和jvmRoute属性设置;同时还有Service,因为Engine的上层是service。

#tomcat#java
VictoriaMetrics 1.146.0 源码专题【左扬精讲】—— 开篇总览

VictoriaMetrics 架构分层│├── [1] 应用层 (app/)│ ├── vminsert — 写入接入层(Prometheus/InfluxDB/DataDog/OTel 等 12+ 协议)│ ├── vmselect — 查询执行层(PromQL/MetricsQL/GraphiteQL + 查询调度)│ └── vmstorage — 数据存储层(Cluster 模式核心)│

#oracle
WebSocket 连接池生产级实现:实时行情高可用与负载均衡

▍一句话记住本文轮询是 1.0,单连接是 2.0,连接池是 3.0。从 1.0 到 2.0,延迟从秒级降到毫秒级;从 2.0 到 3.0,可用性从“祈祷别断”升级到“断了也无感”。真正的生产级系统,不是能跑起来,而是断了能自己爬起来,爬起来后业务层完全不知道发生过故障。

#websocket#负载均衡#网络协议
Dify — Chatflow - 数据库智能查询

建数据库image在mysql中的 dify_chatflow 数据库下,创建表及插入数据:(来源:马士兵教育)– 使用dify_chatflow数据库– 客户表customer_id INT AUTO_INCREMENT PRIMARY KEY COMMENT ‘客户ID’,name VARCHAR(100) NOT NULL COMMENT ‘客户姓名’,email VARCHAR(100)

#sql#数据库
Windows 下切换 Java 环境太复杂了,我做了个 cli 工具,可以快速安装,切换 Java 版本

如果你经常在 Java 8、17、21,或者 Temurin、Corretto、Zulu、Oracle、Microsoft OpenJDK 之间切换,在 Windows 上,切换使用目录联接(junction),速度很快,不会复制整个 JDK。,Java 版本就切过去了,不用反复改环境变量。安装 Java 21。安装器可以选择安装目录,也可以帮你把。可以把这个流程变简单。

#java#开发语言
Openai Codex 重大更新 已支持接入任意开源大模型

关键配置项说明model:模型名称,可以是任意字符串,Codex 会传递给后端model_provider:指向下方定义的提供者 IDmodel_reasoning_effort:推理强度,可选 low、medium、highbase_url:API 服务的完整地址,支持远程地址wire_api:API 协议类型,responses(OpenAI Responses API)或 chat(Chat

#深度学习#人工智能
FPGA PCIe P2P通讯 实现 GPU Direct RDMA

H100 所在服务器提供 Gen3 x8 插槽,带宽约为前两者的 2 倍。H100 平台 GPU Direct 带宽达 PCIe Gen3 x8 理论极限的 93.5%,RTX A4000 达 Gen3 x4 的 89%,传输效率业界领先。GPU Direct: FPGA ──PCIe DMA──→ GPU显存(1次拷贝, 零CPU参与)传统路径:FPGA ──DMA──→ CPU内存 ──cud

#fpga开发#p2p#网络协议
Openai Codex 重大更新 已支持接入任意开源大模型

关键配置项说明model:模型名称,可以是任意字符串,Codex 会传递给后端model_provider:指向下方定义的提供者 IDmodel_reasoning_effort:推理强度,可选 low、medium、highbase_url:API 服务的完整地址,支持远程地址wire_api:API 协议类型,responses(OpenAI Responses API)或 chat(Chat

#深度学习#人工智能
    共 15 条
  • 1
  • 2
  • 请选择