logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

无框架依赖:昇腾 NPU 纯 C++ 多模态推理引擎,SigLIP 全链路跑 NPU

本项目为面向昇腾310B NPU的纯C++多模态推理引擎,实现24层语言模型与SigLIP视觉塔的端到端推理,全链路运行于NPU,Python仅负责轻量预处理。通过定制Cube矩阵乘、分块语言头路径及向量化因果卷积步核,解码速度从2.88提升至5.90 token/s,性能翻倍;视觉塔精度误差<0.0098,与参考实现对齐。采用三层解耦架构,支持流式输出与前缀缓存,具备轻量化、低延迟、易集成等工程

文章图片
无框架依赖:昇腾 NPU 纯 C++ 多模态推理引擎,SigLIP 全链路跑 NPU

本项目为面向昇腾310B NPU的纯C++多模态推理引擎,实现24层语言模型与SigLIP视觉塔的端到端推理,全链路运行于NPU,Python仅负责轻量预处理。通过定制Cube矩阵乘、分块语言头路径及向量化因果卷积步核,解码速度从2.88提升至5.90 token/s,性能翻倍;视觉塔精度误差<0.0098,与参考实现对齐。采用三层解耦架构,支持流式输出与前缀缓存,具备轻量化、低延迟、易集成等工程

文章图片
Linux shell 获取SSH暴力破解攻击黑名单列表及iptables使用

SSH是Secure shell的简称,是一种可以用来加密连接的服务器的标准协议,使用SSH远程管理服务器,可以有效的防止信息泄露,目前几乎所有的UNIX服务器都会支持该协议。虽然SSH属于加密连接,但是如果攻击者使用暴力破解的方式破解远程密码,服务器中的数据依然有被盗取的危险,特别是在使用弱密码的情况下更是如此。暴力破解是攻击者使用密码字典中的密码逐一枚举,分别尝试每个密码是否可以登录服务器,如

Linux ELF二进制文件数字签名工具:原理与设计思路(C/C++代码实现)

在软件安全领域,确保二进制文件的完整性与真实性是防御恶意篡改的关键环节。本文将介绍一款名为`elf-sign`的工具,它通过给Linux ELF(Executable and Linkable Format)二进制文件添加数字签名,实现对文件完整性的保护。我们将从工具的核心功能、实现原理、设计思路及相关领域知识展开分析,揭示其在软件安全体系中的作用。

文章图片
#linux#c语言#c++
Python - 模块域名解析(dnspython)

dnspython是python实现的一个DNS工具包,它支持记录类型、查询、传输并动态更新ZONE信息等等。据说dnspython可以代替dig、nslookup等工具。下面我们就来介绍dnspython模块的使用。dnspython源码安装这里介绍一下dnspython模块的安装,采用源码的安装方式,目前使用的版本是1.16.0如下安装:wgethttps://www.dnspython.or

从零写 GPT 推理引擎:纯 C++/CUDA,四轮优化提速 1381 倍

本项目为纯C++与自定义CUDA实现的GPT-2推理引擎,针对124M模型从零手写优化,全程不依赖深度学习框架。通过四轮工程优化:重构分块GEMM与Warp归约GEMV、引入共享内存与寄存器洗牌、实现持久化KV缓存、静态内存管理与双模式调度,将1024token预填充时间从13.7秒降至910毫秒,单token解码延迟从13.7秒降至9.9毫秒,解码阶段提速1381倍,完整呈现大模型推理的底层优化

文章图片
#c++#开发语言#深度学习 +1
Linux C/C++ 入侵检测系统(IDS绕过技巧)

入侵检测系统(IDS)是一种网络安全设备,其主要功能是对网络传输进行即时监视,并在入侵检测系统(IDS)是一种网络安全设备,其主要功能是对网络传输进行即时监视,并在发现可疑传输时发出警报或者采取主动反应措施。相较于其他网络安全设备,IDS的主要特性在于其积极主动的安全防护技术。它不会跨越多个物理网段,通常只监听一个端口,不需要转发任何流量,只需在网络上被动、无声地收集所关心的报文。

文章图片
#linux#c语言#c++ +2
GDB调试指南(入门,看这篇够了)

写这篇文档的目的是对前面GDB的知识做一次总览,本文为GDB调试指南,参考GDB调试手册,目前已有的篇目:启动调试断点设置查看源码单步调试查看变量前言GDB是Linux下非常好用且强大的调试工具。GDB可以调试C、C++、Go、java、 objective-c、PHP等语言。对于一名Linux下工作的c/c++程序员,GDB是必不可少的工具,本篇以C语言来调试。GDB简介U...

URL是什么意思 ? URL介绍

前言Internet上的每一个网页都具有一个唯一的名称标识,通常称之为URL(Uniform Resource Locator, 统一资源定位器)。它是www的统一资源定位标志,简单地说URL就是web地址,俗称“网址”。URLURL是对互联网上得到的资源的位置和访问方法的一种简洁表示,是互联网上标准资源的地址。URL它具有全球唯一性,正确的URL应该是可以通过浏览器打开此网页的,但如果您访...

用C++17从零手搓一个深度学习张量引擎:自动微分、广播、神经网络全打通

张量内存:用 shape + strides + offset 实现零拷贝视图,transpose/reshape 不花一分钱自动微分:动态建图 + 迭代DFS拓扑排序 + 梯度累加,支持任意复杂的计算图广播:NumPy兼容的前向广播和反向还原,数学上严谨神经网络:从线性层到Adam优化器,能直接跑通XOR训练如果你一直想搞清楚 PyTorch 底层是怎么工作的,但又不想啃几十万行源码,这就是一个

文章图片
#深度学习#c++#神经网络 +2
    共 126 条
  • 1
  • 2
  • 3
  • 13
  • 请选择