logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

GPTQ算法为何能大幅提升AI速度并节省内存资源

GPTQ是一种高效的模型量化方法,通过将权重量化为4位整数来压缩大规模语言模型,同时保持激活值为16位浮点数。它能显著提升推理速度(最高达4.5倍)并减少内存占用(节省近4倍),使其适合在资源有限的设备上部署。量化过程仅需少量数据校准,无需重新训练,175B参数的模型约4小时即可完成。虽然依赖GPU且仅支持4位量化可能影响精度,但GPTQ仍是快速优化大模型的理想选择,特别适用于提升推理速度和降低资

文章图片
#算法#人工智能#开发语言 +3
基于 Supabase + Vecs 的向量存储与相似性搜索,用于语义搜索、推荐系统

本教程介绍如何使用Supabase和Vecs库实现向量存储与搜索。首先在Supabase项目中启用pgvector扩展并获取连接字符串。安装vecs和supabase后,初始化客户端并创建向量集合。插入带元数据的向量数据,执行相似性搜索(默认余弦距离)。还涵盖查询、删除和索引优化等操作,适用于语义搜索和推荐系统等场景。注意向量维度一致性等关键细节。

文章图片
#大数据#http#网络协议 +2
齐鲁制药招AI工程师

齐鲁制药招聘实验室信息化AI工程师,负责实验信息化系统运维、业务支持及AI赋能。岗位要求计算机/药学本科以上学历,2年以上实验信息化系统管理经验,熟悉SQL、Linux/Windows服务器及Python开发,具备API集成经验。优先考虑有智能体平台项目经验或主导过实验室数字化项目的候选人。工作地点济南,需具备跨部门协作能力,将技术方案转化为业务解决方案。

文章图片
#人工智能#javascript#开发语言 +2
workflow-use有哪些常用的api?

本文介绍了工作流系统的Python SDK和HTTP API。SDK通过Workflow类提供工作流加载和运行功能,支持从文件加载、无AI模式运行和常规模式运行。HTTP API基于FastAPI实现,提供工作流管理(列表、详情、更新)和执行(启动、状态查询、日志获取、取消)接口。此外还包含CLI工具,支持生成工作流和运行存储的工作流。这些接口覆盖了工作流系统的核心功能,适用于不同场景的使用需求。

文章图片
#chrome#前端#mysql +4
Metal 大模型端侧推理全面教程:常用 API 串联与实战指南

摘要: Metal是Apple专为macOS/iOS设备打造的图形计算API,其Metal Performance Shaders(MPS)通过GPU加速实现高效的大模型端侧推理。相比传统方案,Metal利用Apple Silicon的统一内存架构,避免CPU/GPU数据拷贝,显著提升性能。本文详细介绍了Metal环境搭建(需M1及以上芯片、macOS 13.0+)、核心API使用(包括Metal

文章图片
#前端#开发语言#ecmascript +2
vLLM 端侧推理全面教程:常用 API 串联与实战指南

vLLM是伯克利开源的高效大模型推理框架,通过PagedAttention分页机制和连续批处理技术显著提升推理性能,支持主流大模型在端侧和云端部署。该框架安装简便,提供Python SDK和REST API,核心API包括LLM类(推理引擎)和SamplingParams(采样控制)。实战案例展示了如何构建求职咨询对话系统和批量岗位描述生成工具,适用于应届生导航网站等场景。vLLM通过优化显存管理

文章图片
#人工智能#阿里云#rocketmq +2
Elastic Search有哪些典型的应用场景?

Elasticsearch核心应用场景概览 Elasticsearch以其强大的全文检索、实时分析和可扩展查询能力广泛应用于多领域: 搜索场景:支持电商商品、文档知识库、招聘房产等垂直领域的多条件检索与模糊匹配 日志分析:实时处理系统日志、运维监控指标及安全审计数据,快速定位问题 实时计算:赋能业务统计、LBS定位和推荐系统,支持地理位置与用户行为分析 企业应用:提升客服响应效率、实现内部信息统一

文章图片
#人工智能#macos#https +3
ChatGPT 与 GPT 的区别:教你如何高效利用 AI 提升工作与营销效果

在人工智能迅速发展的今天,ChatGPT 和 GPT 这两个词经常被提及,但很多人仍然混淆它们的区别。你是否也曾把 ChatGPT 简单地称为 GPT,或者反过来?其实,这两者的差别不仅关键,而且直接影响你如何高效利用它们来提升工作效率和营销效果。本文将深入解析 ChatGPT 和 GPT 的本质区别,并结合具体案例,帮你掌握实用技巧,避免误区,真正发挥 AI 的价值。

文章图片
开源,FunASR:语音识别工具包,多样模型与功能等你来探索

FunASR是阿里开源的全能语音识别工具包,支持ASR、VAD、标点恢复等多项功能,提供Paraformer等高性能预训练模型。特色包括:支持流式/非流式识别、模型导出及服务部署;2024年持续更新,新增情感识别等功能;离线转录GPU版RTF低至0.0076。安装简单(pip或源码),提供命令行和API调用方式,适合学术与工业应用。当前部分GPU服务仍在优化中。开源地址:github.com/al

文章图片
#语音识别#人工智能#javascript +3
如何使用deepseek帮助自己找工作

本文介绍了如何利用人工智能工具DeepSeek结合专业求职平台jobleap.cn提升求职效率。DeepSeek通过精准职位匹配、行业趋势分析、简历优化等功能,帮助求职者快速找到合适岗位。文章提供了实用的Prompt示例,并展示了DeepSeek与jobleap.cn结合的优势,包括实时匹配、信息整合等。最后给出了明确目标、平台筛选等使用建议,为数字化求职提供高效解决方案。

文章图片
#fpga开发#科技#云原生 +2
    共 106 条
  • 1
  • 2
  • 3
  • 11
  • 请选择