logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

BERT-Tensorflow模型部署(CPU版和GPU版)

背景使用BERT的TensorFlow方案解决法研杯要素识别任务,该任务其实是一个多标签文本分类任务。模型的具体不是本文重点,故于此不细细展开说明。本文重点阐述如何部署模型。模型部署官方推荐TensorFlow模型在生产环境中提供服务时使用SavedModel格式。SavedModel格式是一种通用的、语言中立的、密闭的、可恢复的TensorFlow模型序列化格式。SavedModel封装了...

#深度学习
第4门课程-卷积神经网络-第三周作业(机器视觉中物体检测)

0- 背景:本文主要介绍在自动驾驶中常用的车辆探测模型YOLO模型。本文依赖的包如下:import argparseimport osimport matplotlib.pyplot as pltfrom matplotlib.pyplot import imshowimport scipy.ioimport scipy.miscimport numpy as npi...

模型部署系列 | 如何本地部署LLM服务?以ollama为例

本文主要介绍如何安装ollama,并演示2种加载模型的方法:(1)拉取ollama官方已经有的模型,进行LLM服务部署。(2)加载本地模型部署大模型服务。最后,对部署的LLM服务的接口进行测试。#大模型部署 #LLM部署 #如何部署ollama #模型框架 #AI入门 #推理加速。

文章图片
#人工智能
端侧大模型系列 | 端侧AI Agent任务拆解大师如何助力AI手机?(简短版)

随着AI技术的发展,AI Agent应用越来越广泛,但大多数依赖大型语言模型,需要强大计算资源和网络连接,限制了其在边缘设备上的应用。为此,研究人员提出了Octo-planner,一个专为边缘设备优化的规划Agent框架:Octo-planner。Octo-planner是一个高效的Planner-Action框架,将规划和执行分为两个组件:针对边缘设备优化的规划Agent和使用Octopus模型

文章图片
#人工智能
端侧Agent系列 | 端侧AI Agent任务拆解大师如何助力AI手机?(详解版)

AI智能体由于其能够自主决策并执行任务并解决诸多问题,从而在各领域变得越发重要。为了有效运作AI Agent,NexaAI的研发人员提出了一种设备端规划-执行框架Octo-planner和Octopus执行智能体。Octo-planner将任务分解为子步骤,然后由Octopus模型(指之前提出的Octopus v1、v2、v3、v4模型)执行。为优化资源受限设备上的运行性能,官方使用模型微调而非上

文章图片
#人工智能
模型部署 | VLLM部署Qwen2.5并以OpenAI格式提供API服务

简介为在使用langgraph、langchain等框架的时候可以便捷地以OpenAI兼容的接口格式切换不同大模型接口,包括外部公网API和内部自己部署的API。本文以VLLM部署Qwen2.5为例介绍如何用VLLM以OpenAI兼容的接口格式服务部署大模型服务。

#人工智能
基于nginx的静态网页部署

背景:一序列的html网页需要部署基于nginx的部署:本文采用的基于openresty的nginx 配置。简单地配置 Nginx 的配置文件,以便在启动 Nginx 时去启用这些配置即可实现对于编写好的html网页的点击跳转访问。而本文的重点也是于此。配置方式1:Nginx 的配置系统由一个主配置文件和其他一些辅助的配置文件构成。这些配置文件均是纯文本文件,一般地,我们只需要配置主配置文件就行

#nginx
linux下libevent的安装和使用例子:数据回显

1、背景介绍2、安装tar zxvf libevent-2.0.22-stable.tar.gzcd libevent-2.0.22-stable./configure -prefix=/usr/libeventmakesudo make install安装之后,再重启下。也可以采用以下:apt-cache search libevent和apt

C++学习笔记之define的多行定义

define的多行定义可以简化代码在开发当中,我们可能会大量的写一些重复的,甚至具有“危险”的代码,用宏定义#define,往往可以简化代码。define可以替代多行的代码,例如MFC中的宏定义(非常的经典,虽然让人看了恶心)#define MACRO(arg1, arg2) do { \/* declarations */ \stmt1; \stmt2; \/*

文献阅读笔记:Deep contextualized word representations(ELMo)

0. 背景机构:Allen 人工智能研究所 & 华盛顿大学作者:Paul G发布地方:arxiv、NAACL 2018面向任务:word representation论文地址:https://arxiv.org/abs/1802.05365论文代码:https://github.com/allenai/bilm-tf。顺便安利该研究所的https://github.com/al...

#深度学习#语言模型
    共 93 条
  • 1
  • 2
  • 3
  • 10
  • 请选择