logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Guardrails 在 AI 语境中通常译为 “护栏” 或 “防护栏”。

在 AI 语境中通常译为或。它指围绕 AI 系统设置的一整套,用来确保 AI 的行为安全、合规、可控,并且不偏离既定目标。可以类比成高速公路护栏:它不决定车往哪开,但能防止车辆冲出边界、翻车或撞墙。在时代,Guardrails 的含义比传统聊天机器人更广。传统 LLM 的护栏主要管“输入和输出内容”;而 Agentic AI 还要管。

#人工智能
百度 文心一言 sdk 试用

JMaven Central: com.baidu.aip:java-sdk (sonatype.com)Java sdk地址如上:

文章图片
#人工智能
通义千问 Qwen-7B-Chat-Int4 模型本地化部署

如需在本地或离线环境下运行本项目,需要首先将项目所需的模型下载至本地,通常开源 LLM 与 Embedding 模型可以从下载。以本项目中默认使用的 LLM 模型与 Embedding 模型为例:下载模型需要先,然后运行拉代码修改web_demo.py启动:python web_demo.py量化:(量化过程 报GPU版本问题 暂时未调通)

文章图片
#人工智能#自然语言处理
通义千问 Qwen-7B-Chat-Int4 模型本地化部署

如需在本地或离线环境下运行本项目,需要首先将项目所需的模型下载至本地,通常开源 LLM 与 Embedding 模型可以从下载。以本项目中默认使用的 LLM 模型与 Embedding 模型为例:下载模型需要先,然后运行拉代码修改web_demo.py启动:python web_demo.py量化:(量化过程 报GPU版本问题 暂时未调通)

文章图片
#人工智能#自然语言处理
RPM和TPM在AI模型领域的含义

综上所述,RPM和TPM在不同领域具有不同的含义,但在人工智能和机器学习领域,它们通常分别表示每分钟请求数和每分钟处理的Tokens数量,是衡量模型处理能力的关键指标。

文章图片
#人工智能
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

当你遇到“Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?”这样的错误信息时,这意味着你的系统上的 Docker 守护进程没有运行,或者是你的用户没有权限访问 Docker 守护进程。

文章图片
#docker#unix#eureka
python 3.11.9 环境部署

1、查看当前python工程依赖的库。

#python3.11
Modbus TCP/RTU、OPC UA 和 MQTT 是工业自动化和物联网(IoT)领域中常用的通信协议

特性OPC UAMQTT应用场景工业设备底层通信工厂自动化、跨系统集成物联网、远程监控通信模型主从(请求/响应)客户端/服务器 + 服务调用发布/订阅网络层串口 / TCPTCP, HTTPS, WebSocket 等TCP安全性无强(TLS、证书认证)可选(TLS)数据语义寄存器地址(原始数据)丰富的信息模型无(依赖 payload 格式)资源消耗低中~高极低。

#人工智能
面向大模型的存储加速方案

这个方案最大的变化,就是对 checkpoint 文件的 close 操作变成了异步,训练程序不用等待数据上传完成,即可恢复训练,剩下的工作全部交给加速层透明完成。此外,加速层也会采用分块上传的办法,充分利用对象存储的后端并发能力。当两个任务都需要先加载数据然后才能开始训练,通过训练平台的流水线化调度,在一个任务做训练的同时发起下一个任务所需数据的提前加载,就能大大提高计算资源的利用率。另外,这里

文章图片
#人工智能
    共 126 条
  • 1
  • 2
  • 3
  • 13
  • 请选择