logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LLaMA-Factory微调数据的清洗与指令构造方法

摘要: 生产数据需经过清洗和指令构造才能用于大模型微调,遵循“质量优于数量”原则。核心步骤包括:1)按LLaMA-Factory格式划分指令、输入、输出三部分;2)针对不同数据源(客服记录/文档/结构化数据)设计转化逻辑;3)用Python脚本自动化处理;4)检查数据多样性、去重和格式一致性。建议初学者先抽样100条验证流程,再规模化处理。关键点在于通过结构化转换和严格质检,将原始数据转化为模型可

#java#服务器
nginx指令 set_real_ip_from

Nginx 的 set_real_ip_from 指令与 real_ip_header 配合使用,能够让 Nginx 信任特定的代理服务器或 CDN,从请求头中提取并使用客户端的真实 IP 地址。通过 set_real_ip_from 和 real_ip_header 指令,Nginx 可以识别这些头部信息,将客户端的真实 IP 地址用于日志记录、访问控制、请求限速等。你还可以基于从 set_re

文章图片
#nginx#tcp/ip#运维
TensorFlow 2.0 手写数字分类教程之SparseCategoricalCrossentropy 核心原理(二)

摘要:tf.keras.losses.SparseCategoricalCrossentropy是用于单标签多分类任务的损失函数,其特点是直接使用整数标签(如0/1/2)而无需转为one-hot编码,节省内存且操作简便。该函数通过评估正确类别的预测置信度来打分:置信度越高损失值越低。关键参数from_logits建议设为True以处理原始模型输出。与CategoricalCrossentropy的

#tensorflow#分类#人工智能
从redis的set中随机取出一个元素,并且不做删除

在 Redis 中,如果你想从一个set中随机取出一个元素且不删除它,可以使用 Redis 的命令。该命令允许你从set中随机选择一个或多个元素,并且不会影响set中的内容。

文章图片
#redis#bootstrap#数据库
在nginx中根据请求header头进行upstream的流量转发

通过 Nginx 的if或map结合proxy_pass,你可以根据请求头中的特定条件,将请求动态地转发到不同的上游服务器。对于简单的条件判断,if语句足够使用,而对于更复杂的场景,map是更好的选择。Nginx 将 HTTP 请求头中的连字符转换为下划线,并以$http_开头的变量来表示。所以对于请求头QG-X-TOKEN,在 Nginx 中你可以使用来访问其值。当请求头中包含连字符(如QG-X

文章图片
#nginx#运维
python环境搭建 (五) Dockerfile 和 docker-compose.yml 核心作用

本文详细解析了 Dockerfile 和 docker-compose.yml 的核心作用及配合逻辑。Dockerfile 作为镜像构建脚本,定义了项目运行所需的基础环境;docker-compose.yml 则负责容器编排,配置运行规则。文章通过逐行解析配置文件,阐述了最佳实践写法,并提供了从安装到部署的完整步骤,包括环境搭建、启动脚本编写、容器管理及常见问题排查。这种组合方案能实现快速部署、环

#python#docker#java
Elasticsearch(4) show me some more advanced content

Advanced Elasticsearch: Key Concepts for Production To master Elasticsearch beyond basic queries, focus on these three advanced pillars: Text Analysis & Tokenization: Understand how analyzers process

#elasticsearch#jenkins#大数据
Elasticsearch(1) could you tell me how to use es if i am a beginner

Elasticsearch Beginner's Guide: Key Concepts & Getting Started Elasticsearch (ES) is a powerful search engine for managing large datasets. Here’s a quick start guide: Core Vocabulary Index = SQL Table

#elasticsearch#jenkins#大数据
Elasticsearch(2) i have studied some basic knowledge of es , would you tell me more ?

摘要:本文介绍了Elasticsearch(ES)的进阶核心概念,帮助初学者提升技能。首先解析了ES的倒排索引机制,说明其如何通过分词实现毫秒级搜索。其次阐述了分布式架构中的分片(主分片与副本分片)设计,解释其如何实现高可用与并行搜索。接着对比查询与过滤的应用场景,强调查询关注相关性评分而过滤适用于精确匹配的缓存优化。最后介绍了聚合功能的强大分析能力,包括分组统计与指标计算。这些概念共同展现了ES

#elasticsearch#jenkins#大数据
Elasticsearch(3) show me some examples

这篇文章通过三个实际案例展示了Elasticsearch的核心搜索功能。首先,通过布尔查询演示如何结合关键词搜索("wireless")与精确过滤条件(电子类目、价格<250美元),并解释了.keyword字段的重要性。其次,使用聚合分析计算不同商品类目的数量及平均价格,说明如何通过"size":0优化性能。最后,综合演示了同时执行搜索(匹配标签"gadget"且库存为真)、结果分页(返回5条记录

#elasticsearch#jenkins#大数据
    共 195 条
  • 1
  • 2
  • 3
  • 20
  • 请选择