logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

600亿买来的Cursor,被OpenAI一脚踢开——聊聊测试人的AI护城河

<think>我们需要根据内容生成≤150字的文章摘要。内容是科技圈大瓜:OpenAI终止向Cursor提供模型,背景是SpaceX收购Anysphere。然后重点转向测试人的启示:不要依赖单一AI工具,提升核心能力,传统测试vs AI测试开发差距。最后呼吁系统训练。我们需要提炼核心。字数限制严格。摘要应包含事件、启示、对测试人的建议。注意不要包含图片、格式。语言简洁。我们需要控制在150字以内。

文章图片
#人工智能
大模型测试为什么离不开哈希表?从Token统计、数据去重到LLM评测

摘要:随着大模型应用落地,软件测试领域出现新方向——大模型测试(LLM Testing),测试重点转向验证AI回答准确性、幻觉问题、稳定性等。面对海量测试数据,哈希表成为关键数据结构,用于测试数据去重、快速查询和版本关联分析。测试工程师需要掌握哈希表的核心能力(去重、快速查询、唯一标识),以应对AI测试中的数据管理挑战。从传统自动化测试到AI质量工程,测试对象和所需能力发生显著变化,数据处理和算法

文章图片
#散列表#数据结构#人工智能 +2
同一个接口每次返回都不一样?大模型输出的可靠断言怎么写

摘要:针对大模型输出不确定性的自动化测试难题,文章通过一个电商客服系统的真实故障案例,提出四层断言策略:1) 请求侧约束输出格式;2) 硬断言验证JSON结构;3) 用更强模型(LLM-as-Judge)进行语义软断言;4) 通过多次采样统计稳定性。核心观点是分层管控不确定性:机器契约零容忍,语义容错但设阈值,并强调禁用失败用例的危险性。最终沉淀为"格式硬锁+语义软判+稳定性兜底"的方法论,配套工

文章图片
#测试工具#人工智能#数据结构
大促流量一来,大模型服务就卡——推理性能压测

本文揭秘大模型性能测试核心差异:告别传统QPS/RT,聚焦TTFT(首字延迟)、TPOT(逐字间隔)等流式指标。通过真实大促事故(首字延迟从0.8秒飙至15秒),剖析容量规划缺失、KV cache打满、无降级等痛点,并给出阶梯压测、拐点识别、混长文本等实战方法,助你应对AI面试高频题。

文章图片
#大数据#人工智能#压力测试 +1
AI红队测试是什么:转岗大模型评测的最短路径

如果你已经做了3年、5年甚至10年测试,我并不建议因为一个热点就立刻把职业方向改成“AI红队工程师”。但是,我非常建议你开始理解这个方向。谁来证明这个AI是可靠、安全、可控的?算法工程师负责让模型更聪明。AI应用工程师负责让Agent真正干活。在它真正拥有越来越多权限之前,想办法证明它在哪些地方会出问题。AI红队测试,可能会成为传统测试开发工程师进入大模型评测领域的一条非常现实的路径。

文章图片
#人工智能#测试工具
从DeepSeek Harness,看懂大厂为什么越来越重视AI测试

本文剖析AI Agent质量保障新范式:以DeepSeek Harness爆火为引,指出Agent从“陪聊”转向“实干”后,测试重心从确定性验证转向非确定性评估、成本管控与行为可控。强调评估体系、token经济账、可审计回滚三大核心,并给出实战代码示例与求职能力升级路径。

文章图片
#人工智能#DeepSeek
从DeepSeek Harness,看懂大厂为什么越来越重视AI测试

本文剖析AI Agent质量保障新范式:以DeepSeek Harness爆火为引,指出Agent从“陪聊”转向“实干”后,测试重心从确定性验证转向非确定性评估、成本管控与行为可控。强调评估体系、token经济账、可审计回滚三大核心,并给出实战代码示例与求职能力升级路径。

文章图片
#人工智能#DeepSeek
用户一句话把客服机器人“带偏“——提示词注入与 AI 安全测试

大模型应用安全测试聚焦"模型服从性"风险,需防范提示词注入和间接投毒攻击。文章通过两起真实案例(客服泄露内部提示词、文档投毒导致推荐竞品)揭示攻击原理:模型无法区分指令与数据。测试方案包括:构建多维度攻击用例库(直接/间接/多语言/编码变体)、三层断言(防泄密/防叛变/防越权)、分层防御验证(输入过滤/权限隔离/输出检测)。红队测试四步流程强调攻击库持续更新、供应链文档扫描及误报率监控。关键指标为

文章图片
#机器人#人工智能#安全性测试 +2
模型一本正经地胡说八道——幻觉检测与线上监控

文章摘要:本文以某运营商客服机器人编造"30天无理由退话费"政策的真实事故为例,剖析大模型幻觉的检测与防控方法。核心提出"三道防线"策略:1)离线评测通过faithfulness指标量化断言支持率,设置无中生有/缝合怪专项测试;2)发布门禁要求拒答率和faithfulness双达标;3)线上监控采用分层抽样+敏感词全量检测。强调幻觉管理应接受合理阈值而非零容忍,需平衡忠实度与拒答率,并通过持续校准

文章图片
#python#测试工具#人工智能 +1
模型编造 API 参数,工具调用连环 500——Function Calling 契约测试

本文探讨了AI工具调用测试中的关键问题与解决方案。当AI模型错误生成参数(如虚构枚举值)时,可能导致严重资源浪费,如某物流客服Agent因参数校验缺失而循环调用API,消耗大量token。文章提出通过工具网关进行契约校验:1) 使用Pydantic严格定义参数schema,拦截非法调用;2) 结构化返回错误信息引导模型修正;3) 通过Mock测试验证模型调用行为。测试应覆盖参数合法性、异常处理和任

文章图片
#人工智能#测试工具#测试用例
    共 13 条
  • 1
  • 2
  • 请选择