随着人工智能技术的迅速发展，大模型在处理各种复杂任务中展示出了卓越的能力。特别是在网络安全领域，大模型的应用潜力巨大，它们可以帮助自动化处理大量数据、识别潜在威胁和提供安全建议。然而，新型大模型层出不穷，要有效利用这些模型，首先必须验证它们在理解和处理网络安全相关问题上的能力。

此外，P-MMEval 确保所有挑选的数据集中的多语言覆盖一致，并提供跨多种语言的并行样本，最高支持来自 8 个不同语族的 10 种语言（英、中、阿、西、日、韩、泰、法、葡、越）。对各种 LLM 的多语言能力进行了全面分析，不仅分析了 P-MMEval 中每个数据集在区分模型性能方面的有效性，并探索了模型性能受到推理提示、模型类型、模型尺寸、语言种类和任务类型的影响。它整合了基础自然语言处理任务和

MVPBench 专注于视觉物理推理中的视觉链式思维（CoT）能力评估。它特别关注模型能否像人类一样，依据图片一步步进行逻辑推理，而不是依赖文字提示直接得出结论。

具备跨模态理解能力的多模态大模型能实现更为丰富、全面的理解与生成，在复杂场景中表现得更接近人类水平，已然成为人工智能领域的重要发展方向。从图文理解、视觉问答到图像推理，模型们看似“万事通”，但真正打动人心、贴近用户需求的模型，究竟该如何评判？国内外主流的闭源模型（如GPT-4.1-20250414、Gemini-2.5-flash等）和开源模型（如InternVL3系列、Qwen2.5-VL系列等

覆盖 96 个国内外主流大模型，涉及文本和多模态数据，包括 48 个海外模型（如 Claude-4、GPT-4o 等）、48 个国内模型（如 Qwen3、InternLM等），其中开源模型 75 个，闭源模型 21 个。大模型的在中文环境中的多维度合规性是其在我国广泛应用的关键基础，也是此次评测的重要维度。深层洞察：排名靠前的模型在各评测维度都有比较均衡的安全分数，而排名靠后的模型在社会经济风险维

从 Shell 基准的风险挖掘，到 MENTOR 框架的自进化防御，研究团队致力于为大模型进入垂直行业应用建立一套可量化的安全标准。然而，教育、金融和管理仅仅是起点。随着 AI 深入医疗、法律等更多核心领域，隐性风险的形态将更加复杂。未来的研究将重点关注如何让模型不仅学会遵守规则，更能理解规则背后的价值观，最终实现从外挂式防御向内化式安全的跨越。司南将持续关注并跟进 Shell 基准的迭代更新，欢

全员“行动力”匮乏： 观察榜单可以发现，绝大多数模型在 Domain Literacy（专业素养）上的得分都在 0.7-0.8 甚至更高，但在 Agent Ability（智能体能力）的 Action Accuracy（行动准确率）上，却断崖式下跌至 0.3 以下。然而，当我们将这些通用模型从简单的知识考试引入真实的科研探索与临床决策场景时，一个被长期掩盖的真相逐渐浮出水面：高分的理论知识储备，并

相比之下，稳定的行业，如消费防御型、能源和公用事业行业，则表现出相对高的预测得分，这得益于其需求弹性较低、监管透明，并且与宏观经济的强相关性。收集了 110 支各行业代表公司的股票的历史数据，包含经典的开盘价、收盘价、最高价、最低价、交易量，为大模型提供了最基础的预测数据。搜集网络上与每只股票相关的新闻，提供外部的市场信息，反映宏观市场中对股票的看法，助力大模型理解市场现状，做出与当前更相符的判断

进入 2026 年，全球大模型技术持续加速演进，新一轮模型发布不断刷新能力边界。行业关注重点从基础能力指标，转向模型在真实复杂场景中的综合表现。各类模型持续强化智能体相关能力，在编程、推理、工具调用与信息检索等关键方向不断提升，全面增强解决实际问题的能力。与此同时，中国大模型在全球舞台上持续受到关注，越来越多模型在海外社区引发热议，展现出中国在大模型日益增强的技术实力与创新活力。司南持续关注大模型

从事图像生成与编辑模型研发的小伙伴们，你们是否也经历过「评测」这些“麻烦事”：新模型刚完成迭代，想跑几个主流 benchmark 验证效果，却要为每一组「模型 × benchmark」单独写一套适配脚本；不同 benchmark 的环境依赖互相打架，配环境配到深夜；想并行跑多个任务提升效率，又要花大量精力改写调度逻辑；好不容易跑完所有任务，生成的图像、评测指标、运行日志散落在各个文件夹，想做一次横