周鸿祎认为，一方面，GPT等通用大模型也遇到了挑战——越来越多的知识在互联网上是找不到的，例如铝业的生产或如何制造航空发动机，这些知识藏在很多企业或专家的脑子里；周鸿祎的演讲题目为“大模型时代的产业创新与变革机会”，他指出，依靠卷算力、卷数据、卷参数，模型向着万亿参数发展，相当于造“原子弹”的AGI之路与多数企业无关。2024（第二十二届）中国企业领袖年会上，周鸿祎提出了AI时代的三大建议，包括人

周鸿祎认为，大模型未来会形成泾渭分明的两条发展路线，一条路是越做越大，走“原子弹路线”，探索人类的星辰大海。因此，他提出可以结合垂直领域的数据进行训练，走专业大模型之路，避免陷入算力和数据上的竞争，把大模型拉下神坛，从“原子弹”变为“茶叶蛋”，而后者更适合中国大模型产业发展。11月20日，2024年世界互联网大会乌镇峰会在浙江乌镇举行，360集团创始人周鸿祎在全体会议上发表以“拥抱专业大模型，引领

作为国内唯一兼具数字安全和人工智能能力的公司，360数字安全集团基于“以模制模”、“用AI对抗AI”的理念，遵循“安全、向善、可信、可控”原则，打造安全大模型，保障大模型全方位服务的安全运行，防止不法分子利用相关漏洞对系统进行攻击，从而保护用户隐私和服务稳定性，持续助力政府、企业以及科研机构能够高效应对在大模型训练和应用过程中的多重挑战，推动国内大模型生态持续健康发展。伴随人工智能的加速发展，以大

360 DeepSeek企业知识库是360旗下以“企业知识管理”为核心的一款产品，目前已与DeepSeek深度结合，依托后者强大的强化学习与思维链技术，显著提升文档处理效率与智能分析能力，尤其在复杂逻辑推理、多语言生成等任务中表现卓越。DeepSeek大模型通过其强大的深度推理能力，能够迅速解析复杂业务场景中的信息，为企业决策提供精准洞察与智能决策。然而，企业打造专属大模型，除了要结合DeepSe

https://arxiv.org/abs/2407.01449，https://huggingface.co/blog/manu/Fcolpali，其利用视觉语言模型（VLMs）来理解文档，直接从文档页面的图像中生成上下文嵌入向量。例如，最近，具有强大推理能力的大模型（LLMs）与视觉变换器（ViTs）结合，创建了视觉语言模型（VLMs），其中来自对比训练的ViT模型的图像块向量被用作语言模型的

至于动手环节，目前已经有一些可以实践的项目，如https://github.com/kyryl-opens-ml/vision-retrieval、Byaldi(https://github.com/AnswerDotAI/byaldi)、colpali(https://github.com/illuin-tech/colpali)(将文档切分为页面图像，不再细分，然后根据页面图像级别进行检索，类

作为国内唯一兼具数字安全和人工智能能力的公司，360数字安全集团基于“以模制模”、“用AI对抗AI”的理念，遵循“安全、向善、可信、可控”原则，打造安全大模型，保障大模型全方位服务的安全运行，防止不法分子利用相关漏洞对系统进行攻击，从而保护用户隐私和服务稳定性，持续助力政府、企业以及科研机构能够高效应对在大模型训练和应用过程中的多重挑战，推动国内大模型生态持续健康发展。伴随人工智能的加速发展，以大

ICAE可以处理详细的、复杂的上下文，而问题本身保持未压缩，答案是基于压缩的上下文和未压缩的问题生成的。(Adapting Language Models to Compress Contexts, https://arxiv.org/pdf/2305.14788)可以处理长上下文提示的压缩，其过程是递归的，将原始提示分成多个子提示，每个子提示被压缩成一小组token，然后与新的子提示一起传递给下

大模型数据工程进展-大模型的数据合成与扩充综述，A Survey on Data Synthesis and Augmentation for Large Language Models ，详细介绍了数据生成的两个主要方法：数据扩充和合成 ：https://arxiv.org/pdf/2410.12896。这个工作不错，探讨了大模型在训练和评估过程中对大量、多样化和高质量数据的需求，并分析了当前数

作为国内唯一兼具数字安全和人工智能能力的公司，360数字安全集团基于“以模制模”、“用AI对抗AI”的理念，遵循“安全、向善、可信、可控”原则，打造安全大模型，保障大模型全方位服务的安全运行，防止不法分子利用相关漏洞对系统进行攻击，从而保护用户隐私和服务稳定性，持续助力政府、企业以及科研机构能够高效应对在大模型训练和应用过程中的多重挑战，推动国内大模型生态持续健康发展。伴随人工智能的加速发展，以大