网络爬行是使用软件或自动化脚本从不同网页中提取数据的过程。这些脚本被称为网络爬虫、蜘蛛或网络抓取机器人。

（1） Fine-Tuning（标准微调）优点：简单易用：直接在预训练模型上进行微调。适应性强：可以针对特定任务调整整个模型的参数。效果显著：通常能显著提高模型在特定任务上的表现。缺点：计算成本高：需要调整模型的大量参数。数据需求较高：为了有效微调，通常需要较多的标注数据。适用场景：当有足够的标注数据和计算资源时，适用于大多数NLP任务。优点：参数高效：只修改或优化模型的一小部分参数。节省计算资源

现在我们对大模型的研究逐渐转向了“降耗增效”，通过结合高性能低耗资的小模型，实现更高效的计算和内存利用，达到满足特定场景的需求、降低成本和提高效率、提升系统性能以及增强适应性和扩展性的目的。目前较常用的策略有。咱们今天就来简单聊聊这部分策略的具体步骤以及每种策略相关的参考论文我也放上了，方便同学们理解学习。论文原文以及开源代码需要的同学看文末。

ollama不仅支持运行预构建的模型，还提供了灵活的工具来导入和自定义您自己的模型。无论是从GGUF格式导入还是进行模型的个性化设置，ollama都能满足您的需求。您还可以通过自定义提示来调整模型的行为。接着，创建一个Modelfile# 设置创造性更高的温度参数# 设置系统消息SYSTEM """你是超级马里奥，以马里奥的身份回答问题。"""这样，您就能按照自己的需求定制模型了。ollama提供

当谈到人工智能领域时，我们不得不提到ChatGPT。许多人都在积极尝试利用它来提高工作效率或解决各种问题。然而，要使用ChatGPT，我们必须克服一些使用门槛。首先，我们需要“科学上网”才能访问它，其次，GPT4的价格相对较高。值得庆幸的是，国内也有一些优秀的大模型平台供我们使用。与ChatGPT相比，这些平台的价格更为经济实惠，而且不需要像“科学上网”这样的额外准备。更重要的是，它们支持的功能也

2023年中开始，各大LLM厂商开始关注到长上下文的问题。2023年5月，Claude把长度支持到100k tokens；6、7月的时候，ChatGPT3.5也已经支持16k，而ChatGLM2-B最大长度已经可以到32k。（插一句，ChatGLM系列做得一直很不错，从基础模型、长窗口、工具调用、Agent都一直保持在比较前沿的水平，个人最近用ChatGLM3、ChatGLM4体验还是很不错的）差

主动汇报：要有主动汇报的意识，周报是一个典型的手段，要认真写，让别的同事和上级了解你的工作，呈现你的工作成果，有时还要考虑主动当面找上级沟通进展，提出一些方案让上级决策，给上级一些存在感。在父母面前你要做一个好孩子，在老婆面前你要做一个好丈夫，在儿女面前你要做一个好父亲，在不同的角色上是有不同的素养要求的。这些知识的学习，没有尽头，怎么学习？这里我只是罗列了我个人即时能想到的比较关键的点，当然，还

例如支持向量机，我已经知道它的决策函数（分类面）是线性的了，也就是可以表示成Y=f(X)=WX+b的形式，那么我们通过训练样本来学习得到W和b的值就可以得到Y=f(X)了。例如你投硬币，你试了100次，得到正面的次数和你的试验次数的比可能是3/10，然后你直觉告诉你，可能不对，然后你再试了500次，哎，这次正面的次数和你的试验次数的比可能就变成4/10，这时候你半信半疑，不相信上帝还有一个手，所以

记录渗透测试开源工具。自动化渗透测试- 自动化渗透测试工具,使用手册/测试流程。vajra- 自动化渗透测试.Savior- 渗透测试报告自动生成工具！漏洞利用框架hackUtils- 它是一个用于渗透测试和网络安全研究的黑客工具包，渗透以及web攻击脚本。pocsscan攻击框架Pocsuite攻击框架Beebeeto攻击框架漏洞POC&EXP- ExploitDB官方git版本。php漏洞代码

2023年中开始，各大LLM厂商开始关注到长上下文的问题。2023年5月，Claude把长度支持到100k tokens；6、7月的时候，ChatGPT3.5也已经支持16k，而ChatGLM2-B最大长度已经可以到32k。（插一句，ChatGLM系列做得一直很不错，从基础模型、长窗口、工具调用、Agent都一直保持在比较前沿的水平，个人最近用ChatGLM3、ChatGLM4体验还是很不错的）差