登录社区云，与社区用户共同成长
邀请您加入社区
先说一下自己的情况，普通本科，在外包干了3年多的功能测试，这几年因为大环境不好，我整个人心惊胆战的，怕自己卷铺盖走人了，我感觉自己不能够在这样蹉跎下去了，长时间呆在一个舒适的环境真的会让一个人丧失上进心！而我已经干了3年的点点点，都快让自己变成废物了，准备结婚的对象也因为我的不思进取和挣钱能力和我分手了。
先说一下自己的情况，普通本科，在外包干了半年多的功能测试，这几年因为大环境不好，我整个人心惊胆战的，怕自己卷铺盖走人了，我感觉自己不能够在这样蹉跎下去了，长时间呆在一个舒适的环境真的会让一个人丧失上进心！而我已经干了半年的点点点，都快让自己变成废物了，准备结婚的对象也因为我的不思进取和挣钱能力和我分手了。
整份文档一共有将近 200 页，全部为大家展示出来肯定是不太现实的，为了不影响大家的阅读体验就只展示了部分内容，还望大家海涵，希望能帮助到您面试前的复习且找到一个好的工作，也节省大家在网上搜索资料的时间来学习！
在构建大模型应用时，通常有两种方式来改进效果，一种是构建外部知识库，利用RAG来完成。但RAG并不是万能的，对于特定领域的LLM应用，以及无需示例，就能完成特定任务等场合就需要进行微调。然而，微调本身相较于RAG来讲，需要更多的算力资源和时间周期，但更大的瓶颈在于微调需要标记过的样本数据。这对于很多企业来讲，很难有这样高质量的数据积累，他们的数据通常是未经标记的，可能是一篇一篇的文章或者规章制度，
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统N
PEFT (Parameter-Efficient Fine-Tuning) 参数高效微调是一种针对大模型微调的技术，旨在减少微调过程中需要调整的参数量，同时保持或提高模型的性能。以和为主的PEFT方法总结如下。
本教程主要介绍对于 ChatGLM-6B 模型基于的微调。P-Tuning v2 将需要微调的参数量减少到原来的 0.1%，再通过模型量化、Gradient Checkpoint 等方法，最低只需要 7GB 显存即可运行。本节 以数据集为例介绍代码的使用方法。硬件需求。
全参数微调意味着在预训练模型的基础上，调整所有参数以适应特定的任务或数据集。所需显存量取决于多个因素，包括模型的大小、批量大小、优化算法以及使用的硬件等。这是一个非常大的数字，实际上，我们还需要考虑其他因素，如优化器状态、激活和中间层存储等，这将使实际需求的显存更大。此外，现代GPU通常没有这么多显存，因此可能需要采用减小批量大小、使用模型并行化、分布式训练或混合精度训练等策略来适应硬件限制。
微调后的模型出现能力劣化或灾难性遗忘（Catastrophic Forgetting）是指模型在经过特定任务的微调后，丧失了其在预训练阶段学到的知识和能力。通过这些策略，可以减少微调过程中的灾难性遗忘，提高模型在特定任务上的性能。
多轮对话任务的微调需要特别关注对话的上下文理解、连贯性以及个性化回应的能力。通过这些步骤，可以有效地对模型进行微调，以适应多轮对话任务的需求，提高对话的自然性、相关性和用户满意度。
Prompt Tuning是现在大模型微调方法中的一种常用方法，本文通过解读5篇论文来了解Prompt Tuning方法演进的过程。分别是Prefix-Tuning、P-Tuning v1、Parameter-Efficient Prompt Tuning、P-Tuning v2。
在查看 https://arxiv.org/abs/2407.10671中讨论的预训练和后训练方法之前，我们先简要总结一些核心规格。Qwen 2 模型有5种类型。有4个常规（密集）LLM，参数量分别为5亿、15亿、70亿和720亿。此外，还有一个57亿参数的专家混合模型，其中有14亿参数同时被激活。（由于架构细节不是这次的重点，我不会深入讨论专家混合模型；简而言之，这类似于Mistral AI的M
在人工智能领域，SFT（Supervised Fine-Tuning）是一种常见的技术，用于在特定任务上微调预训练模型。这个过程通常需要构建一个高质量的指令微调数据集。
在大型模型的领域模型继续预训练（Continue PreTrain）过程中，让模型学习到更多的知识是一个系统化的过程，涉及到数据的选择、训练策略的优化以及模型架构的调整。
经常有一些读者问我：“二哥，学习 Java 应该关注哪些网站？”，我之前的态度一直是上知乎、上搜索引擎搜一下不就知道了。但读者对我这个态度很不满意，他们说，“我在问你，又不是问知乎，问搜索引擎。”你还别说，读者说得有道理。于是我想，那就推荐一些吧。先说我心目中的前三名，但不局限于 Java 学习者。1）Google啥都不说了，说多了都是泪，可气的是 Robin 李的搜索引擎实在是不争气。说句良心话
前言关注过的朋友都知道我更新很多面试经历 这些经历都是粉丝的投稿今天整理了一篇Java 程序员面试大厂的技术标准BATJava 程序员的技术标准阿里巴巴篇扎实的计算机专业基础，包括算法和数据结构，操作系统，计算机网络，计算机体系结构，数据库等具有扎实的Java编程基础，理解IO、多线程等基础框架熟练使用Linux系统的常用命令及shell有一定了解精通多线程编程...
已通过一面，准备二面补充一下一面1.python的元组和列表的区别2.悲观锁与乐观锁https://www.cnblogs.com/kismetv/p/10787228.html3.乐观锁的实现https://blog.csdn.net/sinat_36301420/article/details/1049776464.问会不会计算机网络，linux。5.手撕topk讲一下文章，主要负责了什么，讲
如果大家没意见的话,我们继续usb_stor_acquire_resources函数.761至764行,这没啥好说的吧.就是刚才urb申请了之后判断是否申请成功了,如果指针为NULL那么就是失败了.直接返回-ENOMEM.别往下了.767行,哦,又一个家伙闪亮登场了,dev_semaphore,这是一个信号量,在storage_probe的最初始阶段我们曾经见过,当时有这么一句话,这就是调
1.面向对象和面向过程的区别面向过程优点：性能比面向对象高，因为类调用时需要实例化，开销比较大，比较消耗资源;比如单片机、嵌入式开发、Linux/Unix等一般采用面向过程开发，性能是最重要的因素。面向对象优点：易维护、易复用、易扩展，由于面向对象有封装、继承、多态性的特性，可以设计出低耦合的系统，使系统更加灵活、更加易于维护缺点：性能比面向过程低2.Ja...
上次面试linux软件开发工程师，以为自己比较了解TCPIP，没想到被问到TCP协议中TIME_WAIT状态的时候，却不能回答，下面总结一下整个过程： 其实面试官问得还是挺细的，TCP三次握手，相信很多人都懂，但是TCP如何关闭链接的，不知道是否有人关注过，传说中的四次握手？算是吧，不过上面问的是在关闭过程中客户端的套接字状态，其实就是客户端在关闭TCP连接中的状态变化,以下是套
首先明确操作系统的几大模块：1. 系统初始化2. 进程管理3. 文件系统4. 存储系统管理5. I/O管理那么windows内核和linux内核在这几个模块上有哪些相同之处呢？又有哪些不同之处呢？首先，作为os，他们的理念都是相似的。1. 一切皆文件。 可能读写文件很好实现把，linux不管修改个什么东东其实都是在修改文件2. 进程是执行的实体。
众所周知，简历上“了解＝听过名字；熟悉＝知道是啥；熟练＝用过；精通＝做过东西；前两天一个关系比较密切的粉丝问我，为什么自己身为中山大学计算机专业硕士，投出简历却如石沉大海，没有人邀他面试？我让他把简历发来看看。他发来简历后让我大跌眼镜，好家伙，10个技术，8个“精通”？？？大家看看他的简历是怎么写的：熟练掌握计算机网络、数据结构、算法、操作系统等课内基础知识；熟悉Linux系统；精通Java 基础
面试中问到的linux命令
又到了一年一度的金九银十，互联网行业竞争是一年比一年严峻，作为软件测试工程师的我们唯有不停的学习，不断提升自己才能保证自己的核心竞争力从而拿到更好的薪水，进入心仪的企业（阿里，字节跳动，腾讯，美团）话不多说，上干货!!!测试理论Linux 基础:MySQL 基础:Web 测试:接口 测试:App 测试：管理工具：总结：整个文档
Java面试题-进阶篇1. 基础篇2. JVM篇3. 多线程&并发篇4. Spring篇5. SpringBoot篇6. SpringCloud篇7. Mybatis篇8. Mysql篇9. Redis篇10. RabbitMQ篇11. ElasticSearch基础篇12. Linux篇
面试
——面试
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
武汉城市开发者社区
智源数据社区
ZA技术社区
GitCode 开源社区
