之前的k8s环境中主要使用了flannel作为网络插件，这次改用calico。calico支持多种安装方式，以下是具体的操作步骤。

使用LM Studio快速体验大模型工具，免除Python环境及众多依赖组件的安装。可以切换不同类型的大语言模型，同时支持在windows、linux、mac等PC端部署。除了UI界面的chat对话使用之外，也可以在本地启动服务器，使用接口进行调试。本地路径查询如下，LM Studio-Mymodel-show in File Explorer。直接使用lmstudio下载模型会失败，本文采用离线

创建一个实验文件},],混沌测试是一种有效的方法，通过故意引入故障来测试系统的弹性和鲁棒性。在实践中，通过定义清晰的稳定性指标、设定合理的假设、使用合适的工具和逐步引入故障，可以有效地提高系统的稳定性和可靠性。

dnsperf和resperf是由Nominum/Akamai（2006-2018年）和DNS-OARC（自2019年起）开发的免费工具，这些工具可以简化获取域名服务（DNS）精确延迟和吞吐量指标的过程。这些工具易于使用，能够模拟典型的互联网场景，因此网络运营商可以基准测试他们的命名和寻址基础设施，并为升级做好规划。最新版本的dnsperf和resperf支持包含IPv6查询的测试文件。dnspe

在进行测试时，首先以链路理论带宽作为数据发送速率进行测试，例如，从客户端到服务器之间的链路的理论带宽为100Mbps，先用-b 100M进行测试，然后根据测试结果（包括实际带宽，时延抖动和丢包率），再以实际带宽作为数据发送速率进行测试，会发现时延抖动和丢包率比第一次好很多，重复测试几次，就能得出稳定的实际带宽。网络PPS（每秒传输数据包数）、网络带宽和网络时延是衡量云服务器网络性能的重要指标，测试

为了保证测试可以持续一段时间，测试过程中内存带宽可以达到一定的最大值， 从而避免得不到实际最大峰值的情况，如果四项测试中有完成时间小于20微秒的情况，就需要适当的增大测试数组的维度 STREAM ARRAY_SIZE。DSTREAM_ARRAY_SIZE过大的情况下编译，stream运行需要的内存过大，导致产生段错误(Segmentation fault)，出现该情况下可以增大内存或者减小DSTR

查看要为提供程序设置的环境变量以及应为 model 和 extraalal-sampling-params 设置的参数。负载测试和正确性测试的结果保存在参数指定的结果目录中（--results-dir）。结果保存在 2 个文件中，一个包含测试的摘要指标，另一个包含返回的每个单独请求的指标。负载测试会生成对 LLM API 的大量并发请求，并测量每个请求和跨并发请求的令牌间延迟和生成吞吐量。我们实施

输出令牌吞吐量（令牌/秒）：输出令牌吞吐量以每秒返回的平均输出令牌数来衡量。输出令牌吞吐量越高，表示 LLM 推理提供程序的吞吐量越高。输出令牌吞吐量，表示每秒返回的平均输出令牌数。第一个令牌的时间 （TTFT），表示 LLM 返回第一个令牌的持续时间。第一个令牌的时间（秒）：对于流式处理应用程序，TTFT 是 LLM 返回第一个令牌之前的时间。测试案例，以本地部署的大模型为例，测试baichua

从chat对话中可以看出基于上传的文档，可以回答简单的问题；对于中文文档推理的效果较差。安装后搜索AnythingLLM或在桌面快捷方式打开程序，兼容多种LLM模型。执行上述命令会在本地的114343端口启动服务，可以供外部调用。基于Ollama+AnythingLLM快速搭建本地RAG系统。embedding模型： nomic-embed-text。下载windows安装包，双击下一步安装即可。

模型下载有两种方式，一种是直接运行大模型demo程序，模型会自动下载，该种方式默认会从huggingface进行下载，国内网络无法直接下载或者速度较慢；demo程序有多个可以进行测试，一种是官方readme文件中给出的实例程序，直接运行，prompt直接写在程序中，打印大模型的回复内容，这种方式没有交互方式；除了可以进行交互外，另外就是运行demo程序后，模型文件会一直加载到GPU中，不用每次推理