最近从咸鱼上入手了一台英伟达开发版 Jetson Orin Nano Super 8GB，花了2000多RMB 就想测试一下这个板子部署大模型好不好用，我还有一台1080Ti 11G 的老卡，18年7500rmb买的，想测一下做对比实验，看看那个更快。下面是操作步骤和实验数据。

最近从咸鱼上入手了一台英伟达开发版 Jetson Orin Nano Super 8GB，花了2000多RMB 就想测试一下这个板子部署大模型好不好用，我还有一台1080Ti 11G 的老卡，18年7500rmb买的，想测一下做对比实验，看看那个更快。下面是操作步骤和实验数据。

核心区别在于查询方式:关系型数据库做精确匹配(WHEREJOIN),向量数据库做相似度搜索(ANN)。向量数据库解决高维空间中的相似度检索问题,这是传统数据库无法高效完成的。KNN(精确):遍历所有向量,O(n)ANN(近似):索引结构,亚线性时间不用精确搜索的原因:数据量大时延迟不可接受;向量本身是近似表示,100% 精确意义不大;95%+ 召回率通常已够用。按分组,每组只返回最相似的 top-

云端调用 GPT-4 / Claude 当然爽，但现实里很多场景必须端侧🔒隐私敏感：智能家居、医疗/工业数据不能出本地🌐断网可用：野外设备、车载、工业现场💰成本敏感：百万级设备调 API 比部署贵几个数量级⚡延迟可控：本地推理省去网络往返而 Function Calling（FC）是 LLM 落地应用层最关键的能力——没有 FC，LLM 就只是个聊天玩具。这次实验我做了一件事：用 1080

答评估器 LLM 应该 ≥ 生成器 LLM。生成用 gpt-3.5 → 评估用 gpt-4生成用 qwen-plus → 评估用 qwen-max生成用 7B 开源 → 评估用 GPT-4 或 70B原因：弱模型评强模型，无法识别细微差异，分数虚高且方差大。痛点解决方案改动是否引入回归？量化对比（RAGAS / DeepEval）不同模型哪个更好？多维度打分（4 大指标）线上 RAG 表现如何？实

云端调用 GPT-4 / Claude 当然爽，但现实里很多场景必须端侧🔒隐私敏感：智能家居、医疗/工业数据不能出本地🌐断网可用：野外设备、车载、工业现场💰成本敏感：百万级设备调 API 比部署贵几个数量级⚡延迟可控：本地推理省去网络往返而 Function Calling（FC）是 LLM 落地应用层最关键的能力——没有 FC，LLM 就只是个聊天玩具。这次实验我做了一件事：用 1080

云端调用 GPT-4 / Claude 当然爽，但现实里很多场景必须端侧🔒隐私敏感：智能家居、医疗/工业数据不能出本地🌐断网可用：野外设备、车载、工业现场💰成本敏感：百万级设备调 API 比部署贵几个数量级⚡延迟可控：本地推理省去网络往返而 Function Calling（FC）是 LLM 落地应用层最关键的能力——没有 FC，LLM 就只是个聊天玩具。这次实验我做了一件事：用 1080

"养龙虾"热潮不是单一因素造成的，而是合规环境、成本结构、生态适配、社区文化、政策支持五重因素叠加的结果。合规差异是最根本的结构性原因成本优势（电价+Token）是最直接的经济驱动因素——中国居民电价仅 $0.077/kWh，为美国的 43%、德国的 19%中文生态是降低门槛的关键因素随着 2026 年国内云厂商涨价、欧盟 AI 法案生效，这一格局可能会发生变化。值得持续观察。

人类第一次拥有了"读取"和"调节"AI 内部状态的能力。这就像给 AI 装上了"仪表盘"和"调节阀"——既能监控健康状态，又能优化行为表现。企业级 AI 安全监控服务智能客服情绪优化 SDKAI 开发者调试工具Anthropic 的研究打开了一个新世界。在这个世界里，AI 不再是冷冰冰的代码，而是一个有着"171 种情绪空间"的复杂系统。1.这 5 个创业方向，你最想尝试哪一个？2.如果现在就开始

引言过去2年，我一直积极专注于深度学习领域。我对深度学习的兴趣始于2015年初，那个时候Google刚刚开源Tensorflow。我根据Tensorflow的文档快速地尝试了几个例程，当时的感觉是深度学习并不简单。部分原因是因为深度学习的框架很新，也需要更好的硬件支持和耐心来摸索。 时间快进到2017年，我已经在深度学习的项目上花费了几百个小时。并且由于软件（易用性，例如Ker