LLM 是一个命令行工具和 Python 库，用于与各种大型语言模型（LLM）进行交互。OpenAI（GPT-4o、GPT-4o-mini 等）系列系列Meta Llama系列数十种其他模型（通过插件系统）本地运行的模型（通过 Ollama、llama.cpp 等）✅开源透明：完全开源，无黑盒操作✅本地优先：支持完全本地运行的模型✅终端原生：完美融入 Unix 工作流✅可扩展性：强大的插件系统✅数

概述本文讲说明spark中BlockManager的基本原理。BlockManager的基本概念BlockManager运行在spark的每个节点上(包括driver和executors)，它提供了一个保存和获取本地或远端数据块到内存、磁盘、或off-heap中的统一接口。BlockManage的实现分析数据块管理的总体架构spark数据块管理的总体架构如下图所示：从该架构图可见，...

概述大数据发展到今天，对数据质量的要求越来越高，如何保证数据的质量，如何对数据的一致性进行检测？本文介绍开源的数据治理组件griffin的功能和组成。griffin是国人(ebay工程师)编写的一款数据治理开源软件。Griffin介绍Apache Griffin（以下简称Griffin）是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度（比如离线任...

概述本文讲解如何在以太坊(Ethereum)编写和部署智能合约。注意：在进行本文的操作前，先按我的前两篇文章搭建好以太坊(go-ethereum)私有链，和添加两个账号并进行转账。安装solidity编译器$ brew tap ethereum/ethereum$ brew install solidity$ solc --versionsolc, the solid...

databricks公司推出delta lake后，又推出了Data Lakehouse。该产品结合了数据仓库和数据湖的优势。本文介绍了数据仓库，数据库，数据湖仓的特点和使用场景，避免在使用时产生混淆。

概述有时我们希望某个聚合操作，比如：sum，avg等，能够作用到多个列上，也就是一次计算一个或多个列的聚合值。这样可以简化我们的代码。本文讲述如何在实战中把聚合操作使用到多个列上。实战19.如何把聚合函数使用到多个列上？python的写法>>> df = spark.createDataFrame([(1.0, 0.3, 1.0), (1.0, 0.5, 0.0), (-1.0,

使用该配置，再回到cody界面进行配置时，就会发现多了ollama的选项。此时就可以通过ollama来使用本地大模型了。

总的来说Vanna是根据RAG构建了自己的后台架构。通过和向量库的知识库检索相关上下文知识，可以让生成的SQL语句更加准确。Vanna提供了正确知识的反馈机制，这可以说是一种自我学习的过程，这样可以让后续的回答更加准确。另外，在整个过程中加入了人工审核的过程，这在大模型的精准度没有达到一定程度之前，是非常有必要的。Vanna还提供多种使用方式（有前端，或没有前端），这样可以让用户使用起来更加灵活。

使用cursor等软件总是遇到调用次数限制的问题，用一阵就不能再使用了。于是，就希望能够通过Ollama来使用本地部署的代码大模型。然后就找到了twinny这个vscode的插件。twinny插件配置简单，使用方式简介，一安装就知道如何使用了，很是方便。

拆分的数据有时在进行数据时我们需要把一列数据分割成多列数据，把一个字段值，分割成多个值。本节介绍如何通过spark sql提供的函数来进行数据的分割。1. 数据拆分概述数据拆分操作在进行数据处理时，通常我们需要对数据进行拆分。比如：把一列拆分成多行，多列，把一行拆分成多行，多列等。在spark-sql中提供了多个函数用来进行数据拆分。数据拆分的函数splitexplodepostexplodesu