前言昨天发了命令行版Devin 来了: Auto-Coder后有不少人私信我讨论。那么能让大家快捷的用起来是第一要务。所以从昨天晚上到今天，我光速给 Byzer-LLM/AutoCoder 发了两个新版本，来支持今天这篇文章。安装安装部分其实比较简单，安装如下 python 库：condacreate--nameautocoderpython==3.10.11conda activa...

My Best Friend Mr Wang(系统架构师) 告诉我，用 secureCRT.哈哈 大家用用，确实有很多方便之处。

前一段时间自己开发了一套基于Yarn的容器调度系统，这篇文章就是分享其中的一些经验。

Spark on k8s，可能都有听说，可是笔者从网上没有找到一个可以顺利运行的例子。笔者也是走了几个弯路才顺利跑通的。下面笔者将基于spark native方式部署，分别讲解如下三种模式...

今天正好和以前的一个老朋友通了个电话，他在创业，其实做的还可以，业务发展的也不错。但是做互联网服务，尤其是内容服务，不可避免的需要譬如推荐，搜索，精准推送等功能，而这几个功能，又比较依赖大数据和AI相关的体系。举个最简单的例子，获取用户访问行为，然后做个协同，然后推荐时需要把用户看过的内容过滤掉，就这个可能就需要Flume,Kafka,流式引擎等，更别提然后还要归档日志（或者进入数仓）了。我以前就

前言很多时候，比如用structure streaming消费kafka数据，默认可能是得到key,value字段，key是偏移量，value是一个byte数组。很可能value其实是一个Json字符串。这个时候我们该如何用SQL操作这个json里的东西呢？另外，如果我处理完的数据，我想写入到kafka,但是我想把整条记录作为json格式写入到Kafka...

之前有听过Zero-Copy 技术，而Kafka是典型的使用者。网上找了找，竟然没有找到合适的介绍文章。正好这段时间正在阅读Kafka的相关代码，于是有了这篇内容。这篇文章会简要介绍Zero-Copy技术在Kafka的使用情况，希望能给大家一定借鉴和学习样例。前言Kafka 我个人感觉是性能优化的典范。而且使用Scala开发，代码写的也很漂亮的。重点我觉得有四个NIOZero Copy磁盘顺

前言Function Calling 是 OpenAI 首先提出来的一个非常有用的功能，实现了大模型对函数的调用能力。Byzer-LLM 给开源模型也带来了 Function Calling 实现。在这个基础上，我们还拓展了 Respond With Class 功能，允许大模型输出标准的Python对象，进步控制了大模型的输出能力。这两个能力参看：给开源大模型带来Function Callin.

Byzer Storage是一个为 RAG 设计的高性能存储引擎,它提供了简单易用的Python API,支持向量搜索、全文检索以及结构化查询。本文将详细介绍Byzer Storage的使用方法和主要特性。Byzer Storage 也是 byzerllm 的一个子项目。0. 安装和启动pip install byzerllmbyzerllm storage startThat's it! By.

这里我们使用了 auto-coder.chat 来实现编码。我们假设你对 auto-coder.chat 有个基本了解。首先添加两篇文章，这样大模型就可以学习文档来学会如何使用 byzerllm:/add_files /Users/allwefantasy/projects/byzer-llm/docs/zh/003_byzerllm_大模型编程快速指南.md/add_files /User...