EmbeddingGemma是google发布的轻量级文本嵌入和生成模型，包括embeddinggemma文本嵌入模型和 gemma3n:e2b文本生成模型。EmbeddingGemma适合低延迟、高吞吐量场景，例如智能手机、物联网设备的实时文本处理。

目前广泛使用的关系数据库有mysql、oracle、postgresql、sqlite。构建基于SQL DB的知识库问答系统，需要模型生成SQL查询，具体为1）模型将用户输入转换为SQL查询。2）执行SQL查询，执行查询。3）模型使用查询结果响应用户输入。过程如下图所示，这里参考网络资料，基于sqlite和langchain，尝试示例基于LLM的关系数据库问答系统。

之前探索了基于chain将用户问题转化为sql查询并运行。这里尝试基于agent，采用更智能的方式决定是否将用户问题转化为sql、并进行sql查询。

然而，不管是langchain还是llamaindex提供的文本分割工具，很难直接对非结构化文本进行准确的语义分割，很多原来连续的内容都被分割在不同块中。deepseek完成本次解析后，将deepseek解析生成的结构化md作为already_parsed输入，将下次待解析非结构化的若干页文档作为waiting_parsed输入。这里尝试基于deepseek，将pdf解析后的非结构化文本转化为结构

deepseek-r1:8b 比较适合笔记本部署，大约5G左右，当然也可以根据电脑配置选择其他版本。ollama将deepseek-r1:8b拉到本地后，就可以开始交互测试了。相比llama.cpp，ollama因为集成各种工具，使用更简单。在mac m1基于llama.cpp运行deepseek。在ollama的官网下载mac m1版本的ollama。2运行deepseek r1。最终获得如下所

langchain是LLM时代广泛使用的agent和rag构建工具。这里尝试构建基于langchain的RAG系统。

/bin/llama-cli -m ../../DeepSeek-R1-Distill-Qwen-7B/model-q4_0.gguf -p "你好?转化后GGUF模型文件../DeepSeek-R1-Distill-Qwen-7B/DeepSeek-R1-Distill-Qwen-7B-F16.gguf。量化后的gguf int4文件../../DeepSeek-R1-Distill-Qwen-

实际应用中，ollama embedding模型有可能部署在远程服务器。这里探索通过ollama包和langchain包访问部署在远程服务器的embedding嵌入式模型。

docker应用如dify访问本地主机部署的ollama，base_url不管配"http://localhost:11434"，还是"http://host_ip:11434"都会报错。2）docker容器访问http://host_ip:11434，虽然是主机服务，但ollama默认不绑定0.0.0.0:11434，docker容器同样找不到部署在主机的ollama。linux系统ollama

google开源的LLM模型gemma3，提供了1B、4B、12B、27B多个版本，特别是27B版本，被认为除Deepseek R1外性能最好的开源模型。这里尝试运行ollama 27B，并解决ffmpeg命令生成问题。