概述

从Android转AI，追赶一下风口，作为40+的老码农，也是一次自我挑战与升级。

1. 工程向：模型端部署&优化，先Android平台，后跨端(IOS/鸿蒙/大前端，RN/KMP/Flutter/C++)

2. 技术向：AI算法基础，大模型开发，Agent开发

3. 行业落地：了解更多的行业落地AI的方案，思考个人机会

接下来以最近实现的端部署Demo为例来介绍一下大模型部署到Android设备的基本步骤。

开发环境

• Android IDE：Android Studio Panda 1 | 2025.3.1 Patch 1，因为是全新的个人项目，我就安装了最新的Android Studio；安装相应的NDK、CMake。
• AI IDE：Cursor 2.6.12，因为在公司办公环境下一直用cursor开发，效果还不错，所以就继续沿用；后续会用TRAE再实践一次。

开发步骤

本Demo到目前为止全部借助于AI实现，从基础知识、实践案例，到代码开发、调试。实在是难以隐藏对AI的敬畏，其能力之强大、发展之迅速，不可不为之叹服！

在Deepseek学习了基本的AI端侧部署及优化的关键信息，并让deepseek提供了一个人机对话的实践案例，之后关键步骤参照deepseek的建议，具体实现都由cursor完成。

1. 下载端侧大模型文件：根据deepseek和豆包的综合建议，从千问的Q4_K_M模型选择了一个体积最小的qwen2.5-0.5b-instruct-q4_k_m.gguf(https://cdn-lfs-cn-1.modelscope.cn/prod/lfs-objects/74/a4/da8c9fdbcd15bd1f6d01d621410d31c6fc00986f5eb687824e7b93d7a9db?filename=qwen2.5-0.5b-instruct-q4_k_m.gguf&namespace=qwen&repository=Qwen2.5-0.5B-Instruct-GGUF&revision=master&tag=model&auth_key=1773061521-0ecd949a4c1642278a373d4abd075230-0-e62d4668602d1ebbf17d617c2b1938c8)
2. 在Android Studio新建一个空项目aiChat
3. 在Cursor中加入aiChat文件夹
4. Cursor：将llama.cpp作为子项目引入aiChat
5. Cursor：为llama.cpp配置CMakeList.txt
6. Cursor：在 app 模块的 build.gradle.kts 中，配置CMake和ABI过滤
7. Cursor：把 JNI 方法签名和一个最小可跑的推理调用搭好
8. Cursor：继续实现上层代码，完善人机对话功能
9. Cursor：增加联网查询实时天气的功能
10. Cursor：实现多会话和多轮对话功能

目前基本功能正常，思考时间过长还需要进一步确认原因并优化。