如何设置HealthGPT Fog节点:在本地网络中部署私有健康AI服务

【免费下载链接】HealthGPT Query your Apple Health data with natural language 💬 🩺 【免费下载链接】HealthGPT 项目地址: https://gitcode.com/gh_mirrors/he/HealthGPT

HealthGPT是一款能够让用户用自然语言查询Apple Health数据的创新工具,通过部署Fog节点,您可以在本地网络中搭建一个安全、高效的私有健康AI服务,实现健康数据的本地化处理与分析。

为什么选择HealthGPT Fog节点?

在当今数字化时代,健康数据的隐私安全至关重要。HealthGPT Fog节点提供了一种理想的解决方案,它将AI处理能力部署在本地网络中,避免了健康数据上传至云端可能带来的隐私泄露风险。同时,本地部署还能带来更快的响应速度,让您即时获取健康数据分析结果。

HealthGPT自然语言查询健康数据示例

部署Fog节点前的准备工作

在开始部署Fog节点之前,请确保您的系统满足以下要求:

  • 安装有Docker和Docker Compose的Linux或macOS系统
  • 运行HealthGPT应用的设备与Fog节点主机连接在同一网络和子网,确保IP层面的可达性
  • 网络允许mDNS广告和发现功能,这是HealthGPT与Fog节点之间解析.local主机名所必需的

快速部署HealthGPT Fog节点的步骤

第一步:获取项目代码

首先,克隆HealthGPT项目仓库到您的本地机器:

git clone https://gitcode.com/gh_mirrors/he/HealthGPT

第二步:启动Fog节点服务栈

进入项目中的FogNode目录,并启动服务栈:

cd HealthGPT/FogNode
docker compose up -d

如果您希望在前台查看日志,可以省略-d参数,并为后续步骤打开一个新的终端。

这个服务栈包含三个主要组件:

  • Traefik反向代理(端口80):将带有Host头spezillmfog.local的请求路由到LLM后端
  • Ollama LLM推理服务:负责AI模型的运行,模型数据会持久化存储在ollama_storage Docker卷中
  • Avahi(仅Linux):通过mDNS在本地网络上广播Fog服务

第三步:下载AI模型

在Ollama容器中下载所需的AI模型,例如llama3.1:8b

docker compose exec ollama ollama pull llama3.1:8b

等待下载完成后,您可以使用以下命令检查已安装的模型:

docker compose exec ollama ollama list

第四步:在macOS上设置服务广告(Bonjour)

在Linux系统上,Avahi容器会自动通过mDNS广播服务。而在macOS上,需要通过Bonjour手动进行服务广告。在一个单独的终端中运行以下命令:

dns-sd -R "SpeziLLMFog Service" _http._tcp spezillmfog.local 80

使用Fog节点期间请保持此命令运行,完成后可通过Ctrl+C停止。

将HealthGPT应用连接到Fog节点

完成Fog节点部署后,按照以下步骤将HealthGPT应用连接到Fog节点:

  1. 在物理设备上构建并运行HealthGPT应用(不支持iOS模拟器)
  2. 在应用的设置过程中选择Fog选项,或在应用设置中进行更改。使用本仓库中的默认设置,应用将通过HTTP连接自动发现spezillmfog.local fog节点,无需额外配置
  3. 确保Fog节点在本地网络上可达,并且HealthGPT应用中选择的模型(例如llama3.1:8b)已在fog节点上下载完成

管理和维护您的Fog节点

停止Fog节点服务

如果以分离模式启动服务,可以使用以下命令停止:

docker compose down

如果在前台运行服务,直接使用Ctrl+C即可停止。

清理存储空间

模型数据会持久化存储在ollama_storage卷中。如果需要回收空间,可以在停止服务后删除该卷:

docker volume ls | grep ollama_storage
docker volume rm <your_volume_name>

常见问题解决

端口80被占用

如果遇到端口80被占用的问题,可以在docker-compose.yml中调整Traefik的端口映射,或者停止占用该端口的服务。

无法发现或解析spezillmfog.local fog节点

出现这种情况时,请确认您的网络支持mDNS广告和发现功能。某些企业或访客Wi-Fi网络可能会阻止此功能。同时,确保两台设备在同一子网中,并且可以直接相互访问。

查看服务日志

如果遇到问题,可以使用以下命令查看Traefik和Ollama的日志:

docker compose logs -f traefik
docker compose logs -f ollama

从基础到进阶:打造生产级Fog节点

本指南提供的是基础的Fog节点设置,适用于开发和个人使用。如果您需要更安全、更健壮的生产级部署,包括TLS终止、授权机制、证书管理和基于令牌的身份验证等功能,请参考SpeziLLM Fog Node的官方指南:

通过部署HealthGPT Fog节点,您不仅可以享受AI驱动的健康数据分析服务,还能确保您的敏感健康数据始终保持在本地网络中,实现隐私与便利的完美平衡。现在就开始搭建您的私有健康AI服务,开启智能健康管理的新体验吧!

【免费下载链接】HealthGPT Query your Apple Health data with natural language 💬 🩺 【免费下载链接】HealthGPT 项目地址: https://gitcode.com/gh_mirrors/he/HealthGPT

更多推荐