灯塔资产扫描 ARL

介绍

斗象 TCC 团队正式发布「ARL 资产安全灯塔」开源版，该项目现已上线开源社区 GitHub。ARL 旨在快速侦察与目标关联的互联网资产，构建基础资产信息库。协助甲方安全团队或者渗透测试人员有效侦察和检索资产，发现存在的薄弱点和攻击面。

ARL 采用 Python3.6 开发，Web API 接口通过 flask 构建，数据存储在 mongo 中，任务调度采用 celery 进行分发（目前暂不支持 windows 平台，Linux 和 MAC 建议采用 Docker 运行）

原理

安装

docker 环境安装

这里选择安装 docker-ce 版本
根据不同的平台请参考官方教程

https://docs.docker.com/engine/install/

另外安装 docker 过程可能受国内网络环境影响会有点慢
可以选择添加清华的源来进行加速下载，具体修改源的方法请查看下面的 URL

https://mirrors.tuna.tsinghua.edu.cn/help/docker-ce/

##修改 docke hub 镜像源

这里建议跳过，国内镜像加速源里不是最新版本的。（2021/04/06）

往 /etc/docker/daemon.json 文件写入下面的内容，配置 docker 镜像源

{
        "registry-mirrors":[
            "http://hub-mirror.c.163.com/",
            "https://docker.mirrors.ustc.edu.cn"
        ]
}

重启docker守护进程让修改生效。

systemctl restart docker

docker compose 安装

先安装pip, 新版本在 python2 下运行有点问题, 优先选择 python3 进行安装

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python3 get-pip.py
pip3 install  -i https://pypi.tuna.tsinghua.edu.cn/simple docker-compose

安装 ARL

可以选择在releases下载最新的docker.zip启动，docker 环境的话只是需要 docker-compose.yml 文件和一些其他配置文件。

mkdir docker_arl
wget -O docker_arl/docker2.3.zip https://github.com/TophantTechnology/ARL/releases/download/v2.3/docker.zip
cd docker_arl
unzip docker2.3.zip
docker-compose up -d

这里 git clone 只是为了获取docker-compose.yml文件，鉴于国内网速请选择上面的方法执行。

git clone https://github.com/TophantTechnology/ARL
cd ARL/docker
docker-compose up -d

配置

使用

URL：http://127.0.0.1:5003
密码： admin/arlpass

总结

常见故障

FAQ

F：密码忘记了怎么办？
Q：可以执行下面的命令，然后使用 admin/admin123 就可以登录了。

docker exec -ti arl_mongodb mongo -u admin -p admin
use arl
db.user.drop()
db.user.insert({ username: 'admin',  password: hex_md5('arlsalt!@#'+'admin123') })

F: 如何修改任务并行数量？
Q: 修改下面文件 32 行中的 -c 参数即可，默认为 2, 重启容器生效。
https://github.com/TophantTechnology/ARL/blob/master/docker/docker-compose.yml#L32

F: 运行出现异常？
Q: 可以执行下面的三条命令并尝试触发错误观察输出有什么异常。

docker-compose ps
docker-compose logs -f  --tail=10
tail -f *.log

F: 容器一直重启，查看日志提示权限错误
Q: 排查下宿主机是否开启了selinux , 将selinux功能关闭即可。

F: Docker 环境的 ARL 如何更新？
Q:git pull 是为了更新 docker-compose.yml， docker-compose pull 是为了更新镜像

git pull
docker-compose pull
docker-compose up -d

F: 任务结果为什么只有域名和 IP 结果？
Q: 可能任务下发时开启了全端口扫描，对于金融、银行存在防护设备的情况大量端口扫描、服务报文探测会出现异常。 可以选择 Top 10 端口扫描，或者关闭端口扫描，将只会探测 80,443 端口。

参考引用