图片




概 述






印度恒河平原地区(IGP),数百万人因呼吸着全球污染最严重的空气而面临寿命缩短的威胁。数十年来,由于缺乏关于污染源的精确数据,解决这场危机一直受到阻碍,当地居民只能被动承受污染带来的危害。


由牛津大学史密斯企业与环境学院创新奖资助的空气污染资产级检测(APAD)研究项目正在改变这一现实。


120万

处理120万

卫星图像


1/72

机器学习运行时间

缩短至原来的1/72

1.76万

节省约17600个

计算小时

80%

基础设施成本

降低高达80%

90%

监测时间和任务运行

时间减少90%




APAD构建了定制的机器学习模型来分析卫星图像并识别污染源,同时使用亚马逊云科技基础设施来存储和处理这一庞大的数据集。通过创建全面的污染源地图,该组织为社区提供了进行有针对性干预所需的证据。




图片
























机会| 利用亚马逊云科技

基础设施支持APAD的机器学习研究




APAD识别排放源,并分析有害但常被忽视的污染物的影响。该组织主要在人口超过4亿的印度恒河平原开展工作。


在印度恒河平原,数百万人因空气污染面临心血管和呼吸系统健康问题。当雾霾严重时,南亚地区部分国家的学校经常停课,迫使孩子们待在室内,错失受教育的机会。由于缺乏全面的污染源数据,这些问题一直未得到充分研究。


砖窑是造成空气质量不佳的主要因素之一。2024年5月,APAD着手利用卫星图像和机器学习创建所有污染源的可视化地图,以帮助社区做出数据驱动的决策。


APAD曾在本地计算机上运行机器学习工作负载,但这些机器无法支持该项目的规模,因为项目涉及数百万个数据点。APAD需要一个既经济实惠又能随其宏伟目标扩展的解决方案。该组织采用了Amazon EC2,这项组织为几乎任何工作负载提供安全且可调整大小的计算能力。该组织还使用了Amazon S3,这是一种对象存储服务,可从任何地方检索几乎任何数量的数据,用于存储超过500GB的图像和结果数据。




“我们的目标是提高效率,并输出数据,以便印度恒河平原地区的政府和组织能够使用切实可用的信息,我们从社会目标出发,而亚马逊云科技是实现这一目标的手段。”


——Suleman Hamdani

APAD机器学习和深度学习(DL)专家
































解决方案 | 利用机器学习和深度学习模型

处理120万张卫星图像




在5个月的时间里,APAD创建了一个流程,有助于将卫星数据转化为可采取行动的环境洞察。具体运作方式如下:首先,APAD将大量低分辨率卫星图像数据下载到Amazon S3存储桶中,然后对数据进行标注和预处理。之后,将这些数据输入运行在Amazon EC2 C5实例和搭载NVIDIA T4 Tensor Core GPU的Amazon EC2 G4实例上的机器学习和深度学习模型。这些模型经过训练,够识别诸如野外焚烧等污染源的视觉特征。当模型检测到潜在的污染源时,会使用并行处理自动绘制坐标。为了提高准确性,APAD还开发了第二个流程,使用深度学习来分析高分辨率图像。





图片






为了提高计算效率并减轻服务器的负载,APAD使用了Amazon Q用于加速软件开发。通过使用亚马逊云科技而不是其自身的基础设施,APAD将机器学习运行时间、图像检索时间和高分辨率图像的下载时间分别缩短了72倍、100倍和5倍,节省了数月的工作量。


并行处理还将模型推理时间加快了50倍。“由于计算资源有限,我们必须对这些图像采用多进程处理,如果没有亚马逊云科技,处理如此海量的数据将会耗费更多时间。”Suleman Hamdani说。借助亚马逊云科技服务,APAD节省了约17600计算小时,并将基础设施成本降低了高达80%。同时将监测时间和任务运行时间从每天数小时缩短到几分钟,减少了90%


借助亚马逊云科技,APAD获得了处理和存储120万张卫星图像所需的能力。这些图像帮助该组织绘制了印度恒河平原150万平方英里的地图,并识别出超过50000个污染源,其中包括两种类型的砖窑。借助亚马逊云科技,APAD还将处理吞吐量提高了400%以上,从每天约5000平方英里提高到30000平方英里


为了帮助其他组织在其工作的基础上开展研究,APAD于2024年11月借助亚马逊云科技上的开放数据注册表将其所有数据和技术流程开源。“我们的目标是让我们的数据更易于获取,并帮助研究人员为其增值,”APAD地理信息系统专家Khizer Zakir说。南亚地区部分国家的多个组织正在将APAD的工作成果用于旨在改善空气质量的地方倡议和项目中。APAD的成果还引起了印度恒河平原以外的组织关注,希望将其应用于空气质量研究之外的用途。


APAD在伊斯兰堡的一所大学举办了研讨会,教学生如何将APAD的代码和数据用于他们的硕士项目。“我们影响力策略的重要部分不仅仅是生成数据和进行研究,我们希望为当地社区和研究人员赋能。”APAD创始人Hassan Sheikh说。
























业务成果 | 推动全球空气质量研究




借助亚马逊云科技,APAD为资源有限的小型组织如何应对环境挑战创建了一个蓝图。在可靠的基础设施上,强大的机器学习解决方案不需要大量的硬件投资或多年的开发时间。该组织已经收集并处理了约100万张有关污染类型和污染源的中高分辨率图像。目前,它专注于帮助研究人员和政策制定者使用这些数据做出明智的决策。例如,这些数据可用于估计某些地区车辆排放的污染物,从而为车辆和交通法规的制定提供依据。


展望未来,APAD计划将其工作扩展到非洲,首先从乌干达、尼日利亚、加纳、马拉维和刚果民主共和国开始。其将分析这些地区目标污染物的主要来源,特别关注煤炭和水泥厂、砖窑、纸浆和造纸行业以及正式和非正式的垃圾处理场。


“我们很高兴能与越来越多热衷于环保的人士建立联系。我们希望最大化这个开源数据集的影响力。”APAD的传播专家Jaisha Mubashir






















关于空气污染资产级检测项目




空气污染资产级检测是一个源自牛津大学的研究项目,致力于识别空气污染排放源。该项目收集和处理重要数据,并将其作为开源数据集供公众使用。


我们正处在Agentic AI爆发前夜。企业要从"成本优化"转向"创新驱动",通过完善的数据战略和AI云服务,把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在AI时代突破。


Logo

分享最新、最前沿的AI大模型技术,吸纳国内前几批AI大模型开发者

更多推荐