10 月 26 日 - 第 41 期付款

第 41 集 - 当我们本周临近万圣节时,这一集没有什么可怕或可怕的,只有数量惊人的新开源项目、博客文章、案例研究和事件可以添加到您的日记中。上周主要是 Open Distro for Telemetry 预览公告(马上阅读所有相关内容),但也有一些很棒的东西,例如 Couch 团队的容器对 HashiCorp 的 Waypoint 进行拆箱,Java 人员的一些东西和另一个 Graviton2 帖子.

事不宜迟,回到上周的主要话题......

Open Distro for Telemetry

“可观察性是对运动系统的研究”和“调试是关于静止系统的研究”慈善专业

公共预览版 – 适用于 OpenTelemetry 的 AWS DistroJeff Barr 介绍适用于 OpenTelemetry 的 AWS Distro 预览版。我们是云原生计算基金会 (CNCF) 的 OpenTelemetry 社区的一部分,致力于为分布式跟踪和指标的收集定义一个开放标准。 AWS Distro for OpenTelemetry 是 OpenTelemetry 规范中定义的 API、库、代理和收集器的安全且受支持的分发。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--VRi9VVeD--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://media.amazonwebservices.com /blog/2020/obs_map_4.png)

Jeff 总结说这是一个开源项目,欢迎您提出请求!我们将跟踪上游存储库,并计划每季度发布一个新版本的工具包。

在 Jeff 的帖子之后,Alolita Sharma 和 Nizar Tyrewalla 跟进了AWS Distro for OpenTelemetry,现在可用于公共预览版,其中提供了更多详细信息、核心组件以及如何开始。

我们还关注了 AWS 合作伙伴的帖子,他们正在集成为 Open Distro for Telemetry 的后端提供商。合作伙伴如:

• GrafanaAWS Distro for OpenTelemetry、Grafana、Prometheus、Loki、OpenMetrics 等:开放标准如何继续塑造现代可观察性

• New RelicNew Relic、AWS 和 OpenTelemetry:云可观测性,简化

• SplunkSplunk 和 AWS:合作加速生产就绪的 OpenTelemetry

• AppDynamics什么是 OpenTelemetry,您为什么要关心?

• Datadog 适用于 OpenTelemetry 的WS Distro 将向 Datadog 发送指标和跟踪信息

庆祝开源贡献者

本系列中发布的文章只有在贡献者和项目维护者的帮助下才有可能发布,因此我想大声疾呼并感谢那些真正为开源提供支持并使我们所有人都能够在他们所创造的基础上进行构建的人。

感谢 Brian Demers、Steve Roberts、Ahmed Bham、Marcelo Boeira、Annie Ku、Andrea Cavagna、Yann Hamon、Brian McCann、Jimmy Dahlqvist、Takuji Kawata、Tatsuya Arai、Alolita Sharma、Nizar Tyrewalla、Walkley He、Jiaxin Shan、Henner Dierks、Anthony Antonuccio、Rob Hilton、Kevin Tuil、Kyle Galbraith、Reza Ramezanpour、Yegor Shytikov、Ken Winner、Lars Jacobsson、Justin Garrison、Lezgin Bakircioglu、Michael Redlich 和 Dhruvesh Patel。

确保您找到并关注这些建设者,并及时了解他们的开源项目和贡献。

最新来自开源项目

aws-oidc

aws-oidc是一个开源命令行实用工具,用于生成临时 AWS STS 凭证。当前项目包含示例配置,当前需要 Okta 作为身份提供者。 Annie Ku 整理了一个帖子来帮助您入门,在Federated AWS Access

[](https://res.cloudinary.com/practicaldev/image/fetch/s--odewwkJU--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://miro.medium.com /max/1400/1%2AhPZ6mh2GpGPPoBJdK_u_Zw.png)

Annie 在 LinkedIn 的一次对话中指出,虽然这与 AWS SSO 重叠,但创建该项目的关键驱动因素之一是他们需要的 Terraform 支持。

飞跃

jumppAndrea Cavagna 本周与我联系,与我讨论他参与的一个新的开源项目,该项目可帮助客户更轻松地通过 Session Manager 连接 AWS EC2 实例。它提供了一个不错的 GUI,允许您管理各种配置文件和 AWS 帐户,然后通过 SSH 快速访问它们。该项目仍处于早期阶段,Andrea 正在寻找更多人参与、测试该工具并提供反馈。您还可以在此处查看项目主页。

kube-secret-syncer

kube-secret-syncer是一个开源项目,它提供了一个 Kubernetes 操作员来同步来自 AWS Secrets Manager 的密钥。如果您已经在使用 Kubernetes external Secrets 或 AWS secret operator 之类的东西,请查看 README 以了解为什么这可能更适合您。 Contentful 的 Yann Hamon 整理了一篇介绍性文章开源 kube-secret-syncer:一个 Kubernetes 操作员,用于同步来自 AWS Secrets Manager的秘密,您也应该查看它。

确定-ai

确定是一个开源的深度学习训练平台,可以快速轻松地构建模型。这个项目提供了一个 CloudFormation 模板来引导您进入 AWS,然后有许多教程涵盖了如何管理您的数据、训练和部署推理端点。如果您想探索更多开源机器学习项目,请查看此项目。

助推器

boosterBooster 是一个用于 TypeScript 的高级框架,用于构建具有内置业务逻辑级抽象的 Serverless 应用程序。 Booster 非常固执己见,并且仍在大力开发中,因此在您探索这个项目时请注意这一点。我查看了文档,它非常详细和全面。这可能是一个值得关注的项目。

**Lambda-Extension-Secrets-Wrapper-Python **

Lambda-Extension-Secrets-Wrapper-PythonJimmy Dahlqvist 分享了这个开源项目,该项目从 Amazon Parameter Store 读取应用程序和环境的所有参数并将它们呈现为环境变量。

适用于 Javascript 的 AWS 开发工具包

aws-sdk-js-v3适用于 JavaScript v3 RC 的 AWS 开发工具包是对 V2 的重写,具有一些出色的新功能。阅读这篇文章以了解更多信息,Modular AWS SDK for JavaScript – Release Candidate。

aws-robomaker-sample-application-meirorunner

aws-robomaker-sample-application-meirorunner这是一个很酷的开源示例应用程序,您可以在 AWS RoboMaker 上运行并演示机器人强化学习机器学习。人们还撰写了一篇支持性博客文章,通过在 AWS RoboMaker 上训练强化学习模型逃离迷宫Takuji Kawata 和 Tatsuya Arai 提供了额外的信息来帮助您自己运行。

aws-自动清理

aws-auto-cleanup来自 Servian 的开源应用程序,用于根据白名单和生存时间 (TTL) 设置以编程方式清理您的 AWS 资源。 Auto Cleanup由APP、API、WEB三个模块组成。单击以了解更多信息并按照步骤将模块部署到您的环境。

cfn 图

cfn-diagram有多少次您希望您可以使用 CloudFormation YAML 或 JSON,然后将其可视化?当这个开源工具提供 CLI 以及与 VSCode 等工具的集成时,这些工具有助于将 CloudFormation 模板可视化为 draw.io 图表。非常好的 Lars Jacobsson 和 MatHem 技术团队。还有实验性的cfn-diagram-ci你也可以看看。

轴-aws-rekognition

axis-aws-rekognitionLezgin Bakircioglu 本周联系了我,向我介绍了这个项目以及他们如何将 AWS Rekognition 等 AI 服务集成到 Axis 系列相机中以进行 OCR。他整理了这篇博文使用 AWS 无服务器和 Axis 摄像头促进装配过程,以帮助您了解这一切是如何结合在一起的。这仍然是实验性的,所以如果你认为这是你想要贡献的东西,请与 Lezgin 联系。

AWS 开源帖子

AWS CDK

关于安全 CI/CD 的 AWS CDK 用户研究硕士生 Henrique Melo Lima 将加入 CDK 团队,研究在通过 CI/CD 部署基础设施时保持安全的机制。为了确保我们为您(我们的用户)构建正确的东西,我们正在寻找符合以下标准的豚鼠志愿者:

• 目前正在通过持续部署部署基础设施即代码,或有部署经验,最好使用 CDK。

• 充分了解他们需要什么才能安全地从 Internet 中提取更新并立即部署这些更新,并愿意花时间与 Henrique 讨论它。

• 愿意在项目结束时参加评估会议。

查看上面的链接,详细了解这可能意味着什么样的承诺以及如何注册。

元流

AWS 上的开源数据科学工具 Metaflow 入门Rob Hilton 解释了如何使用 Metaflow 和 AWS 使数据科学管道不仅可移植到云端,而且还可以无缝扩展和检查。 Netflix 开源 Metaflow,这是一种工具,可帮助简化数据科学家的生活,并确保其本地和规模化实验之间的一致性和可重复性。 Metaflow 的承诺是允许机器学习项目中那些经常重复和碎片化的部分以对人类友好的方式进行简化和执行。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--MMlTmHvn--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://d2908q01vomqb2.cloudfront.net /ca3512f4dfa95a03169c5a670a4c91a19b3077b4/2020/10/02/robhilt_MetaFlow_f2.png)

Kubernetes 机器学习

用于 Kubernetes 中推理工作负载的虚拟 GPU 设备插件Walkley He 和 Jiaxin Shan 介绍了一种开源解决方案,用于在 Amazon Elastic Kubernetes Service (Amazon EKS) 上调度虚拟 GPU 资源。使用 Kubernetes 在 GPU 上高效运行机器学习推理工作负载并不容易,本文展示了使用 Kubernetes 设备插件和 Nvidia MPS 在 GPU 上运行推理作业的解决方案,这可以显着提高 GPU 资源利用率并降低成本。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--CQic4qni--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://d2908q01vomqb2.cloudfront.net /ca3512f4dfa95a03169c5a670a4c91a19b3077b4/2020/09/25/guilihe-shjiaxin_GPU-Device_f1.png)

这篇文章探讨了 GPU 设备插件,以解决如何通过实现 Kubernetes 设备插件和 Nvidia MPS 为每个 pod 设置 GPU 资源的分数。该项目已在GitHub上开源。

Kubernetes

本周有两篇与 Kubernetes 相关的帖子。首先,我们有个现场注释:将 Amazon EC2 上的自我管理 Kubernetes 集群迁移到 Amazon EKS,其中 Ahmed Bham 和 Marcelo Boeira 分享了如何将您的实时流量服务自托管 Kubernetes 集群迁移到 Amazon EKS。自 2015 年以来,从初创公司到企业的 AWS 客户已在 Amazon EC2 实例上成功运行 Kubernetes 集群,远早于 2018 年推出 Amazon Elastic Kubernetes Service (Amazon EKS)。由于 Amazon EKS 与上游 Kubernetes 兼容,您可以迁移现有的自我管理将 Kubernetes 工作负载传输到 Amazon EKS,并提供多种选项来最大程度地减少或避免服务中断。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--F33YWBK_--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://d2908q01vomqb2.cloudfront.net /fc074d501302eb2b93e2554793fcaf50b3bf7291/2020/10/15/mydomain.com_-1024x694.png)

之后,Justin Garrison 的帖子介绍 AWS 负载均衡器控制器讨论了 AWS ALB 入口控制器,Kubernetes 用户多年来一直在生产中使用它来在 AWS 中公开 Kubernetes 服务。这篇文章探讨了最近添加的新功能。没有剧透,因此请查看该帖子并确保您在 Twitter 上关注 Justin,以了解与 AWS 相关的所有容器的最新信息。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--6g_79n48--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://d2908q01vomqb2.cloudfront.net /fe2ef495a1152561572949784c16bf23abb28057/2020/10/15/image-72.png)

.NET 核心

开源 .NET 移植助手Steve Roberts 宣布开源我们几个月前推出的工具,即 .NET 移植助手,该工具用于分析 .NET Framework 应用程序的兼容性并估算所需工作量将它们移植到 .NET Core。 Steve 继续谈到最初发布期间开源的内容、用于确定兼容性的数据集,然后分享了关于开源助手的源代码和兼容性分析组件的新内容。

现在是探索使用此工具并开始思考如何使用它来现代化您的 .NET 应用程序的最佳时机。阅读 Steve 的帖子,深入了解我们如何与社区合作并与他们合作以实现未来的发布。

高性能计算

使用 AWS ParallelCluster、Elastic Fabric Adapter、Amazon FSx for Lustre 和 NICE DCV 的 Fire Dynamics Simulation CFD 工作流程Kevin Tuil(赢得本周最长的博客标题)查看开源代码:开发的 Fire Dynamics Simulation (FDS)由美国国家标准与技术研究院 (NIST) 提供,这是一种流行的工具,用于对许多行业的火灾进行建模,从新建筑的设计到定义火车、飞机和轮船的疏散程序,甚至是野火的蔓延。

AWS 高性能计算 (HPC) 资源中的许多资源本身都是开源的,允许 FDS 用户从单个工作站扩展到数百个内核,以实现数小时而不是数天或数周的模拟时间。 Kevin 查看架构并提供重现此设置所需的一切。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--YPV5cRBi--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://d2908q01vomqb2.cloudfront.net /1b6453892473a467d07372d45eb05abc2031647a/2020/10/16/update-to-diagram-.png)

AWS 放大

你检查过与朋友一起放大吗?查看第 4 集,共享开发环境,然后浏览后面的目录。该视频以社区建设者 Michael Liendo 和 Horacio Herrera 为特色,他们是 Matt Auerbach 和 Shawn Wang 的常客。

本周深潜

Linux 内核

Colm MacCárthaigh在 Twitter 上分享了这条推文:

您是否维护用户空间 RNG,例如密码库、JVM 和其他运行时?我们在 LKML 上启动了一个关于向 Linux 添加 vmgenid 支持的线程,以便可以将克隆 VM 克隆通知到用户空间。影响您的首选机制!

您可以在 lkml.org此处查看线程。

合伙人

** HashiCorp 的航点**

Unboxing Waypoint,来自 Couch 的 Containers 团队(Eddie、Adam 和 Brent)的精彩会议,他们介绍了 HashiCorp 的新开源项目 Waypoint。我看了这个,然后自己踢了轮胎并喜欢它。我最终还遵循了许多不同的路径来学习一些关于 buildpacks 和围绕它的工具的新东西。如果您今天只看一件事,那么请确保它是这个。

接下来是这篇博文,如何使用 HashiCorp Waypoint 将 Next.Js 应用程序部署到 AWS ECS 来自 Kyle Galbraith 的将帮助您获得对 Waypoint 的新理解,并使用它轻松地将示例应用程序部署到 Amazon电子计算机系统。

案例研究和行业

研究

使用 AWS 上的 Service Workbench 为研究人员管理计算环境我之前已经讨论过这个解决方案,所以很高兴看到 Henner Dierks 和 Anthony Antonuccio 深入研究并引导您完成这个名为 AWS 上的 Service Workbench 的开源项目。该项目提供了一个 Web 前端,将云的复杂性从想要专注于研究工作而不是理解云的最终用户(研究人员)中抽象出来。此外,它有助于改善协作和成本管理,这在固定预算的研究环境和跨组织项目中都是必不可少的。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--lGHhF7dz--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://d2908q01vomqb2.cloudfront.net /ca3512f4dfa95a03169c5a670a4c91a19b3077b4/2020/10/15/hennerd_service-workbench_f1.png)

AWS 上的 Service Workbench 还使研究 IT 人员的工作更轻松,因为他们可以专注于为研究工作区类型创建模板,而不必预置环境中的每个工作区。

最新博文

** Lambda 上的 Spring Boot **

Java 开发人员,是时候尝试 AWS Lambda 了Brian McCann 开始了第一篇关于现代化应用程序以及如何使用众所周知的 Java 框架示例来解决这个问题的系列文章比如 Spring Boot。如果您是这个领域的新手,并且想知道 Java 和 Java 框架如何适应现代方法(例如无服务器),那么请阅读 Brian 的帖子并了解他的后续内容。

瓶颈

EKS、Bottlerocket 和 Calico eBPFReza Ramezanpour 在您部署 Calico eBPF 时帮助您使用 Bottlerocket 和 Amazon EKS。什么是印花布 eBPF?从帖子:

它允许您编写可以附加到 Linux 内核中各种低级钩子的小程序,用于包括网络、安全和跟踪在内的多种用途。

AWS Graviton2

AWS Graviton 2 ARM C6g 是 Magento Cloud Killer 实例直言不讳 Yegor Shytikov 带着另一篇基准测试文章回来了,这一次着眼于在不同 AWS 实例类型上运行 Magento 的性能。我不想破坏结论,你应该阅读这篇文章。还有更多的证据表明 AWS Graviton2 实例类型在优化工作负载的成本和性能方面确实会产生影响。

如何在 Arm 处理器中使用 Java 基准Brian Demers 分享了我看到的第一个基准研究,它将运行 Phoronix 测试套件的 Amazon Corretto 与多种 AWS 实例类型进行比较。与往常一样,我讨厌破坏惊喜,因此请阅读 Brian 的这篇文章并阅读他的发现。

亚马逊正确

Heapothesys - Amazon Corretto 的开源 GC 延迟基准几周前我错过了 Michael Redlich 的这篇文章,但在其中,Michael 向那些不熟悉 Amazon Corretto 团队发布的这个开源项目的人介绍了什么,然后通过一个例子。如果您想了解您的 java 应用程序的行为,并想模拟它在不同 gc(垃圾收集)配置下的行为,这篇文章适合您。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--XWzeW6Cv--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://res.infoq.com /news/2020/09/introducing-heapothesys/en/resources/1infoq-overlay-plot-1600966318873.png)

深度 Java 库

DJL - 深度 Java 库Dhruvesh Patel 分享了一篇关于如何使用深度 Java 库进行对象检测的快速帖子和演练。虽然在机器学习方面很多文章都关注 Python,但 Deep Java 库提供了一组丰富的功能,使 Java 开发人员能够使用许多不同的框架部署深度学习。

[](https://res.cloudinary.com/practicaldev/image/fetch/s---GEb-pTt---/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://res. cloudinary.com/practicaldev/image/fetch/s--9n98Pyji--/c_limit%252Cf_auto%252Cfl_progressive%252Cq_auto%252Cw_880/https://dev-to-uploads.s3.amazonaws.com/i/h4tvh26sqrtv00yha10o.JPG)

AWS AppSync 和 projen

使用 projen 通过 AWS CDK 部署 AWS AppSyncKen Winner 分享了一篇非常简短的文章,介绍了如何使用 projen(我在 Elad Ben-Israel 的几个问题之前提到的工具)来搭建您在设置您的项目。在本例中,Ken 创建了cdk-appsync-project来演示如何为与 AWS Cognito 集成的示例 AWS AppSync 应用程序执行此操作。正如 Ken 指出的那样,projen 可以帮助您解决 AWS CDK 无法解决的一些问题。这是一个两分钟的阅读,所以去看看这个。

快速更新

活动 MQ

您现在可以在 Amazon MQ 上启动 Apache ActiveMQ 5.15.13 代理。与之前支持的版本 ActiveMQ 5.15.12 相比,此 ActiveMQ 补丁更新包含多个修复和新功能。 Amazon MQ 是适用于 Apache ActiveMQ 的托管消息代理服务,可轻松在 Amazon Web Services (AWS) 上设置和操作消息代理。消息代理允许不同的软件系统(通常使用不同的编程语言)进行通信和交换信息。借助 Amazon MQ,您可以使用行业标准 API 和协议进行消息传递,包括 JMS、NMS、AMQP、STOMP、MQTT 和 WebSocket。您可以轻松地从使用这些标准的任何消息代理迁移到 Amazon MQ,因为您无需在应用程序中重写任何消息传递代码。

阿帕奇卡夫卡

Amazon Managed Streaming for Apache Kafka (Amazon MSK) 现在支持新集群和现有集群的 Apache Kafka 版本 2.6.0。 Apache Kafka 2.6.0 包括几个错误修复和提高性能的新功能。一些关键功能包括用于管理客户端配额的本机 API (KIP-546) 和显式重新平衡触发以启用高级消费者用例 (KIP-568)。有关改进和错误修复的完整列表,请参阅 2.6.0 的 Apache Kafka 发行说明。

基础设施即代码

如果你今天走进(柏林)森林......你可能会遇到我的同事 Darkos 谈论与基础设施即代码有关的一切。在这个简短的视频中,他介绍了 Amazon CloudFormation,并提到了一些有用的开源工具,可以让您的生活更轻松。 cfn-link、cfn-nag、taskcat、cfn-guard 等工具还有很多。

你的日记事件

本周查看这些事件。

cdk8s

2020 年 10 月 27 日上午 11:00(皮特) |下午 2:00(在)

新的 Kubernetes CDK (cdk8s) 是一个开源项目,可让您使用熟悉的编程语言定义 Kubernetes 应用程序和可重用组件。在本次技术讲座中,了解 csk8s 如何在您的机器上本地工作并生成标准 Kubernetes YAML 数据,以便您可以将它与在任何地方运行的任何 Kubernetes 集群一起使用,包括本地和云。

在此处注册。

适用于 Redis 的 Amazon ElastiCache 的新增功能

2020 年 10 月 30 日上午 9:00(皮特)|下午 12:00(在

适用于 Redis 的 Amazon ElastiCache 是一种速度极快的内存数据结构存储。客户使用 ElastiCache for Redis 为各种分布式应用程序加速和存储数据。在 Redis 6.0 中,客户可以通过将基于资源的访问控制 (RBAC) 应用于数据结构和命令来提高其 Redis 应用程序的安全性。此外,客户现在可以使用客户端缓存来进一步提高性能。在本次技术讲座中,我们将解释和演示这些新功能。

在这里注册

把这些写在你十一月的日记里。

亚马逊正确

使用 Micronaut 和 Amazon Corretto 减少延迟

2020 年 10 月 30 日上午 10:00 CDT

当一毫秒的延迟可能意味着一切时,正确的工具至关重要。加入 2GM(Groovy、Grails 和 Micronaut)团队成员 Álvaro Sánchez-Mariscal 和 Amazon 软件开发经理 Azeem Jiva,观看现场教程,展示使用 Micronaut 和 Amazon Corretto 减少延迟的最有效方法。

在此处预订您的位置。

AWS 上的 OpenShift

格林威治标准时间 2020 年 11 月 10 日下午 6:00 - 晚上 7:00

Mayur Shetty 将讨论 Red Hat OpenShift 4.5 的优势以及 AWS 上客户可用的所有消费选项。

在此处注册。

AWS 容器日:Kubernetes 版

**美国东部标准时间 11 月 17 日上午 10:00 至下午 6:00

加入我们的 AWS Container Day,这是一个关于 AWS 上的 Amazon EKS 和 Kubernetes 的完全实时虚拟会议,由 Containers from the Couch 主持。在此次零日 KubeCon 活动中,AWS Kubernetes 团队将讨论新发布、演示产品和功能、介绍最佳实践,并在 Twitch 上实时回答您的问题。

在此处注册。

与 AWS 的开源保持联系

我希望这个总结有用。记得查看开源主页以了解我们在开源方面的所有活动,请关注我们@AWSOpen。

您的反馈很重要!

我整理了一份简短的反馈调查,请您参加 - 不会超过 2 分钟。您可以在此处访问。非常感谢!

参加调查

26日