aws 在ecs外部实例上运行gpu负载

上节课我们深入探讨了Ray的核心设计与架构，现在我们来聊聊如何用它来解决实际问题。大家可能觉得有点讽刺，因为Python本身在分布式计算上其实有点力不从心。它的解释器本质上是单线程的，这使得我们很难充分利用多核CPU，更别说整个集群的计算能力了。虽然Python生态系统里有一些工具，比如multiprocessing，但它们大多只能在单机上玩转，跨机器的分布式计算就有点力不从心了。所以，Ray C

荣幸参与和csdn和aws联合举办的buildon实验活动，主要目的还是学习stepfucntion的使用，这个服务能够集成大量aws service感觉可以出现很多有趣的用法。官方给出的文档已经非常详细了，这里只是对一些比较难理解的点进行了记录和解释，欢迎交流和学习~

HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构Hadoop通常是指一个更广泛的概念——Hadoop生态圈Hadoop 三大发行版本： Apache、 Cloudera、 Hortonworks （被收购）注意：Hadoop1.x、 2.x、 3.x的区别（计算和资源调度）HDFS架构NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间

大家有没有注意到，当序列变长时，比如翻译一篇长文章，或者处理一个长句子，RNN这种编码器就有点力不从心了。它把整个序列信息压缩到一个固定大小的向量里，信息丢失严重，而且很难记住前面的细节，特别是对于长距离依赖关系，比如一个句子开头的主语和后面动词的搭配关系，RNN可能就忘了。所以，我们需要一种更聪明的方法，让模型能够像我们人类一样，看问题的时候，知道哪些地方是重点，哪些地方可以忽略。这就是我们今天

Ray 的核心优势包括高性能调度器、对象存储和 Actor 模型，上层还提供丰富的工具库（如 Ray Serve、Ray Tune 等），覆盖从数据处理到模型部署的全流程。通过 Remote 函数和 Actor 模型实现高效并行计算，并内置容错机制。其易用性和灵活性使其成为规模化计算的理想选择。

我们每天都在处理海量、多样且高速生成的数据，这对计算能力提出了前所未有的挑战。传统的单机计算模式在面对日益复杂的机器学习模型和大规模数据集时，往往显得力不从心。更重要的是，数据科学家们本应专注于模型训练、特征工程、超参数调优这些核心任务，而不是被繁琐的底层计算细节所困扰。因此，我们需要一种能够高效、灵活地将计算任务扩展到集群，并且易于使用的分布式计算框架，来解放数据科学家的创造力。过去十年，我们见

这个案例会综合运用前面讲到的所有Ray Serve功能。我们需要获取用户搜索的关键词对应的文章内容。我们用Python的wikipedia库来实现这个功能。它会根据关键词搜索维基百科，返回一系列相关文章。我们选择排名第一的文章，并提取它的正文内容。如果没找到文章，就返回None。

当然，Ray还提供了更高级的库，比如RLLib，它提供了更丰富的强化学习算法和模型，可以处理更复杂的场景。这个类包含了游戏的关键信息：寻觅者的当前位置seeker，目标的位置goal，以及寻觅者可以执行的动作空间action_space和它能观察到的状态空间observation_space。这个过程会涉及到智能体的移动、状态的观察、奖励的获取，以及最终的决策。Simulation类的rollou

Ray通过统一任务并行和Actor模型，构建了一个动态执行引擎，采用分层架构（应用层和系统层）和分布式全局控制存储(GCS)实现高效调度和容错。关键创新包括：分布式调度器避免单点瓶颈，内存对象存储减少数据移动，以及基于血缘的容错机制。