logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive/sparksql/presto 时区转换和时间类型转换

hive/sparksql/presto 时区转换和时间类型转换

#hive#spark
MCP Server简单开发

官网:https://modelcontextprotocol.io/introductionMCP采用的client-server架构,mcp server是对应的工具实现,用于实际与外部世界交互。mcp client需要对应的大模型进行开发适配。mcp client和mcp server通过mcp protocol交互,类似http协议。与web开发一样,重点是在实现各种mcp server。

文章图片
MCP Server简单开发

官网:https://modelcontextprotocol.io/introductionMCP采用的client-server架构,mcp server是对应的工具实现,用于实际与外部世界交互。mcp client需要对应的大模型进行开发适配。mcp client和mcp server通过mcp protocol交互,类似http协议。与web开发一样,重点是在实现各种mcp server。

文章图片
spark 读操作

Shuffle read的入口是ShuffleRDD的compute方法。它获取shuffleReader,执行对应的read方法。创建reader的时候首先获取要读的shuffle block对应的信息,创建shuffle reader。read创建wrappedStreams:Iterator[(BlockId, InputStream)],一个block对应一个input streamrec

文章图片
#spark#性能优化#大数据
到底了