logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【数据仓库】SparkSQL数仓实践

可以看到之前在hive+hadoop数仓下建的库都可以通过spark-sql 查出来了,因为两者共用了一个metastore服务,元数据是一样的,数仓地址也是一样的。1 hive 4.0移除了saprk支持,只能使用MR和Tez,意味着往后版本,hive on spark就不存在了,若想使用,需要将hive换到4,0以前的版本;这也是为什么在hive sql 会话下,执行。由于spark-sql

文章图片
#数据仓库#spark
# DBeaver 连接hive数仓

1、关键在于驱动下载。

文章图片
#hive#hadoop#数据仓库
【数据结构】python中的栈

python 使用列表来定义栈stack = []1 如果只想获取栈顶元素,而不删除,则可以使用stack[-1]2 想要遍历栈,貌似只能从栈顶元素不断弹出3 python实现栈是使用的列表,那就意味着使用stack[n]或者stack[-n]可以遍历栈的元素,也就是把栈当列表使用,但这个时候,栈就不叫栈了吧4 栈是一端封口,元素从另一端放入和取出,可以根据这句话感受下栈元素变化的特性。

文章图片
#数据结构#python#开发语言
hive SQL常用语法

是SQL语言集中对数据库表或者库结构进行创建、删除、修改等操作语言。核心语法由create alter drop三个组成。DDL不涉及表内部数据操作。1 hive SQL的脚本语法跟MySQL很像,基本可以说是相同2 数仓的目的是为了对海量历史数据进行分析,使用hiveSQL进行分析,无非是以上语法的组合使用;MySQL也有以上语法,能用于数据分析吗?区别是啥?答案是肯定可以的。MySQL用于少量

文章图片
#hive#sql#hadoop
deepseek 本地私有化部署

deepseek 目前有DeepSeek-V3和DeepSeek-R1两个系列,DeepSeek-V3是由DeepSeek推出的一款拥有6710亿参数的专家混合(MoE)大语言模型,DeepSeek-R1是基于DeepSeek-V3-Base训练的高性能推理模型。这两个模型参数都非常大,性能也非常高,但部署成本非常高,对于小企业和个人不是很现实,但deepseek提供了蒸馏版本的小模型,但可以使用

文章图片
#语言模型#机器学习
【大模型】基于MCP构建天气服务及使用cline客户端连接

MCP(模型上下文协议)为AI应用提供标准化连接方案,类似USB-C端口,使LLM能快速集成各类数据源和工具。该协议支持插件式扩展、多LLM切换和本地数据隐私保护。文章以天气服务为例,演示如何搭建MCP服务器:通过FastMCP框架创建SSE通信的Web服务,实现天气预警和预报功能。客户端可使用支持MCP的AI工具(如VS Code的Cline插件)进行调用,配置本地服务地址后即可获取天气数据。M

文章图片
#人工智能
【大模型】基于MCP构建天气服务及使用cline客户端连接

MCP(模型上下文协议)为AI应用提供标准化连接方案,类似USB-C端口,使LLM能快速集成各类数据源和工具。该协议支持插件式扩展、多LLM切换和本地数据隐私保护。文章以天气服务为例,演示如何搭建MCP服务器:通过FastMCP框架创建SSE通信的Web服务,实现天气预警和预报功能。客户端可使用支持MCP的AI工具(如VS Code的Cline插件)进行调用,配置本地服务地址后即可获取天气数据。M

文章图片
#人工智能
机器学习-随机森林温度预测模型优化

在机器学习-随机森林算法预测温度一文中,通过增大模型训练数据集和训练特征的方式去优化模型的性能,本文将记录第三方种优化方式,通过调整随机森林创建模型参数的方式去优化模型,即调参。这里调参和神经网络使用验证集调整超参数概念不太一样,所以不会去使用验证集。本文调参,将使用RandomizedSearchCV()函数,去交叉验证不同参数组合的模型性能,选择最优性能的参数组合模型。

文章图片
#机器学习#随机森林#人工智能
机器学习-随机森林算法预测房租模型

1、数据预处理阶段,数据缺失值处理,要根据数据集实际含义,去选择合适的处理方式2、机器学习模型训练评估,实际工作量会在数据探索性分析和数据预处理环节,至于建模和训练只需调用封装好的函数即可。

文章图片
#机器学习#算法#随机森林
    共 27 条
  • 1
  • 2
  • 3
  • 请选择