logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据在物流行业的使用

大数据已经将物流从一个“黑盒”状态转变为一个高度透明、可预测、可优化的智能网络。它不再仅仅是辅助工具,而是成为了现代物流企业的核心竞争力和神经系统。未来的发展趋势将是与物联网、人工智能、区块链等技术更深度的融合,最终实现整个供应链的自适应、自决策和自优化,即“智慧供应链”。

#大数据
大数据在物流行业的使用

大数据已经将物流从一个“黑盒”状态转变为一个高度透明、可预测、可优化的智能网络。它不再仅仅是辅助工具,而是成为了现代物流企业的核心竞争力和神经系统。未来的发展趋势将是与物联网、人工智能、区块链等技术更深度的融合,最终实现整个供应链的自适应、自决策和自优化,即“智慧供应链”。

#大数据
启动spring boot项目时报错:java.lang.ClassNotFoundException: javax.servlet.Filter

今天接手新项目时候报的这个错,记录一下<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-tomcat</artifactId><!-- provided 表明该包只在编译和测试的时候使用,去除默认的tomcat

#java
DataX底层实现原理解析

解析配置: DataX 启动后,首先解析 JSON 格式的作业配置文件。初始化 JobContainer: 创建 JobContainer,它根据配置初始化 Reader 和 Writer 的插件实例。切分任务: JobContainer 调用 Reader 和 Writer 的split方法,根据通道数 (channel) 得到需要并发执行的任务列表。调度执行: 初始化 Channel,并启动

#大数据
Linux head tail less more这些指令详细用法

命令主要用途关键特性推荐度head查看文件开头默认显示前 10 行⭐⭐⭐⭐tail查看文件末尾默认显示后 10 行;-f-F可实时追踪⭐⭐⭐⭐⭐more分页浏览文件只能向下翻页;功能基础⭐⭐ (历史遗留)less分页浏览文件可上下翻页;搜索、过滤等高级功能⭐⭐⭐⭐⭐ (必学)黄金组合:(这是你的瑞士军刀)“从头看 head,从尾看 tail,翻阅查看 less 强,more 是老皇历”。

#linux
Hive与MapReduce的关系和执行流程总结

特性HiveMapReduce接口/抽象高级,类SQL(HiveQL)低级,Java API目的数据仓库、批处理、查询分布式计算框架角色编译器、优化器、元数据管理执行引擎(默认且经典)易用性高,无需编写Java代码低,需要复杂的Java开发性能依赖底层引擎(MR/Tez/Spark)原生支持分布式,但延迟高Hive与MapReduce是解耦的。Hive负责“想”,即制定执行计划;MapReduce

#hive#mapreduce#hadoop
Hive参数优化深度解析

Hive 参数优化是一个“测量->调整->测量”基准测试:首先在未优化或默认配置下运行你的典型查询,记录运行时间。逐项优化:根据上述维度,一次只调整一个或一类参数,观察性能变化。监控分析:结合 Hadoop 集群监控(如 YARN ResourceManager UI)和 Hive 的执行计划(EXPLAIN命令)来定位瓶颈。持续迭代:找到最适合你当前集群硬件、数据规模和业务SQL的最佳参数组合。

#hive#hadoop#数据仓库
大数据开发AI工具推荐

如果你能告诉我你目前主要处理的数据平台(比如是在云上使用MaxCompute、Spark集群,还是传统的Hadoop生态圈),或者最近在开发中遇到的具体挑战(比如数据清洗特别繁琐、某个ETL流程性能瓶颈,或者需要更直观快速的数据可视化),我也许能给你更具体的建议。大数据开发领域,AI工具的加入能帮我们提升开发效率、简化流程,甚至改变传统的工作模式。下面我为你筛选和梳理了一些值得关注的AI工具,希望

#大数据#人工智能
如何保证自己部署的服务器安全

系统已更新至最新防火墙已启用且仅开放必要端口SSH已配置:密钥认证、改端口、禁用root登录已创建非特权用户已安装并配置 Fail2ban各服务(Web、数据库)以非特权用户运行数据库已进行安全初始化(改密码、删匿名用户)已配置自动备份并测试恢复网站已配置HTTPS已制定系统更新和日志检查计划遵循以上步骤,你的服务器安全性将远超绝大多数默认安装的服务器。安全是一个不断迭代的过程,保持警惕和学习至关

#服务器#安全#运维
TLS/SSL加密技术详解

目的:解决网络通信中的窃听、篡改和身份冒充三大核心安全问题。核心机制:利用非对称加密的安全特性完成身份认证和密钥交换,然后切换至对称加密来高效地加密实际数据。关键过程:通过复杂的握手协议,交换随机数,生成只有通信双方才知道的共享会话密钥。发展趋势TLS 1.3已成为新标准,通过简化握手和移除不安全算法,实现了更快、更强制性的安全。它是 HTTPS、 secure email、 VPN 等几乎所有现

#ssl#网络协议#网络
    共 21 条
  • 1
  • 2
  • 3
  • 请选择