logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Nginx配置https的代理

编辑Nginx配置文件(通常位于。

#nginx#https#运维
Livy:Spark REST 服务详解

/ 应用jar包或py文件。// Executor内存。// Executor数量。// Driver内存。// Spark配置。PYSPARK,// 交互式PySpark会话。SQL// 交互式Spark SQL会话。SPARKR,// 交互式SparkR会话。SPARK,// 交互式Spark会话。# livy.conf 基础配置。

#spark#大数据#分布式
Spark 技术详解

基于 Spark SQL 引擎构建的更高级的流处理引擎,提供低延迟、端到端精确一次(exactly-once)的语义保证,是 Spark Streaming 的进化版。: 从各种数据源(HDFS, S3, Kafka, DB)提取数据,进行清洗、转换,最后加载到数据仓库(如 Hive)中。如果某个分区的数据丢失,Spark 可以根据血统(记录了如何从其他 RDD 转换而来)重新计算该分区,而无需备

#spark#大数据#分布式
10T的数据如何上传到云服务器上

根据数据类型、访问频率和预算选择适合的云服务提供商(如AWS S3、Google Cloud Storage、Azure Blob Storage)。若上传时间过长,可联系云服务商申请临时带宽提升或使用物理设备迁移(如AWS Snowball、Azure Data Box)。若单文件超过云服务限制(如AWS S3单文件上限5T),需分块为多个小文件(如每块100GB),便于并行上传和错误恢复。使用

#服务器#python#flask
java开发行业的过去十年与未来十年

Java曾是Android开发的主要语言,但随着Kotlin被谷歌官方推荐,Java在移动端的份额逐渐下降,但仍保留大量遗留系统维护需求。虽然Python主导AI研发,但Java可能通过DL4J等库在企业级AI部署中发挥作用,尤其是在需要与现有Java系统集成的场景。Hadoop、Spark等大数据技术依赖Java生态,Java在数据处理领域保持了竞争力,但面临Python等语言的挑战。Java虚

#java
面试题之 在你做过的项目中,遇到了哪些有挑战性的问题,你是如何解决的

Situation(背景):"项目截止前两周,客户新增人脸识别需求" Task(任务):"需在安卓/IOS双端实现毫秒级识别" Action(行动):"采用OpenCV优化算法,通过NDK加速处理" Result(结果):"识别速度提升300%,最终提前3天交付"避免负面评价:"虽然PM频繁改需求,但我们..." 可改为:"通过建立需求变更流程,确保开发节奏可控"。拒绝邀功表述:"我一个人完成了.

#java
SpringCloud之Zuul,Gateway网关对比

Zuul 1.x 基于阻塞式IO(Servlet 2.5),采用同步模型,每个请求占用一个线程;Gateway 基于Spring 5、Project Reactor,使用非阻塞式IO(Netty),支持异步处理,资源利用率更高。Zuul 2.x 虽改为异步架构,但生态整合度不及Gateway,实际生产使用较少。新建微服务项目,需支持高并发、低延迟,或需要WebSocket、gRPC等现代协议集成。

#spring cloud#gateway#spring
10T的数据如何上传到云服务器上

根据数据类型、访问频率和预算选择适合的云服务提供商(如AWS S3、Google Cloud Storage、Azure Blob Storage)。若上传时间过长,可联系云服务商申请临时带宽提升或使用物理设备迁移(如AWS Snowball、Azure Data Box)。若单文件超过云服务限制(如AWS S3单文件上限5T),需分块为多个小文件(如每块100GB),便于并行上传和错误恢复。使用

#服务器#python#flask
Docker 安装Elasticsearch 过程

从 Docker Hub 获取官方 Elasticsearch 镜像,推荐使用指定版本以避免兼容性问题。为保留数据,需挂载卷到容器。),初始密码会生成在容器日志中。

#docker#elasticsearch#jenkins
预测未来比较有前景的二十种职业

随着人工智能的普及,企业需要专家确保AI系统的公平性、透明性和合规性,避免算法偏见和法律风险。以上职业均需持续学习能力,建议关注技术交叉领域(如生物+AI)和政策导向赛道(如碳中和)。负责设计、构建和优化机器学习模型,应用于医疗、金融、自动驾驶等领域,需求持续增长。帮助企业测算碳排放,制定减排策略,应对全球碳中和目标及ESG投资需求。太阳能、风能、氢能等清洁能源项目扩张,技术研发和运维人才缺口显著

#职场和发展
    共 13 条
  • 1
  • 2
  • 请选择