logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

OriginPro免费学习版过期了怎么办?重新激活

OriginLab学生版过期后,重新激活

文章图片
#学习
安装、配置pycharm和Anaconda

说起来惭愧,大学期间没有打好python的基础,身为一只CS研究狗,从头开始学习python。为了方便,决定记录一下寄几的安装过程,算是一个备忘录。如有错误,请指出。注意:本安装过程适用电脑里面没有python自带解释器的。(鉴于之前的坑,本栗子决定不安装python自带解释器,直接借助第三方工具。别问为什么,问就是泪!!!)下载pycharm和Anaconda下载pycharm安装包首先在官网上

#python#windows
数据清洗工作小结

今天帮课题组的老师处理了一部分数据,由于长时间不做数据清洗的工作,本栗子进行了长达2个小时的百度。这篇文档主要是针对该清洗工作的小结。从xlsx文件中读取指定的几列数据,为数据框格式xls=pd.ExcelFile('ABC.xlsx')#BG、BH、BI、BJ、BK、BL列#sheet的名字为Datadf=pd.read_excel(xls, 'Data',usecols="BG:BL")获取数

#python#list
大数据管理与应用系列丛书《大数据平台架构》之吃透第六章HBase:从原理到架构的深度解剖

《大数据平台架构》第六章深入解析了分布式数据库HBase的核心特性与应用场景。作为Google BigTable的开源实现,HBase具有PB级存储、稀疏性、多版本等优势,但存在不支持复杂聚合、无二级索引等局限。其四维数据模型(RowKey/列族/列限定符/时间戳)和列式存储机制实现了高效查询。HBase采用主从架构,依赖ZooKeeper实现高可用,通过LSM树将随机写转为顺序写,MemStor

#hbase
大数据管理与应用系列丛书《大数据平台架构》之第4章 Hadoop 分布式文件系统 (HDFS)

Hadoop 分布式文件系统(HDFS)是 Google File System (GFS) 的开源实现,旨在解决单机文件系统在容量和吞吐量上的物理瓶颈。其核心设计理念是在廉价的商用硬件(Commodity Hardware)上构建高容错系统。

文章图片
#大数据#hadoop#架构
大数据管理与应用系列丛书《大数据平台架构》之第2章 分布式理论基础:大数据系统的架构基石

计算机系统的演进史,本质上是算力需求与物理极限博弈的历史。在早期,数据处理主要依赖于集中式系统,即所有的硬件、软件及业务逻辑都高度集中在单一的中央服务器上。这种架构的优势在于设计简单、数据天然一致。然而,随着互联网数据的爆炸式增长,集中式系统遭遇了难以逾越的瓶颈:1.扩展性瓶颈:垂直扩展的边际成本呈指数级上升。2.单点:故障中央节点的瘫痪意味着整个服务的彻底中断。为了解决这一问题,分布式系统应运而

文章图片
#大数据#架构#分布式 +1
大数据管理与应用系列丛书《大数据平台架构》之第12章 综合实践——日志采集分析系统

在现代互联网架构中,日志数据是系统运维的“黑匣子”。本章通过构建一个端到端的**实时日志采集分析系统**,模拟了企业级生产环境中的核心需求。

文章图片
#大数据#架构
大数据管理与应用系列丛书《移动计算与社会治理》之第3章 移动定位技术

《移动计算与社会治理》第3章系统阐述了移动定位技术的原理与应用。章节首先构建了包含MSE、CEP等指标的定位性能度量体系,分析了多径效应等主要误差来源。随后详细解析了TOA、TDOA等基础定位原理的数学几何基础,并梳理了从Cell-ID到5G毫米波定位的蜂窝网络技术演进。针对不同场景,分别探讨了GNSS卫星定位的宏观架构、Wi-Fi/蓝牙室内定位技术特点,以及RFID等辅助定位手段。全章通过理论原

文章图片
#边缘计算
大数据管理与应用系列丛书《大数据平台架构》之第4章 Hadoop 分布式文件系统 (HDFS)

Hadoop 分布式文件系统(HDFS)是 Google File System (GFS) 的开源实现,旨在解决单机文件系统在容量和吞吐量上的物理瓶颈。其核心设计理念是在廉价的商用硬件(Commodity Hardware)上构建高容错系统。

文章图片
#大数据#hadoop#架构
调用MinerU的API,实现PDF转markdown文件

文章摘要: 本文介绍了使用MinerU API将PDF文档批量转换为机器可读格式(如Markdown、JSON)的方法。MinerU是OpenDataLab推出的大模型工具,支持精准解析和轻量解析两种API模式。作者详细演示了从注册API、获取Token到编写Python脚本调用接口的全流程,包括环境配置、PDF文件校验及批量处理限制(如200MB/文件、200页/PDF)。文中提供了完整的代码示

文章图片
    共 20 条
  • 1
  • 2
  • 请选择