登录社区云，与社区用户共同成长
邀请您加入社区
《面向对象的分布式爬虫框架XXL-CRAWLER》一、简介1.1 概述XXL-CRAWLER 是一个面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式"等特性；1.2 特性1、面向对象：通过VO对象描述页面信息，提供注解方便的映射页面数据，爬取结果主动封装Java对象返回；2、多...
Google File System（GFS）的开源实现：HDFSGoogle大数据“三驾马车”的第一驾是GFS（Google文件系统），而Hadoop的第一个产品是HDFS，可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。HDFS是在一个大规模分布式服务器集群上，对数据分片后进行并行读写及冗余存储。从图中你可以看到HDFS的关键组件有两个，一个是DataNode，一个是Na
“开发一个可商用的智能物联网项目”！从Huawei LiteOS落地的那一刻起，这个目标既是一种期望，更是一个挑战。KB级内核、低功耗、微秒级响应…Huawei LiteOS轻量级特性能够让开发者和创业团队快速上手，而这些人对Huawei LiteOS使用的反馈，也能够加快Huawei LiteOS的发展脚步。\\1月8日晚上7点，伴随汇川物联参赛团队以“汇川物联网”项目获得一等奖，Huawei
前言人机交互简单来说，就是“人和机器打交道的方式”。人和计算机打交道根源于人类把计算机当成一种有效的计算服务工具。计算机自产生以来，计算能力日益强大，人类对计算机的态度也开始在计算机只是呆板的“机器”，还是可能变得像“人”一样聪明，甚至比人更聪明之间摇摆。这种模糊的态度伴随着计算机的进化不断演变。随着深度学习技术的崛起，进一步加速了这个进...
本来这个章节应该放在第二节的，更符合知识从整体往下看的逻辑。但是考虑到学习的过程是循序渐进的，我调整了一下。上一节，我们学习数据具体在传输中表现的形式。通过帧数据包裹一层层的上层数据达到传输的能力。今天我们来学习经典的网络模型分层。随着时间的推进变迁，有些层级结构已经被历史遗弃了。但是仍然需要知道有这么些东西。我们快来看吧。章节Android与物联网设备通信-概念入门Android与物联网...
mitmproxy 是 man-in-the-middle proxy 的简称，译为中间人代理工具，可以用来拦截、修改、保存 HTTP/HTTPS 请求。以命令行终端形式呈现，操作上类似于Vim，同时提供了 mitmweb 插件，是类似于 Chrome 浏览器开发者模式的可视化工具。它是基于Python开发的开源工具，最重要的是它提供了Python API，你完全可以通过Python代码来控制请.
前叙系列文章：爬虫实战（一）：爬取微博用户信息爬虫实战（二）：Selenium 模拟登录并爬取信息爬虫实战（三）：微博用户信息分析该系列文章介绍了什么？1.爬虫分析和处理方法2.Python中的数据库操作方法3.Selenium浏览器自动化以及无头浏览器使用方法4.对数据进行词云分析的方法5.对数据进行可视化的方法6.LDA隐含狄利克雷分布模型的建模和使用方法前言前一篇文...
'''批量抓取企信宝页面（前200页吧）'''#导入需要的库import urllib.request,socket,re,sys,osimport sslimport fileinputimport timeimport randomssl._create_default_https_context = ssl._create_unverified_context#定义文件保...
博客首发于www.litreily.top应一位金融圈的朋友所托，帮忙写个爬虫，帮他爬取中国期货行业协议网站中所有金融机构的从业人员信息。网站数据的获取本身比较简单，但是为了学习一些新的爬虫方法和技巧，即本文要讲述的生产者消费者模型，我又学习了一下Python中队列库queue及线程库Thread的使用方法。生产者消费者模型生产者消费者模型非常简单，相信大部分程序员都知道，就是一方作为生产者...
记得小时候最着迷的电影就是变形金刚，那时总搞不清楚一辆汽车怎么会变成一个有智慧的机器人，而今随着手机、家电等的智能化，似乎我们也迎来了更智能化的汽车时代。阿里顺应时代，在2010年就开始自主研发汽车互联网操作系统：AliOS系统。那它的智能化优势体现在什么地方呢？6月15日，在WGDC2018大会的开发者星球-AI技术大讲堂上，阿里巴巴AliOS产品总监刘欣发表了演讲，他提到汽车是一个loT设备终
Ambari 是什么Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。目前最新的发布版本是 2.0.1，未来不久将发布 2.1 版本。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，...
前言：云计算的前景在谷歌心目中，“云”必须具备以下条件，数据都存在网上，而非终端里；软件会最终消失，只要你的“云”设备中拥有浏览器可以运行现在的一切；“云”时代的互联网终端设备将不仅仅是PC；手机、汽车、甚至手表，只要有简单的操作系统加个浏览器就可以实现；犹豫数据都在“云”端，企业的IP管理越来越简单，企业和个人用户也不用担心病毒、数据丢失等问题。李开复描述了这样一个场景：只要你的PC或手...
http://developer.51cto.com/art/201209/358008.htm目前大数据存储有两种方案可供选择：行存储和列存储。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几种大数据处理软件中，Hadoop的HBase采用列存储，Mon..
发生的异常：The driver was unable to create a connection due to an inability to establish the client portion of a socket.This is usually caused by a limit on the number of sockets imposed by the oper...
亚马逊黑客开源软件远程控制摘要：曾因对Myspace开发蠕虫病毒而被捕入狱的黑客Kamkar再次出手，教你如何劫持无人机。他开发的侦查劫持软件和指导教程已在GitHub公布。前两天贝佐斯在宣布亚马逊Prime Air无人机送货项目的时候，盖茨说他太过乐观。许多人也表示，会不会有很多人半路拦截飞机、抢货物，没想到还真有人打算半路劫持无人机。黑客Kamkar近日在Github上发...
经过多次尝试，模拟登录淘宝终于成功了，实在是不容易，淘宝的登录加密和验证太复杂了，煞费苦心，在此写出来和大家一起分享，希望大家支持。本篇内容1. python模拟登录淘宝网页2. 获取登录用户的所有订单详情3. 学会应对出现验证码的情况4. 体会一下复杂的模拟登录机制探索部分成果1. 淘宝的密码用了AES加密算法，最终将密码转化为256位，在POST时，传输的是256位长度的密码。2. 淘宝在登录
图片来自：VentureBeat微软于本周四宣布，Windows 10 将在今年夏天发布，包括 190 个国家和 111 种语言，该系统可实现跨平台并进行相应地优化——PC、平板、手机、物联网（IOT），Xbox One、微软 HoloLens 和 Surface Hub。同时，它也将为我们周围的世界提供驱动力，例如成为物联网的核心、以及应用至电梯、自动取款机、心率监测等等。无论用户使用何...
开源ROS机器人操作系统是机器人开发的利器，集成了大量先进的算法，而且还开源，国内也有很多人在研究，也有些原型，但网上文章多是翻译官方的英文教程，在这里我们一步一步的制作一个ROS机器人，探讨机器人制作的步骤，而且我们尽量用开源的硬件Arduino，树莓派，配件都可以在网上买到，或者用自己的一些旧的器件。 这里用了两种不同的底盘，除了底盘，其他都一样，之所以会有两种底盘，是在做第一张图所示
python虚拟串口模块serial安装1.下载软件包：https://pypi.python.org/pypi/pyserial?#downloads2.解压：tar -zxvf pyserial-3.4.tar.gz3.进入解压目录：cd pyserial-3.4/4.安装sudo python setup.py install（这里以ubuntu为例，其他linux操作系统可切
作为较早完成 OSV 生态对接的 Linux 发行版之一，openEuler 在发行版对接 OSV 的探索中走在前沿，也让 openEuler 的安全公告能够以更标准、更易复用的方式进入主流开源安全工具链，为社区用户与生态伙伴提供更加一致、可落地的漏洞数据与检测能力。回望这一年的发展，在2100多家成员单位和24000多名开发者的共同努力下，已经成长为全球范围内体量和技术创新都处于领先行列的开源社
内存可存放数据。程序执行前需要先放到内存中才能被CPU处理——缓和CPU与硬盘之间的速度矛盾。因为CPU处理速度很快，但是硬盘读取速度很慢，不放内存CPU的速度会被硬盘拖累。思考：在多道程序环境下，系统中会有多个程序并发执行，也就是说会有多个程序的数据需要同时放到内存中。那么，如何区分各个程序的数据是放在什么地方的呢？方案：给内存的存储单元编地址内存地址从0开始，每个地址对应一个存储单元内存中也有
在上篇中知道了1.一个程序被运行必须先加载到内存当中2. 一个进程包括PCB+自己代码和数据(整体操作系统而言) task_struct+代码和数据(具体的操作系统linux而言)3.通过先描述后组织 操作系统对进程的管理转换为了对一个链表的增删查改。在一个task_struct中包含了各种信息 而进程状态其实就是里面的一个信息， 进程状态在task_struct中其实就是一个数字，通过数字来代表
如果某时刻系统的资源分配图是。如果按上述过程分析，最终。
你是一位成功的银行家，手里掌握着100个亿的资金：有三个企业想找你贷款，分别是企业B、企业A、企业T，为描述方便，简称BAT。B表示：“大哥，我最多会跟你借70亿…”A表示：“大哥，我最多会跟你借40亿…”T表示：“大哥，我最多会跟你借50亿…”然而，江湖中有个不成文的规矩：如果你借给企业的钱总数达不到企业提出的最大要求，那么不管我之前给企业借了多少钱，那些钱都拿不回来了。刚开始，BAT三个企业分
Linux已经渗透到我们生活的方方面面——全球超过90%的云服务器运行在Linux上，所有超级计算机都使用Linux，就连你的Android手机底层也是Linux内核。无论你是想成为后端开发、运维工程师、网络安全专家，还是嵌入式开发者，Linux都是你必须跨越的第一道门槛。这篇文章将从零开始，为你构建一份完整的Linux知识体系。我会尽量把每个概念讲透，让你不仅知道"怎么操作"，更理解"为什么这样
王道操作系统笔记，视频链接：2.4.2 死锁的处理策略—预防死锁
本文介绍操作系统内存管理核心机制。目标包括地址隔离、转换、分配回收、保护及虚拟内存扩展。通过分页（固定大小页框）和分段（逻辑段）组织地址空间，MMU完成逻辑到物理地址转换，缺页中断处理换入换出。虚拟内存依赖局部性原理，页面置换算法（FIFO、LRU、Clock等）在内存不足时选择换出页。内存分配采用伙伴系统（物理页框）和slab（内核小对象缓存）。页表权限位实现内存保护，多进程页表指向同一物理页框
举例：哲学家进餐问题中，如果5位哲学家进程并发执行，都拿起了左手边的筷子，每位哲学家都在等待自己右边的人放下筷子，这些哲学家进程都因等待筷子资源而被阻塞，即发生“死锁”。在并发环境下，各进程因竞争资源而造成的一种互相等待对方手里的资源，导致各进程都阻塞，都无法向前推进的现象，就是“死锁”，发生死锁后若无外力干涉，这些进程都将无法向前推进。
管程是一种特殊的软件模块，有这些部分组成：局部于管程的共享数据结构说明；比如生产者和消费者都需要共享一个缓冲区，就可以用一个共享数据结构来表示这个缓冲区对该数据结构进行操作的一组过程；“过程”其实就是“函数”对局部于管程的共享数据设置初始值的语句；初始化的语句管程有一个名字。管程的定义有些类似类，这里对应类名管程的基本特征：局部于管程的数据只能被局部于管程的过程所访问；类比public函数修改pr
本文详细介绍了多种Linux服务搭建及远程开发环境配置方法：1. 文件传输服务（TFTP/NFS/hgfs/Samba）的安装配置与使用；2. SSH服务的搭建及Xshell、MobaXterm、VSCode等工具的远程连接方法；3. Git版本控制系统的应用，包括GitHub/Gitee仓库创建、代码提交及HTTPS/SSH两种同步方式；4. VSCode集成开发环境的SSH插件配置与常见错误处
本文介绍了Makefile和CMake两种构建工具的基本概念和使用方法。Makefile通过定义编译规则实现自动化构建，重点讲解了其基本语法、变量使用和自动推导功能。CMake作为跨平台构建工具，通过编写CMakeLists.txt配置文件生成Makefile，支持多目录项目管理、变量定义和预定义变量等功能。文章通过具体示例演示了从简单到复杂的项目组织方式，包括单文件、多文件和多目录项目的构建配置
操作系统是计算机系统中的核心软件，负责管理计算机的硬件资源，提供多任务并发支持，并为用户和应用程序提供操作接口和服务。其目标包括资源管理、硬件扩展、系统安全、稳定性和可靠性等。通过这些功能和目标，操作系统确保计算机系统能够高效、稳定、安全地运行，满足用户和应用程序的需求。
本文从文件打开过程切入，解析操作系统文件系统原理：文件系统是内核子系统，通过虚拟文件系统屏蔽差异；采用树形目录结构，以目录项与inode存储文件名和信息；系统文件打开表通过索引号共享已打开文件，减少路径解析与磁盘I/O，提升访问效率。
假脱机的概念假脱机技术即SPOOLing（Simultaneous Peripheral Operating On-Line）。SPOOLing是指在联机情况下实现的同时外围操作，也称假脱机输入输出操作，它是操作系统中的一项将独占设备改为共享设备的技术。SPOOLing是低速输入输出设备与主机交换的一种技术，通常也成为“假脱机真联机”，它的核心思想是以联机的方式得到脱机的效果。SPOOLing技术
Shell是Linux系统的命令行解释器，作为用户与内核交互的桥梁，比图形界面更高效。文章概述了Shell的基本概念、常见类型（如bash、csh等）及其特点，并介绍了Shell脚本编程的基本流程：创建脚本文件、赋予执行权限、运行脚本。重点讲解了Shell变量（用户自定义变量、位置变量、环境变量）、控制语句（条件判断、循环结构）、函数定义及调试方法。Shell脚本作为解释型语言，通过有序命令集合实
同时，该组件深度集成 SM2/SM3/SM4 等国密算法，依托 TPM 硬件增强国密私钥的安全性，以标准接口向上提供统一密码服务，显著降低适配成本，为可信计算与国密融合应用打造安全、易用、可扩展的能力底座。ClawManager 可对不同 Runtime 实现统一注册、心跳感知、命令下发、状态回报与故障恢复，将分散的 Agent、模型、工具和基础设施整合为可编排、可观测、可恢复、可审计的统一运行体
把上游 mainline 的内核补丁安全地移植到低版本稳定内核，并证明移植后的语义与上游一致。
本文介绍了Systemd如何取代传统的init系统，成为Linux系统的初始化和管理工具。Systemd通过并行启动服务解决了init进程启动慢的问题，同时提供统一的管理接口简化了服务脚本。文章概述了Systemd的基本概念、核心命令（如systemctl、systemd-analyze等）以及Unit（系统资源单位）的管理方式，包括状态查看、启动控制和依赖关系处理。最后以SSH服务为例，展示了S
AgentSight 就是为了填补这个盲区。
openEuler 社区发起开发实践经验征集活动，诚邀广大开发者分享实践成果，与社区共同沉淀经验、交流技术，共建开放繁荣的开源生态！
本文介绍操作系统中进程调度的主要方法。调度决策影响吞吐量、响应时间等指标。先来先服务（FCFS）简单但平均等待长；短作业优先（SJF）最优平均周转但需预知时间，可能饥饿；时间片轮转（RR）响应快但切换开销大；优先级调度支持实时任务，需防饥饿；多级反馈队列（MLFQ）综合策略，动态调整优先级，兼顾响应与吞吐，为现代OS常用。另有最高响应比、多级队列、实时调度等变体。实际系统多组合使用（如Linux
2019独角兽企业重金招聘Python工程师标准>>>...
Oracle 无备份情况恢复ocr和olrOracle 11.2 GI中OLR损坏的修复方法一、先关闭GI，命令不再贴出来了，参见：http://blog.csdn....
一、检测调试当一个应用被调试的时候，会给进程设置一个标识（P_TRACED），我们可以通过检测该进程是否有设置这个标识来检测进程是否正在被调试以保护好我们的应用。123456789101112131415161718192021222324#include <sys/types.h>#include <sys/sysctl.h>static.
头文件是扩展名为 .h 的文件，包含了 C 函数声明和宏定义，被多个源文件中引用共享。有两种类型的头文件：程序员编写的头文件和编译器自带的头文件。在程序中要使用头文件，需要使用 C 预处理指令 #include 来引用它。前面我们已经看过 stdio.h 头文件，它是编译器自带的头文件。引用头文件相当于复制头文件的内容，但是我们不会直接在源文件中复制头文件的内容，因为这么做很容易...
最近在做身份证号码识别，在网上搜索的一番后发现目前开源的OCR中tesseract-ocr算是比较强大的了，它由HP于1985年到1995年间开发，后来由google直接负责，经过谷歌进一步开发后，目前的tesseract-ocr有了显著的改进。tesseract-ocr和Leptonica图像库一起工作，它可以读取多种图像格式，并将其转换成超过60种语言的文本。可以工作在Linux，Wind..
什么是开放平台：第一种是技术性的开放，例如百度、腾讯、阿里巴巴等，例如阿里可以提供标准化的应用软件，但是数百万形形色色的卖家对于个性化要求的软件，并不是一个公司的力量可以满足的，所以就把这些需求开放给众多的第三方开发者的方式。再例如google的基于Linux平台的开源手机操作系统就被认为会很快打败Nokia塞班系统。这一种技术性开放平台虽然目前来看跟B2C企业的开放平台关系不大，但...
今天的任务是汇编语言和寄存器学习、制作启动区、Makefile入门里面用到的文件，都在文末的链接里。下面是采用汇编语言编写的helloos.nas编写，是不是比前一篇好读多了：; hello-os; TAB=4ORG0x7c00; 指明程序的装载地址; 以下这段是标准FAT12格式软盘专用的代码JMPentryDB0x90DB"HELLOIPL"; 启动区的名称可以是任意的字符串（8个字节）DW5
引用自：http://bbs.eetop.cn/thread-329418-1-1.html《perl语言入门（第5版）》，这是学习perl的经典书籍，涵盖了我们日常编程中最常用的80%的perl知识。Learni...
操作系统
——操作系统
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
天工造物局
openEuler 社区
龙蜥社区
乐奇 Rokid 开放社区
