文章目录第一篇 大数据基础大数据处理架构Hadoop厦大子雨老师的这本书内容不多，但是很全面，推荐适合大数据入门。本篇文章主要是根据书中内容，对书中的课后答案做下总结。第一篇 大数据基础大数据处理架构Hadoop试述 hadoop 和谷歌的 mapreduce、gfs 等技术之间的关系答：Hadoop 的核心是分布式文件系统 HDFS 和 MapReduce。HDFS 是谷歌文件系统 GFS 的开

背景临时接了个小需求，通过百度词条搜索，来查找300个关键词，在一年内发布新闻的条数。最终效果实现如下：实现思路实现思路依然是：先根据多页的url，来找到规律，构建起一页的url；对单页的url解析，拿到其时间，按时间做dict求数目。同时注意如何判断最末页的条件。因为这里的末页改变后，页面仍然能响应出内容，因此我的解决方法是每次获取单页的第一条url，如果下一页的url与这条一致，那就属于到最后

str转jsonstr转换为json格式，前提一定需要保证这个str的格式和json是一致的，即左边最外层是大括号，右边的最外层是大括号。如果不一致，推荐用正则进行拆分至和json格式一致1. 通过json.loads进行转换import jsonstr = '{"key": "wwww", "word": "qqqq&quot

在安装tensorflow的时候，当用ipython使用import tensorflow出现的错误ImportError: Could not find 'cudart64_100.dll'简答：仔细分析错误的类型、原因搞清自己的tensorflow以及CUDA版本换用对应版本进行解决一. 错误类型原因...

文章目录目标一、虚拟机的网络配置二、虚拟机机子ip配置1. 第一台hadoop0总结目标看到了很多文献及文档，但是都没有说清ip是用的哪个，最后结果是什么。经过了一些磕绊，总结了下虚拟机配置步骤，希望能给你带来帮助。目标：新建及克隆虚拟机，做到：1. 虚拟机之间互相能ping通；2. 虚拟机和主机能互相ping通；3. 虚拟机和网站能ping通；一、虚拟机的网络配置Edit-> Virtua

str转jsonstr转换为json格式，前提一定需要保证这个str的格式和json是一致的，即左边最外层是大括号，右边的最外层是大括号。如果不一致，推荐用正则进行拆分至和json格式一致1. 通过json.loads进行转换import jsonstr = '{"key": "wwww", "word": "qqqq&quot

在遇到json的过程中，我们会经常去做取JSON中某个值的操作，如果是用get方法去取比较繁琐，这里不妨使用jmespath更便捷的方法来解决。下面通过代码来说明jmespath在python的使用：一.安装pip install jmespth二.查询一个key值source={“a”: “foo”,“b”: "bar","c": "baz&qu

在安装tensorflow的时候，当用ipython使用import tensorflow出现的错误ImportError: Could not find 'cudart64_100.dll'简答：仔细分析错误的类型、原因搞清自己的tensorflow以及CUDA版本换用对应版本进行解决一. 错误类型原因...

数据结构与算法相关1. 快速排序算法请实现快速排序算法，自行设计测试用例来说明算法的准确性，算法的时间和空间复杂度是多少？最坏的时间复杂度是多少？2. 归并排序算法请实现归并排序，自行设计测试用例来说明算法的准确性，算法的时间和空间复杂度是多少？最坏的时间复杂度是多少？3. 面对一个具体的问题，倾向于使用归并还是快排，为什么？数学基础机器学习基础自然语言处理...

命名实体识别命名实体识别（Named Entity Recognition，简称NER）与自动分词，词性标注一样，命名实体识别也是自然语言处理中的一个基础任务，其目的是识别语料中的人名、地名、组织机构名等命名实体。基于规则的通常有两种方法第一是基于正则表达式的匹配，第二可以通过StanfordCoreNLPStanfordCoreNLP方法：ner.py: 主调用文件，用来读取文本#...