logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

python爬取百度贴吧的实例

今天学习爬虫第二天,我们来试试爬取百度贴吧。我先说下一下我主要步骤:1.首先要获取url2.然后遍历url 获得网页响应3.把爬取的html以文本的形式保存在本地大家先看看百度贴吧(lol吧)看了一些贴吧后 发现贴吧名字都是 “XXX”+吧然后看看网址第一页第二页第三页三页之后 直接找出url的规律,kw=" " 传递xxx吧 ,pn负责翻页,翻一次 ,加50,从0开始。好接下来就可以开始了。面向

#python#编程语言#数据分析
Python安装llama库出错“metadata-generation-failed”

Python安装llama库出错“metadata-generation-failed”

文章图片
#python
python深度学习之TCN实例

1.TCN的介绍近些年,关于时间序列、自然语言处理等任务大家一般都会想到RNN、LSTM、GRU,一维CNN以及后面延伸出的Bi-Lstm、ConvLstm等等,这是因为RNN天生可以记住以前时段的信息,而传统的神经网络并不具有这个功能。卷积神经网络和循环神经网络作为深度学习的两大支柱,已近被越来越多的学者进行研究。在最近的研究之中,特定的卷积神经网络结构也可以达到很好的效果,比如Goolgle提

#神经网络#深度学习#网络
spark学习之并行度、并发、core数和分区的关系

👊上次的百度面试遇到了关于spark的并发数的问题,今天我们就来将这些问题都一并解决一下:链接: 2022百度大数据开发工程师实习面试经历.🍀我将先对并行和并发的基本定义开始讲起,然后介绍spark中是如何控制并行和并发的,以及这些和cpu核数、分区数有何关系。1.并行和并发并行:并发:...

#学习#sql#spark
Hadoop之配置java与hadoop环境

我们学习hapood,需要在系统中配置JAVA和Hadoop环境,今天我们就来使用Xshell配置对应环境。一个hadoop服务器需要这些东西,我们今天的文章只配置java和hadoop环境。#mermaid-svg-9pJKBlGneJuA1ie4 .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermai

#大数据#hadoop
阿里云DataWorks介绍

????前几篇博客中,我们讲到阿里云的MaxComputer,今天我们继续学习阿里云的DataWorks,对DataWorks的学习计划是写2章。对外往期内容感兴趣的小伙伴可以参考下面的内容????:hadoop专题: hadoop系列文章.spark专题: spark系列文章.阿里云系列: 阿里云MaxComputer SQL学习之DDL.阿里云系列: 阿里云MaxComputer SQL学习之

#阿里云#云计算#hadoop +1
Hadoop之Hive安装

今天来教大家安装Hive主要有以下几个步骤1.复制压缩文件至虚拟机2.配置环境变量3.解决日志JAR的冲突4.用derby初始化数据库启动出错: [Hive启动时报错Missing Hive Execution Jar: /opt/module/hive/lib/hive-exec-*.jar](https://blog.csdn.net/weixin_48077303/article/detai

#大数据#hive#hadoop
python机器学习之特征提取(scikit-learn)

前几天ubuntn16虚拟机又被弄爆了,这几天配置了一个深度deepin的系统,然后安装完anaconda和pycharm配置好环境解决了matplotlib中文现实问题。进入正题1.Sklearn简介Scikit-learn(sklearn)是机器学习中常用的第三方模块,对常用的机器学习方法进行了封装,包括回归(Regression)、降维(Dimensionality Reduction)、分

#python#数据分析
Vmware的安装并启动虚拟机

🍒电脑重装系统之后很多都软件都没了,今天来安装一下Vmware,用来搭建大数据相关的平台。

#虚拟机
VMware虚拟机扩展硬盘内存

内存不够了,需要扩展,本来以为就和扩展运行内存一样,设置一下就行,结果发现事情并不是这么简单。试了各种方法,就成功了一种,把方法交给大家,让大家少走坑。1.找到VM的安装位置打开文件安装位置2.找到vmware-vdiskmanager.exe文件找到文件后,不用双击运行,先用cmd命令打开终端,然后将vmware-vdiskmanager.exe 文件拖进去,控制台直接就会显示该文件位置3.找到

#虚拟机
    共 47 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择