logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据岗位秋招面试八股文总结(不定时更新)

第一次是局部聚合,先给每个key都打上一个随机数,比如10以内的随机数,此时原先一样的key就变成不一样的了,比如(hello, 1) (hello, 1) (hello, 1) (hello, 1),就会变成(1_hello, 1) (1_hello, 1) (2_hello, 1) (2_hello, 1)。然后将各个key的前缀给去掉,就会变成(hello,2)(hello,2),再次进行全

#大数据#面试#职场和发展
腾讯实习生腾讯云后台一面面经

今天上午10点45分的,感觉面试管看了我的简历和学校就觉得我菜吧,有点看不起人,然后说我都给了url也没写几句,我想我今天要好好改下简历。看了我的博客还觉的我是抄别人的。前天挂掉的是负责微信后台的,多是鼓励我,今天这个人嘲讽我居多,感觉就想走个流程吧,今天这个是腾讯云的。先是问下项目,做过的什么东西,他看了我的学生信息管理系统,什么也没说,然后开始问答。回忆一下没问了这些。进程通信(我回...

机器学习小结(论文用)

机器学习是人脸识别的根基,一张图片在计算机中存储首先是通过记录构成它的像素点的信息,包括像素的位置、RGB色彩以及灰度值等。在处理图像的过程中,图像也是通过矩阵的形式存放的,一个矩阵表示一张图片。通过对矩阵的翻转、平滑、膨胀等操作实现边缘检测和特征提取等操作。可以说,机器学习不仅是对于人脸识别,在整个人工智能的地位都是举足轻重的。机器学习是基于测试集构建的数学模型,我们一般会用概率统计模型作为..

使用flask实现基于elasticsearch的web端搜索功能

概述干这个远程实习也有一个月了,感觉还不错,一天200的薪资对于一个在校大学生来讲已经不低了。上一周,领导布置了这一周的新的任务。大致要求就是做一个web端的搜索页面,大致逻辑如下图所示:首先呢,可以看到要求web端可以用flask也可以用streamlit,但我更熟悉flask,所以我用了flask写的。大致想法是先让用户选择上传文件的类型,是上传Pubmed ID,根据这个ID进行检索呢,还是

文章图片
#flask
实习工作小结·批量下载文件和批量写入elasticsearch

工作流程大致是先将文件下载下来,然后再解压。解压后的文件后缀是.xml,于是需要通过xml解析库解析出需要的数据,然后格式规整地写入elasticsearch。首先,数据下载的网站地url是这样的:http://ftp.ncbi.nlm.nih.gov/pubmed/baseline/这个目录下的文件名称格式也很整齐:pubmed22nXXXX.xml.gz,其中XXXX是他的编号,观察了下从1到

#elasticsearch
ubuntu清理挖矿病毒

清理挖矿程序的基本步骤先用top命令查看cpu占用率大的进程的PID,再用systemctl status cpu占用率大的进程的PID命令查看守护进程地址,以用rm命令删除挖矿程序。在用rm命令删除挖矿程序前,应该检查是否存在后门,以防止坏东西通过后门再次侵入。所谓后门,我检查了路由条目和定时任务:是否有多出来的定时任务(非自己加入的定时任务)?是否有多出来的路由条目?是否是应为集群中其他的服务

文章图片
#大数据#ubuntu
Django实战(7)——在线人脸识别系统(第一步、实现图片上传和MySQL数据库的对接,ORM操作数据库)

首先这个项目是属于我的省级大创(大学生创新实验计划)的,最终实现的目标是可以上传图片作为人来能识别库,并且人脸识别结果用语音报出来。现在第一步,先实现数据库的对接,这一次用MySQL数据库,过几天也许会考虑改成Redis来存放,毕竟存放如数据库的是图片在服务器端的存放地址,而不可能是整个图片的信息;毕竟这是一个键值对,完全可以用Redis的String来存放。现在来具体介绍下views.p...

朱保平《数据结构C++》课程设计————校园导航最短路径

有学弟问我要课设的代码,保平这次好像又布置了这个。这是简略版本(这是我当时自己写的,拉到底可以看到参考地图的简略拓扑图,还有输入输出示例。提交这个版本应该就没什么大问题了)https://blog.csdn.net/qq_41938259/article/details/86568922当然还有更流皮的版本:(转自lfz童鞋博客,17级计科一班):其一:https://blog.c...

数据清洗的主要办法

1.什么是数据清洗?在获得数据后并不能直接进行数据分析处理,为什么?因为得到的数据不一定完全准确,直接使用这些数据进行分析的话可能会产生不小的偏差。所以,我们需要数据清洗这个步骤。总而言之,数据清洗是要对脏数据进行处理。脏数据包括缺失的数据,异常的数据和不一致的数据三种。先讨论缺失值处理方法。2.缺失值处理的方法缺失值处理方法大致思路是删除法和插补法。缺失值处理的删除法删除法顾名思义,就是将含有缺

#数据挖掘#数据分析
2022年美赛C题M奖思路复盘(附代码、附论文)

前言美赛已经结束4天了,一直忙于教资考试的准备,今天我终于抽空写了这篇C题思路复盘的博客。题目大致要求题目叫'Trading Strategies(交易策略)',一共给了两个文件,分别是比特币和黄金价格随时间变化的CSV文件。大致要求可以分为以下四个步骤:基于截止至当日的价格情况建立模型,预测2021年9月10日原来的本金1000美元会变成多少钱?(Develop a model that giv

文章图片
#数据分析
    共 22 条
  • 1
  • 2
  • 3
  • 请选择