logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

python大数据实现top k问题

问题场景数据量较大, 数据有排序的根据(我这里是推文, 根据粉丝数量进行排序)数据可能无法全部读取进内存根据推文, 找出粉丝数量前300的用户问题解决对于大量的推文, 先对其进行划分, 将它们划分到多个小的文件, 保证每个文件都能轻松放进内存挨个读取推文, 用小顶堆来存储前k个用户, 堆容量小于k, 就直接放入, 如果大于, 则与堆顶(最小)元素进行比较, 大者入堆最终将堆中元素输出即可因为之前都

#python
redis实现分布式锁的逻辑(setNXEX) 循循善诱,步步填坑

本文关于redis代码实现分布式锁的设计思路,每一步解决上一步的问题实现思路:代码实现:上述情况,可能会产生死锁这里设置了过期时间,但是存在的问题在于,在进行if判断时,该线程挂了,此时已然死锁所有setNX和expire必须要原子操作使用setNXEX保证原子性问题在于,线程A业务时间过长,key过期了,业务还在进行操作,此时其他线程B获得锁。当线程A业务执行完,按照流程执行删锁操作,此时删的锁

#分布式#redis
雪花算法中的时间回拨问题解决方案

什么是时间回拨问题雪花算法通过时间来即将作为id的区分标准之一,对于同一台id生成机器,它通过时间和序号保证id不重复当机器出现问题,时间可能回到之前,此时,时间就不能区分又或者因为闰秒的出现,导致时间回拨如何解决方法1 直接抛出异常不管3X7==21,直接抛出异常将问题交给人工解决这种方法也是原始的雪花算法,百度的uid-generator采用的太过简单,显然不好方法2 延迟等待这种时间回拨(回

#分布式
IDEA、pycharm嵌入git bash(无弹窗)

因为用不惯jetbrains里的git插件,所以我选择使用git bash,命令行操作而每次打开bash定位到仓库又很麻烦,所以我选择将git bash嵌入到jetbrains里,比如IDEA、pycharm下面以pycharm为例file-settingsTools-Terminal修改shell path为你的git bash.exe 路径选择 /Git/bin/bash.exe/Git/bi

#intellij-idea#pycharm#git
pycharm中同一目录下py文件不能相互调用

问题描述在使用其他人写的python代码时,因为一开始接触pycharm,不是很熟悉具体如何使用,发现同一目录下py文件相互之间不能引用,import上出现醒目的横线,也不知如何解决。如下图所示问题解决对代码所在目录文件进行上图操作,将其设置为Sources Root。设置完成之后,原本目录从灰色变成了蓝色。py文件相互调用的问题也就随之解决。...

#python#intellij idea
运行没有问题,pycharm却标红引用?

问题描述本文出现的原因在于我验证 py可以调用同级目录下包的任意模块 这一既定事实的过程。整个代码结构如图所示fine.py 与 ansemb在同一级目录下,所以它可以调用ansemb.config但在实际操作中却发现,pycharm会标红然后我运行了一下发现是可以运行的,但标红是什么道理??? 这就很奇怪了问题原因经过百度,发现了原因(链接见文末,感谢)python在执行fine.py时,以fi

#pycharm#python#ide
为什么spring的事务注解@Transaction只能用在public方法上

今天在看spring事务的时候,发现特意有强调@Transaction注解是只能用在public方法上的,但没有说明原因,于是引起了我的好奇心。在经过我的思考和查阅相关博文确认了原因。首先,@Transaction一般用在方法上,它只能用在public方法上,那就意味着其不能用在private方法上。于是就可以想一下为什么private方法不可以用用呢?这时候把思路放到AOP上,spring中很多

#spring#java
python中同包、不同包引用总结;no module、no known parent package等报错信息解决

本文主要是总结我这两天对于python中的引用以及相应报错信息的总结从而可以指导对自己建包,以及如何使用包,处理引用问题。py可以引用同目录下包的所有模块这是既定事实,所以当你调用一个第三方的包时,就可以将py和包放在同一目录下当然这其中可能会出现pycharm引用标红的问题,那是pycharm的问题,对于python来说不影响(详情可见 运行没有问题,pycharm却标红引用?)同时,因为pyc

#python#pycharm
python大数据实现top k问题

问题场景数据量较大, 数据有排序的根据(我这里是推文, 根据粉丝数量进行排序)数据可能无法全部读取进内存根据推文, 找出粉丝数量前300的用户问题解决对于大量的推文, 先对其进行划分, 将它们划分到多个小的文件, 保证每个文件都能轻松放进内存挨个读取推文, 用小顶堆来存储前k个用户, 堆容量小于k, 就直接放入, 如果大于, 则与堆顶(最小)元素进行比较, 大者入堆最终将堆中元素输出即可因为之前都

#python
异质信息网络分析与应用综述(石川)--阅读

文章目录写在前面前两章简单阅读异质网络的基本概念基于原路径的挖掘异质网络的学习表示浅层模型基于分解的方法基于元路径的随机游走的方法基于关系的方法深度模型基于自动编码器基于生成对抗网络基于强化学习基于图神经网络浅层模型与深层模型对比与知识图谱表示学习的区别与联系应用场景商业领域网络安全医学领域未来发展方向写在前面该文是针对该文章的阅读,主要关注在后三章,对后三章进行理解与扩展,并读了部分后三章所引用

#神经网络#知识图谱
    共 17 条
  • 1
  • 2
  • 请选择