logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

pycharm 配置 spark环境

右上角Add content root添加:py4j-some-version.zip和pyspark.zip的路径,这两个文件都在spark-2.4.5-bin-hadoop2.7\python\lib文件夹中。新建系统变量SPARK_HOME:E:\dju_softwares\DSJ_gz\spark-2.4.5-bin-hadoop2.7。添加PATH值:E:\dju_softwares\D

文章图片
#python#spark
ubuntu上搭建InfluxDB

1.Ubuntu版本号DISTRIB_ID=UbuntuDISTRIB_RELEASE=16.04DISTRIB_CODENAME=xenialDISTRIB_DESCRIPTION="Ubuntu 16.04.5 LTS"2.步骤依次执行以下命令:wget https://dl.influxdata.com/influxdb/releases/influxdb_0.1...

windows10多用户登录问题

如果您是希望将Windows 10系统作为云服务器,建议您在Windows Server系统上达到您的需求,来更安全、快捷地使用,详细信息您可以阅读以下链接中内容:https://www.microsoft.com/zh-cn/cloud-platform/windows-server另外,在使用Windows 10系统的设备时,是可以登录多个账户使用的,但同时只能在一...

centos7.5误删python后,卸载python和yum,再重新安装python和yum

centos7.5版本默认的安装python7.5,不能使用如下命令完全删除1、删除现有Python[root@test ~]# rpm -qa|grep python|xargs rpm -ev --allmatches --nodeps ##强制删除已安装程序及其关联[root@test ~]# whereis python |xargs rm -frv ##删除所有残余文件 ##...

#centos#python
1.centos7 安装显卡驱动、cuda、cudnn

在网站选择对应版本:https://developer.nvidia.com/cuda-toolkit-archive。说明,cuda文件夹的内容与cuda-11.1文件夹的内容是一样的。找到2230号码,进入如下网址,找到显卡具体型号。生效,source~/.bashrc。步骤3:根据型号下载显卡驱动。其中有是否32位,选择否。解压后文件夹为:cuda。步骤2:查询显卡版本。步骤3:配置环境变量

文章图片
#linux#运维#服务器
一文读懂大模型后训练(万字长文)

大模型的后训练都在训练些什么?sft、rl、ppo、lora、adapter,这些算法开发们口中的专属名词,都代表着什么意思?本文将尽可能从非技术角度,一文帮你读懂大模型后训练。同时这也是继去年发布《非技术背景,一文带你读懂大模型》后,时隔一年多,推出的非技术系列第二篇文章啦。也确实看到大家对于此类非技术向讲解的科普文比较感兴趣,希望这篇新文章能一样受大家的喜欢。

#算法#机器学习#人工智能
4.Swin Transformer目标检测——训练数据集

报错问题:TypeError: FormatCode() got an unexpected keyword argument ‘verify’步骤4.修改文件configs/_base_/dataset/coco_instance.py。步骤3:修改文件configs/_base_/default_runtime.py。在项目跟目录,新建目录data/coco,将下载的资源直接放到文件夹中。步骤

文章图片
#transformer#目标检测#人工智能
pyspark一些简单常用的函数方法

但是有时候由于类别数太多,达到几千万上亿,如对推荐的MF中ID的编码,此时仍然使用stringIndex容易内存溢出,因为这几千万个字符要进行序列化并传播需要较大的机器内存。这时候我们就需要使用其他的方法来进行编码了。通过上面的代码可以将sparse vector转换为scipy sparse matrix,具体地——scipy csr matrix。当数据维度非常大且稀疏的时候,使用sparse

文章图片
#spark
    共 21 条
  • 1
  • 2
  • 3
  • 请选择