logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

JupyterHub支持多用户和ldap认证(2)

       在上一篇博客中已经介绍了怎么安装jupyterhub和增加新用户,但是必须在linux终端手动添加新用户。接下来介绍怎么添加ldap统一认证,并自动创建新用户,且不需要再手动添加密码。1、安装jupyterhub-ldapauthenticatorpip install jupyterhub-ldapauthenticator2、配置jupyterhub_config.py...

tensorflow.python.framework.errors_impl.InvalidArgumentError: You must feed a value for placeholder

今天在测试一个模型的时候遇到了下面的问题,在网上没找到解决方法,说一下解决思路。tensorflow.python.framework.errors_impl.InvalidArgumentError: You must feed a value for placeholder tensor 'input_1_1' with dtype float and shape [?,224,224,3].

基于双k8s集群搭建联邦学习kubefate

一、前言关于联邦学习的背景这里就不做过多介绍了,感兴趣的同学可以去百度一下。联邦学习主要是为了解决数据孤岛和多方安全计算问题的,简单地说就是大家都拿出各自的数据一起建模,但是对方又不能看到或者得到自己的数据,训练的模型大家都可以用。联邦学习分为:横向联邦学习,在两个数据集的用户特征重叠较多而用户重叠较少的情况下,我们把数据集按照横向 (即用户维度)切分,并取出双方用户特征相同而用户不完全相同的那部

#机器学习#深度学习
PySpark DataFrame使用详解

作为一款非常成熟的大数据工具,Spark已在业界获得了非常广泛的应用。而Python+Spark的结合产物PySpark更是集合了Python的易用和Spark的分布式计算能力,产生了1+1 > 2的效果。本系列文章将从《PySpark DataFrame》、《Pandas API on Spark》、《Spark on K8S》、《PySpark RDD》几个方面分别介绍PySpark的功能。

#spark#大数据#python
机器学习笔记(十)聚类算法DBSCAN原理和实践

在前面的文章中,我们分别介绍了《K-means原理和实践》和《Birch和层次聚类》两种聚类算法,本文我们继续介绍另一种常用的聚类算法DBSCAN。相对于前两种算法,DBSCAN的原理要简单的多,但是这并不意味着它的效果就会差,在很多算法表现不好的非凸数据集上,DBSCAN往往能取得较好的效果,这也是DBSCAN最大的优势,而且DBSCAN还可以作为异常检测算法,发现噪声点(离群点)。1. 原理D

#聚类#机器学习#python
ClickHouse MergeTree二级索引/跳数索引

在前一篇文章《ClickHouse MergeTree表引擎和建表语句》中,我们详细介绍了MergeTree的建表语句、存储结构和索引原理,本篇我们继续介绍MergeTree的另一个特性——二级索引,二级索引适用于所有MergeTree家族表引擎。在某些版本中,默认可能没有开启二级索引,可以通过下面的设置开启二级索引。SET allow_experimental_data_skipping_ind

#大数据#数据库#sql
到底了