logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark sql和jdbc将数据写入mysql的对比

目录jdbcspark sql引用的库类效率对比连接mysql错误jdbcpublic static void jdbc() {// test为数据库名,spark为表名final String url = "jdbc:mysql://localhost:3306/test";final String username = "root";final String pas...

#spark#java#mysql
多兴趣推荐召回模型:MIND

Multi-Interest Network with Dynamic routing (MIND) ,能够提取多个用户兴趣向量,更好地捕捉用户多方面的兴趣。

文章图片
#tensorflow
基于LangChain的RAG开发教程(二)

RAG(Retrieval Augmented Generation,检索增强生成):在生成过程中,外部的数据会通过检索然后传递给LLM,让LLM能够利用这些新知识作为上下文

文章图片
#人工智能#自然语言处理
关于在你的虚拟机上搭建hadoop集群的详细教程

安装jdk首先,需要安装jdk环境,因为hadoop是由Java编写。rpm -ivh jdk-8u91-linux-x64.rpm默认安装到这个位置:/usr/java/jdk1.8.0_91安装hadoop将你的hadoop进行解压tar –xvf hadoop-2.7.3.tar.gz接着,要告诉hadoop java的位置。进入你hadoop的目录,cd /usr/lo...

#hadoop#大数据#集群
在自己的电脑搭建Linux虚拟机(小白教程)

搭建Linux系统首先,肯定需要一个Linux系统来搭建你的Hadoop环境,一般是通过虚拟机搭建Linux服务器环境,在这里就不讲述了,之后我可能会再写一篇博客来说怎么搭建Linux虚拟机。配置网关因为大多数情况下,我们是通过远程连接去操作Linux服务器的,所以,我们得确保我们的Windows机器与Linux服务器处在同一个网段上,才能成功远程连接。...

#虚拟机
pyspark打包依赖包&使用python虚拟环境

一、anaconda创建python环境anaconda创建python环境在这篇博客中,已经很清楚地描述了如何通过anaconda来创建你需要的python环境:即合适的python版本和包含你需要的依赖包。二、打包python环境假设我们的python环境名称为py_env,那么在anaconda的安装目录下,envs/py_env在Windows下,直接将使用压缩软件,将其压缩为zip文件;

#spark#python
TensorFlow dataset.shuffle、batch、repeat用法

直接看代码例子,有详细注释!!import tensorflow as tfimport numpy as npd = np.arange(0,60).reshape([6, 10])# 将array转化为tensordata = tf.data.Dataset.from_tensor_slices(d)# 从data数据集中按顺序抽取buffer_size个样本放在buffe...

#tensorflow#python#batch
tensorflow estimator详细介绍,实现模型的高效训练

estimator是tensorflow高度封装的一个类,里面有一些可以直接使用的分类和回归模型,例如tf.estimator.DNNClassifier,但这不是这篇博客的主题,而是怎么使用estimator来实现我们自定义模型的训练。它的步骤主要分为以下几个部分:构建model_fn,在这个方法里面定义自己的模型以及训练和测试过程要做的事情;构建input_fn,在这个方法数据的来源和喂...

#tensorflow#深度学习#python
TensorRT&Triton学习笔记(一):triton和模型部署+client

前言先介绍TensorRT、Triton的关系和区别:TensorRT:为inference(推理)为生,是NVIDIA研发的一款针对深度学习模型在GPU上的计算,显著提高GPU上的模型推理性能。即一种专门针对高性能推理的模型框架,也可以解析其他框架的模型如tensorflow、torch。主要优化手段如下:Triton:类似于TensorFlow Serving,但triton包括server和

文章图片
#tensorflow#深度学习#pytorch
强大的向量数据库:Milvus

在推荐系统中,向量的最邻近检索是极为关键的一步,特别是在召回流程中。一般常用的如Annoy、faiss都可以满足大部分的需求,今天再来介绍另外一个:MilvusMilvusMilvus不同于Annoy、faiss这类型的向量检索工具,它更是一款开源向量数据库,赋能 AI 应用和向量相似度搜索。涉及的术语Filed:类似表字段,可以是结构化数据,当然还可以是向量;Entity:一组Filed,类似表

文章图片
#数据库#深度学习#milvus
    共 15 条
  • 1
  • 2
  • 请选择