logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flink on yarn

Yarn Session 启动成功后,会创建一个/tmp/.yarn-properties-root文件,记录最近一次提交到 Yarn 的 Application ID,执行以下命令启动 SQL 客户端命令行界面,后续指定的 Flink SQL 会提交到之前启动的 Yarn Session Application。作业执行的顺序不受部署模式的影响,但是会受启动作业的调用方式影响。为每一个应用启动一

#flink#大数据#hadoop
mongodb 多表联合查询

db.app_examine_interception.aggregate([{$match:{$or:[{'error_no':'105'},{'error_no':'103'}]}},{$lookup:{from:"project",localField:'publis.

[Spark] 记录windows下IDEA Spark项目hadoop、hive、spark中Jackson、guava依赖冲突解决过程

项目环境:<scala.version>2.12.14</scala.version><spark.version>3.0.3</spark.version><hadoop.version>3.1.3</hadoop.version><hive.version>3.1.2</hive.version>发

[Python Debug] pandas.read_csv读取csv文件时提示:pandas.errors.ParserError: Error tokenizing data.

一、错误信息Python 3.7.0 (default, Jun 28 2018, 08:04:48) [MSC v.1912 64 bit (AMD64)] on win32runfile('E:/PythonProject/PyCharm 2018.2.3/DataScreening/data_processing.py', wdir='E:/PythonProject/PyCharm 2..

[软件工程] 数据字典

=======================================================================  学习过程中很容易忘记绘图的符号、图的定义,为避免重新翻书查定义,还是整理整理放博客上,方便查看吧。基本上都是书上的内容,在这里集合一下。参考资料:软件工程 (张海藩、吕云翔)===================================...

有效的代理IP分享

IP:端口号61.135.217.7:80106.15.42.179:3354361.128.208.94:3128113.251.216.28:8123113.251.216.28:8123218.19.246.220:9000222.221.11.119:3128106.15.42.179:3354359.53.134.202:808180.169.186.155:1080...

阅读源码-理解pytorch_pretrained_bert中from_pretrained的工作方式

vocab.txt的两种来源网络PRETRAINED_VOCAB_ARCHIVE_MAP = {'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt",'bert-large-uncased': "https://s3.amazonaws.com/m

BERT 中的tokenizer和wordpiece和bpe(byte pair encoding)分词算法

文章目录一、BERT 中的tokenizer和wordpiece和bpe(byte pair encoding)分词算法1.1 tokenizer 分词器wordpiece(暂且称为 词块)对于英文词语对于中文1.2 谷歌中文预训练语言模型,vocab.txt词包(词典)1.3 bpe(byte pair encoding,字节对编码)分词算法资料理解bpebpe分词算法的原理以及在机器翻译中的应

#bert#nlp
windows运行saprk程序:Did not find winutils.exe、Could not locate Hadoop executable:

21/08/15 22:38:58 WARN Shell: Did not find winutils.exe: {}java.io.FileNotFoundException: Could not locate Hadoop executable: D:\main\hadoop-3.1.3\bin\winutils.exe -see https://wiki.apache.org/hadoop/

[opencv] vs 2017 编译c++时受到第三方程序的符号干扰,导致程序无响应的解决方法

第一次运行发现YoudaoDict的WordStrokeHelper64.dll干扰程序编译“example2-4.exe”(Win32): 已加载“D:\Program Files (x86)\YoudaoDict\Dict\8.5.0.0\WordStrokeHelper64.dll”。无法查找或打开 PDB 文件。在退出有道后该项问题解决,but!又冒出了Stardock\Fence...

    共 37 条
  • 1
  • 2
  • 3
  • 4
  • 请选择