logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

python中jieba库使用教程

jieba是python的一个中文分词库,下面介绍它的使用方法。安装方式1:pip install jieba方式2:先下载 http://pypi.python.org/pypi/jieba/然后解压,运行 python setup.py install功能下面介绍下jieba的主要功能,具体信息可参考github文档:https://github.com/fxsjy/jieba分词jieba常

#python#自然语言处理
python开代理后访问网站报ssl.SSLEOFError: EOF occurred in violation of protocol错

https://pythonmana.com/2021/03/20210315220037740p.html如果报了上面所述的错,可以知晓的是用户代理的锅,但如果我们想要获取请求的资源恰好是需要用户代理才能访问的,这个时候要怎么解决呢?具体解决方法也比较简单,起始就是urllib3版本的问题,如果换用 1.25.11或者其他低版本,就不会产生上面所述的错。至于为什么,还需要再探究。在原环境中重装低

#python
pytorch中的loss计算

NLLLoss & CrossEntropyLosscrossentropyloss = softmax + log + nlllossL=−1N∑ipilg⁡qiL=-\frac{1}{N}\sum_i{p_i\lg q_i}L=−N1​i∑​pi​lgqi​pip_ipi​​ 真实labelqiq_iqi​ 预测lable概率def test_NLLLoss():m = nn.LogS

#pytorch#神经网络#深度学习
pytorch DDP加速之gradient accumulation设置

pytorch DDPhttps://zhuanlan.zhihu.com/p/250471767gradient accumulation在梯度累加的情况下,假设一次梯度累加循环有accumulation_steps个step,每次梯度累加循环会进行K次 all_reduce,但事实上,每次梯度累加循环只会有一次 optimizer.step(),即只应用一次参数更新,这意味着在每一次梯度累加循

#pytorch#深度学习
关于istream输入流对象cin的输入函数

文章目录I/Ocin>>get()与cin.get()cin.getline()getline()gets()I/O输出流:ostream输入流:istream输入输出流:iostreamiostream中定义了输入流对象cin与输出流对象cout。cin是一个istream类的对象,它从标准输入设备(键盘)获取数据,程序中的变量通过流提取运算符>>从流中提取数...

#c++
Wikipedia API使用指南

Wikipedia APIhttps://pypi.org/project/Wikipedia-API/https://github.com/martin-majlis/Wikipedia-API/安装pip install Wikipedia-APIWikipedia-API是基本使用import wikipediaapititle = "china"wiki = wikipediaapi.Wi

#nlp
使用BERT和GPT-2计算句子困惑度PPL

定义BERThttps://github.com/xu-song/bert-as-language-modelhttps://stackoverflow.com/questions/63030692/how-do-i-use-bertformaskedlm-or-bertmodel-to-calculate-perplexity-of-a-sentencehttps://github.com/ym

#bert#自然语言处理#深度学习
python中stanfordCorenlp使用教程

1 安装前言Stanford CoreNLP的源代码是使用Java写的,提供了Server方式进行交互。stanfordcorenlp是一个对Stanford CoreNLP进行了封装的Python工具包,GitHub地址,使用非常方便。安装依赖1:下载安装JDK 1.8及以上版本。2:下载Stanford CoreNLP文件,解压。3:处理中文还需要下载中文的模型jar文件,然后放到stanfo

#python#自然语言处理
pytorch之detach()函数理解

https://blog.csdn.net/qq_27825451/article/details/95498211https://blog.csdn.net/weixin_33913332/article/details/93300411?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefaul

#pytorch#深度学习#python
python中jieba库使用教程

jieba是python的一个中文分词库,下面介绍它的使用方法。安装方式1:pip install jieba方式2:先下载 http://pypi.python.org/pypi/jieba/然后解压,运行 python setup.py install功能下面介绍下jieba的主要功能,具体信息可参考github文档:https://github.com/fxsjy/jieba分词jieba常

#python#自然语言处理
到底了