一大早回公司想打开 IDEA，准备魔改一下 Spark，突然发现前两天更新的 IDEA 打不开了（那天更新完后没有尝试打开），WTF。第一反应是，我系统有多个 IDEA，而且还有 N 个版本还有各种社区版交错，会不会是版本的问题？应该是读取到我插件的配置文件。关于插件这个我倒不是太担心，因为我 PyCharm, GolandReferencehttps://intellij-support.jet

大模型训练中语料是非常重要的，目前公网上有各种各样的语料可以供下载，但是不可能每个用户、每次训练任务都通过公网去拉取语料，因此我们需要在语料平台上为用户提前下载并且注册一些需要的语料，通过语料平台维护一些公用的语料。鉴于语料下载的多样性，目前下载公网上的语料一般会先把语料下载到国外的服务器，然后再上传到华为云的 obs，最后再在 IDC 环境的服务器上将 obs 的数据下载到 CephFS 的语料

下载插件的时候又莫名其妙报错了，报错信息还挺让人困惑的，failed to download，然后 response 200 OK?What the hell…? 确实挺奇怪的，看图吧。这个报错太骚了，有点猝不及防，但是既然说下载失败，那么无非就两个可能原因，要本作为 client 的我的电脑有问题，要么作为 server 的插件市场有问题。有兴趣可以试试报错时候的那个链接，本地 curl -v

作为一个大数据行业的从业者，考个腾讯云大数据开发工程师认证总比考个消防证 easy 吧…？关于考这个认证的意义其实主要在于全面复习一下大数据相关的知识点，另外有个腾讯云的认证，也许大概也会对你找工作有点帮助的吧？下面是报名的链接和考试大纲。https://cloud.tencent.com/edu/training/cert/detail?type=Big_Data既然是考试，大家肯定会比较关心考

大模型训练中语料是非常重要的，目前公网上有各种各样的语料可以供下载，但是不可能每个用户、每次训练任务都通过公网去拉取语料，因此我们需要在语料平台上为用户提前下载并且注册一些需要的语料，通过语料平台维护一些公用的语料。鉴于语料下载的多样性，目前下载公网上的语料一般会先把语料下载到国外的服务器，然后再上传到华为云的 obs，最后再在 IDC 环境的服务器上将 obs 的数据下载到 CephFS 的语料

下载插件的时候又莫名其妙报错了，报错信息还挺让人困惑的，failed to download，然后 response 200 OK?What the hell…? 确实挺奇怪的，看图吧。这个报错太骚了，有点猝不及防，但是既然说下载失败，那么无非就两个可能原因，要本作为 client 的我的电脑有问题，要么作为 server 的插件市场有问题。有兴趣可以试试报错时候的那个链接，本地 curl -v

大模型训练中语料是非常重要的，目前公网上有各种各样的语料可以供下载，但是不可能每个用户、每次训练任务都通过公网去拉取语料，因此我们需要在语料平台上为用户提前下载并且注册一些需要的语料，通过语料平台维护一些公用的语料。鉴于语料下载的多样性，目前下载公网上的语料一般会先把语料下载到国外的服务器，然后再上传到华为云的 obs，最后再在 IDC 环境的服务器上将 obs 的数据下载到 CephFS 的语料

在 TKE（腾讯云容器服务）上弄一个开发环境可以访问的简易的 redis 实例，这里有几个要点:dockerhub 的 redis 镜像内网 LBTKE 的配置如下图:内网 LB 的作用是要在公司内网访问，没有考虑用个 Helm（应用），因为配置很复杂，单独部署一个 Deployment 三分钟搞定。...

想在 IDEA 上运行 Hadoop 的单测，以为 Maven 相关的依赖和插件下载好就能跑了是吧？果不其然，没那么简单，下面就收到一个报错了:org.apache.hadoop.ipc.xxx不存在，见下图。上面显示的这个是什么包？为什么会报这个错呢？其实不用着急，只要你了解 Hadoop 底层，有点后端的基础，慢慢推敲一下。看到 RPC，那么可以理解，这些不存在的文件为什么不存在呢？原因就是没

还是容器里编译比较快。提供一份在容器里成功编译出来 impalad 的日志。docker run --cap-add SYS_TIME --interactive --tty --name impala-dev -p 25000:25000 -p 25010:25010 -p 25020:25020 ubuntu:16.04 bashroot@825575f55308:/# lsbinbootde