大模型训练中语料是非常重要的，目前公网上有各种各样的语料可以供下载，但是不可能每个用户、每次训练任务都通过公网去拉取语料，因此我们需要在语料平台上为用户提前下载并且注册一些需要的语料，通过语料平台维护一些公用的语料。鉴于语料下载的多样性，目前下载公网上的语料一般会先把语料下载到国外的服务器，然后再上传到华为云的 obs，最后再在 IDC 环境的服务器上将 obs 的数据下载到 CephFS 的语料

大模型训练中语料是非常重要的，目前公网上有各种各样的语料可以供下载，但是不可能每个用户、每次训练任务都通过公网去拉取语料，因此我们需要在语料平台上为用户提前下载并且注册一些需要的语料，通过语料平台维护一些公用的语料。鉴于语料下载的多样性，目前下载公网上的语料一般会先把语料下载到国外的服务器，然后再上传到华为云的 obs，最后再在 IDC 环境的服务器上将 obs 的数据下载到 CephFS 的语料

大模型训练中语料是非常重要的，目前公网上有各种各样的语料可以供下载，但是不可能每个用户、每次训练任务都通过公网去拉取语料，因此我们需要在语料平台上为用户提前下载并且注册一些需要的语料，通过语料平台维护一些公用的语料。鉴于语料下载的多样性，目前下载公网上的语料一般会先把语料下载到国外的服务器，然后再上传到华为云的 obs，最后再在 IDC 环境的服务器上将 obs 的数据下载到 CephFS 的语料

大模型训练中语料是非常重要的，目前公网上有各种各样的语料可以供下载，但是不可能每个用户、每次训练任务都通过公网去拉取语料，因此我们需要在语料平台上为用户提前下载并且注册一些需要的语料，通过语料平台维护一些公用的语料。鉴于语料下载的多样性，目前下载公网上的语料一般会先把语料下载到国外的服务器，然后再上传到华为云的 obs，最后再在 IDC 环境的服务器上将 obs 的数据下载到 CephFS 的语料

公司 Ceph 集群从 v12 升级到 v14 后，今天某个 CephFS 的集群收到一个 HEALTH_WARN 的告警，具体的 Warning 的信息为 1 pools have many more objects per pg than average。很明显就是 pg 数目设置的过少，导致有些 pg 里的对象过多，估计是超过了默认的一个 Limit，所以产生了 Warning 的信息，解决

本文主要分析 cilium-agent 作为 DaemonSet 在每个节点的启动流程。根据以上的分析，可以总结一下，在 Kubernetes 集群内部的节点下，启动 cilium-agent 的二进制之前需要执行下面的脚本。# config# /hostbin是一个非常临时的目录# /hostproc相当于/proc。

在运行 mpi-operator 之后，想进去容器查看一下，于是执行下面的命令报错。[root@TENCENT64site /data/runzhliu/mpi]# kubectl exec -it -n kube-system mpi-operator-bbf56967f-ht8bx /bin/shrpc error: code = 2 desc = oci runtime error: exe

chown: changing ownership of '/var/lib/mysql/': Operation not permitted如果启动容器之后，发现容器不断地在重启，然后看看退出的容器的日志，不断的刷这个日志，一般都是因为给 MySQL 容器挂了本地目录作为 Volume，但是权限又不够，可以看看 Docker For Mac 的设置部分，给对应的目录加上 File Sharing

简单记录一下 docker login 时候有问题了，以下是我 Docker Engine 的 version 信息。DockerClient: Docker Engine - CommunityVersion:18.09.3API version:1.39Go version:go1.10.8Git commit:...

文章目录1 Overview2 ENTRYPOINT3 Summary1 OverviewDocker 中 ENTRYPOINT 一直是个容易混淆的概念，今天浏览了一下官网，简单总结一下。官网的参考链接如下。https://docs.docker.com/search/?q=entrypoint2 ENTRYPOINT在 Dockerfile 中，ENTRYPOINT 是作为容器运...