NanoGPT 是由 Andrej Karpathy（前特斯拉 AI 总监）开源的一个 极简版 GPT（Generative Pre-trained Transformer）实现。
它的目标不是直接用于大规模商业应用，而是 教育、研究和实验，帮助人们理解 GPT 模型的核心原理。

特点：

• 代码简洁、结构清晰，便于阅读。

• 模型规模小，适合在个人电脑上训练和测试。

• 使用 PyTorch 实现，方便修改和扩展。

Github 地址：https://github.com/karpathy/nanoGPT#

---

1. 使用 Anaconda 创建 python 虚拟环境

conda create --prefix D:\conda_envs\nanoGPT python=3.9

--prefix：指定虚拟环境安装的位置

我的电脑是 RTX5060 CUDA12.8，下载如下版本的 pytorch

pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu128
或 Anaconda Prompt 中运行：python -m pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu128

安装代码的相关依赖

pip install  tiktoken 

2. 拉取代码

git clone https://github.com/karpathy/nanoGPT.git

3. 运行

python data/shakespeare_char/prepare.py

在 config/train_shakespeare_char.py 文件中加上 compile = False，再运行

python train.py config/train_shakespeare_char.py

python sample.py --out_dir=out-shakespeare-char