工具输入风格沿用function calling。不同llm的风格不一样。可能是忘了同步pyproject.toml，同步一下。同步pyproject.toml的文件。pyproject.toml改为。里看它们的工具输入格式信息。构建项目和uv构建环境。

防忘vscode和cursor差不多，改成cursor了。windows系统。

GGUF是一种存储LLM的格式。ollama选用了这种格式。所以hugginface下下来的llm需要转换为gguf格式。然后把ollama/bin添加到path里。注意.gguf文件存储在model文件夹内部。

CMD设置容器启动后默认执行的命令，中括号数组形式，和vscode的launch.json的args写法类似。因为服务器没网，所以我在自己电脑上pull了ubuntu:latest镜像，然后保存导入到服务器上。我想拉一个ubuntu:latest的镜像，容器化后把我代码和环境配好，最后再转为镜像。WORKDIR设定镜像的工作目录，后面的命令都基于这个目录，如。把一个运行中的容器的当前状态打包为一个

Trie树，参考：https://github.com/HonghuiBao2000/LETTER/blob/master/LETTER-TIGER/generation_trie.py。他们没空修：https://github.com/huggingface/transformers/issues/22890。感觉预留的目的应该是 先推理然后筛选掉不合法的 再保留num_beams个。好像是因为

打开浏览器访问：http://localhost:1717。把max_tokens从2028改成8196。

Policy Gradient算法思想：先将策略表示成一个和奖励有关的连续函数，然后用连续函数的优化方法去寻找最优的策略，优化目标是最大化连续函数，最常用的是优化方法是梯度上升法（与最小化loss的梯度下降相对）。强化学习，需要agent不断地在环境中进行交互实验，通过环境给予的反馈（奖励）来不断优化（状态-行为）的对应关系，目标一般是追求最大回报。鱼与熊掌不可兼得，我们不可能同时把探索和利用都做

GGUF是一种存储LLM的格式。ollama选用了这种格式。所以hugginface下下来的llm需要转换为gguf格式。然后把ollama/bin添加到path里。注意.gguf文件存储在model文件夹内部。

参考文献整理

ngrok不能用代理->关闭远程服务器的代理设置->远程服务器没网->ngrok需要有网->远程服务器需要设置代理->ngrok不能用代理。目前了解的可以端口转发或者快速构建web并支持端口转发的包有ngrok、flask、uvicorn、gradio。但是如果远程服务器上本来能联网不需要代理，可能可以正常使用ngrok。我使用的远程服务器上是没有网的，需要用我本地计算机的代理。ngrok的使用需