论文笔记

The Rise and Potential of Large Language Model Based Agents: A Survey

论文笔记

对于文本编码，qwen-vl使用tiktoken进行编码，tiktoken相比较HuggingFace的tokenizer，其速度提升了好几倍。阅读qwen-vl的tokenizer：tokenization_qwen.py。