因为每个点都不是孤立的，它都是和一些别的点有联系的，所以一个点的特征的变化是要受到和它有边相连的点的影响的。比如有的任务是求点的（比如对点进行分类、回归等任务），有的是求边的（比如对边进行分类、回归等任务），有的还是求全局的就是Graph级别的任务(比如设计分子结构等任务)。图是一个全局的概念。vi节点k跳远的邻接节点(neighbors with k-hop)，指的是到节点vi走k步的节点（一个

基于AC框架的强化学习方法是当前强化学习中最流行、最普遍的方法。基于AC框架的算法也层出不穷，比如：A2C、PPO、TRPO等算法。

C 语言这套笔记是参考bilibili上，小甲鱼的视频，讲得非常不错。搜小甲鱼就能找到他的视频，这是他的网站：www.fishc.com 谨以此笔记献给无私奉献的小甲鱼先生。（一）基本认识1、对C语言的基本理解编程语言排行榜TIOBE的排名，C语言是千年老二。老一是Java。但是，C语言作为底层开发的基础语言，语法上基本很难有太大的改变，因为牵一发而动全身，所以还是非常有必要学一学的。入门：语法-

其实C语言是没有规定一个字节是8位的！但如果是有符号数，那左边第一位是符号位，那移动是否要覆盖符号位，这就又是编译器说了算，所以如果这个数恰好是个负数，而且负数又是以补码形式存在的，所以如果覆盖了，数值都将会发生极大的变化。由于内存的基本单位是字节，我们很多函数都是在字节的基础上写的，而位域是对字节的细分，所以很多函数不能对位域进行运算。意思就是位域这种数据结构，允许你把一个字节拆开使用，把一个字

这样做的目的就是，如果程序继续往下执行又要malloc申请DEFG..等空间时，就先到内存池看看有没有合适的空间，如果有就直接用了，就不需要切换到内核层去申请了，也就是不需要调用malloc函数了，一是节省了开销而是内存碎片最大限度地减少了。说明：malloc函数申请的内存空间是位于内存的“堆”上(C语言在内存上的布局是：像一些局部变量是存放在“栈”上的，而申请的动态内存是存放在"堆"上的)，如果

学习大模型，会使用HuggingFace是必备的，因为HuggingFace是大模型的框架。HF提供了一套围绕预训练模型构建的工具库，覆盖从数据处理到模型训练与推理的完整流程。

本章节讲基于策略的强化学习，是强化学习领域中的一个独立分支，也是强化学习领域的重要研究方向，目前是OpenAI和加州大学伯克利分校(UC Berkeley)在研究。

本篇只讲如何使用gymnasium库中内置的游戏环境，并用Sarsa和Q-learning两种算法，展示出租车调度游戏案例。至于如何自定义强化学习环境，下一个篇章讲解。

从老虎机问题->强化学习算法

本项目的任务是：模型需要根据用户已经输入的文本，预测用户下一个可能要输入的词语。