当前工作主要解决短轨迹问题和冷启动问题，没有注意到如何深度融合多源数据，这些数据如果很好融合就能够精确建模用户行为,甚至推断出数据中没有体现的信息，比如在教学时间访问教学楼的频率可以推断出用户是教师还是学生,显然，这两种群体在假期时间要访问的POI也不同。之前工作存在的弊端：没有充分融合语境信息过度依赖人工设计模式、难以理解复杂模式（主要是统计学习的问题，深度学习解决的挺好）充分融合语境信息有两个

目前普遍认为，transformer存在如下局限性：1.输入序列定长，无法捕捉过长的依赖2.解码自回归过程仅仅考虑到了之前已经生成的信息，完成像单词填空类的任务效果可能不会那么好3.attention计算资源消耗过大，复杂度O(N^2)对于问题2，有bert类的架构；对于问题3，有一系列例如gMLP来简化attention操作，以减少计算资源消耗；而Transformer XL 致力于解决问题一,

GMLP 的出现背景与Transformer模型及其核心组件——自注意力机制（Self-Attention）有关。Transformer在自然语言处理等领域取得了显著成功，但其自注意力机制存在计算复杂度高、内存消耗大等问题，尤其是在处理长序列时。

数字图像点运算图形化界面搭建 灰度直方图均衡化实操