数学杂谈：高维空间向量夹角小记1. 问题描述2. n维空间中的均匀向量1. 2维以及3维空间中的特殊情况1. 2维空间中的均匀分布向量3. 3维空间中的均匀分布向量2. n维坐标系中的均匀向量3. 正态分布的巧妙应用3. n维空间中两向量夹角考察4. 总结 & 思考1. 问题描述故事起源于long long ago的时候看到的苏剑林某一篇博客当中提到了一个结论：高维空间中两个随机向量大概率

数学杂谈：圆上随机落点问题（一）

Leetcode 3649. Number of Perfect Pairs

文献阅读：Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations文献阅读：Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations1. 问题描述2. 核心方案设计1. DNN双塔结构2.

NLP笔记：浅谈交叉熵（cross entropy）0. 引言1. 交叉熵的定义1. 信息熵2. 相对熵（KL散度）3. 交叉熵2. 交叉熵的实现1. tensorflow实现2. pytorch实现3. tensorflow与pytorch中交叉熵的区别4. 引申思考1. 两次softmax的影响2. 伪cross entropy合理性分析5. 参考链接0. 引言故事起源于我之前博客【NLP笔记

文献阅读：Transformers are Multi-State RNNs

文献阅读：LoRA: Low-Rank Adaptation of Large Language Models

文献阅读：RoFormer: Enhanced Transformer with Rotary Position Embedding1. 工作简介2. 常见位置编码方式1. 绝对位置编码1. Bert2. Attention Is All You Need2. 相对位置编码1. 经典相对位置编码2. XLNet3. T54. DeBerta3. RoPE方法介绍4. 实验效果考察1. 翻译任务上的

文献阅读：Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agent

经典算法：Fenwick Tree (Binary Indexed Tree)