From Transformer to LLM: The Mathematics of Training and Generation
Follow the mathematics from the original Transformer to modern LLMs, including training, AdamW, attention optimizations, and KV caching.
The Blog.
Notes on AI, LLMs, and physical AI.
-
Latest · Featured
-
Wittgenstein and Large Language Models: From Logical Pictures to Language Games
A philosophical lens on LLMs: how pretraining and conversation echo Wittgenstein’s ideas about logical pictures, meaning, and language games.
-
贝叶斯公式：从先验到后验的直观理解
用一张分类表和一个具体例子，理解先验概率、召回率、假阳性率，以及为什么检出不等于判断正确。
-
用旋转矩阵理解三角函数两角和公式
从旋转后的基向量出发，推导正弦与余弦的两角和公式，再用欧拉公式说明同一个几何过程。
-
从健康大数据到个性化推荐：一次产品落地实践
回顾好啦早期的数据产品实践：如何设计问卷、组织专家知识、处理冷启动，并让数据分析与产品迭代形成循环。
-
复数、单位根与欧拉公式
把复数乘法看成旋转与缩放，从棣莫弗公式推导单位根，并用单位圆把几个熟悉的等式联系起来。