course web:https://stanford-cs336.github.io/spring2025/
这个homework有一定的算力要求毕竟要训练model
CS336: Language Modeling from Scratch，是Stanford开的一门课，目的是带领学生从头构建llm，通过尽量少调用现有库的方式手搓llm。
事实上由于我的大部分知识学习与工作都是通过即用即学的方式完成的，这种系统的学习确实是我所缺乏的，我将通过五个homework尽量补全llm所缺乏的知识，并希望以此提升我的code skill，方便开发新的work。
CS336的第一个homework被叫做basic，但是我看到这个homework的overview就觉得不是很basic，事实上这个homework涉及到的theory确实是basic的，但是完成的方式和basic还是有一定区别。
这个homework要完成以下几件事：
随着模型参数规模迈入万亿级别，其在推理（Inference）阶段的部署面临着内存墙（Memory Bound）、计算墙（Compute Bound）与I/O墙（I/O Bound）等多重挑战。本文系统性地梳理和剖析大规模模型推理所采用的高性能并行计算范式。文章首先对数据并行（Data Parallelism, DP）、流水线并行（Pipeline Parallelism, PP）和张量并行（Tensor Parallelism, TP）等基础概念进行界定，并探讨其在推理场景下的应用边界与理论局限。其次，深入探讨了以连续批处理（Continuous Batching）和分页注意力（PagedAttention）为代表的现代推理系统的核心架构演进。在此基础上，本文进一步剖析了模型量化（Quantization）与推测解码（Speculative Decoding）等前沿算法优化。为将理论与实践相结合，本文选取了三个典型案例进行深度研究：面向特定架构的组件级并行（以Stable Diffusion为例）、应对超长上下文挑战的序列并行，以及在复杂单一样本场景下的混合并行策略（以AlphaFold3为例）。最后，通过一个在HPC环境下部署CPU推理集群的工程案例，展示了如何在现实约束下进行系统架构设计。
The list of operators that you will need to implement are:
DivOpDivByConstOpTransposeOpReLUOpSqrtOpPowerOpMeanOpMatMulOpSoftmaxOpLayerNormOpReference: https://huggingface.co/blog/andmholm/what-is-automatic-differentiation
这篇blog是本人结合Reference对Automatic Differentiation(自动微分)的总结, 目的主要是回顾Machine Learning基础并完成CSE234的PA1, 考虑到CSE234课程要求, 涉及到课程具体代码实现的部分将以注释&伪代码的形式实现, 希望读者能自行实现Automatic Differentiation, Base is not only base.
The first lecture just a simple explaination of CS61A and explnation of the Expression Tree which is composed of a operator and several operands, so I just paste the picture of the Tree.
Easy but interesting.
If you learned data structure, you may think this isn-ary tree.
This blog will begin from the half of PA1 Because I thought "STFW" can solve the problems before. I have to confirm that I have install the Ubuntu 22.04 for my CS task, so I look through the PA0 in a fast way.
reference: https://nj.gitbooks.io/c/content/content/chapter10/chapter10-chinese.html
it's easy to finish the envirment settings, so I just talk about some issues occuered.
baseenv.tar.gztar -xvf baseenv.tar.gz随着transformer在文本生成方面逐步展现出的巨大潜力和ChatGPT等生成式对话AI的逐步商业化, 处理多模态任务的价值也不断被挖掘, 文生图 文生视频等潜力巨大的任务类型开始提上研究日程.
但是同生成式对话使用有限的文本量便能达成较为不错的生成效果不同, 文生视频和文生图任务由于图形任务的整体性对大块内存的使用提出了更为严苛的要求, 图块与图块 像素与像素之间的高度关联性也难以像文本推理一样通过简单的切分矩阵实现并发, 这使得最为常用的 Diffusion模型在生成时长和内存占用上的表现都差强人意.
分布式系统顾名思义，就是将单一计算机节点要做的任务分布在多个计算机节点上完成的，各个节点之间通过网络进行通讯的计算机系统。
这种系统的好处是显而易见的，我们可以把一台机器的Task进行切分，可能大幅度提升计算效率；我们可以把一台机器存不下的任务放到多个结点里面，拓展数据规模。
但同时也可能引入更多的问题，多台机器之间通讯耗费的时间会不会比原先计算的时间更长？切分后的任务如何再将结果重新合在一起？这些都问题都有进一步研究的价值。