道路是曲折的，前途是光明的
The first lecture just a simple explaination of CS61A and explnation of the Expression Tree which is composed of a operator and several operands, so I just paste the picture of the Tree.
Easy but interesting.
If you learned data structure, you may think this isn-ary tree.
This blog will begin from the half of PA1 Because I thought "STFW" can solve the problems before. I have to confirm that I have install the Ubuntu 22.04 for my CS task, so I look through the PA0 in a fast way.
reference: https://nj.gitbooks.io/c/content/content/chapter10/chapter10-chinese.html
it's easy to finish the envirment settings, so I just talk about some issues occuered.
baseenv.tar.gztar -xvf baseenv.tar.gz随着transformer在文本生成方面逐步展现出的巨大潜力和ChatGPT等生成式对话AI的逐步商业化, 处理多模态任务的价值也不断被挖掘, 文生图 文生视频等潜力巨大的任务类型开始提上研究日程.
但是同生成式对话使用有限的文本量便能达成较为不错的生成效果不同, 文生视频和文生图任务由于图形任务的整体性对大块内存的使用提出了更为严苛的要求, 图块与图块 像素与像素之间的高度关联性也难以像文本推理一样通过简单的切分矩阵实现并发, 这使得最为常用的 Diffusion模型在生成时长和内存占用上的表现都差强人意.
分布式系统顾名思义，就是将单一计算机节点要做的任务分布在多个计算机节点上完成的，各个节点之间通过网络进行通讯的计算机系统。
这种系统的好处是显而易见的，我们可以把一台机器的Task进行切分，可能大幅度提升计算效率；我们可以把一台机器存不下的任务放到多个结点里面，拓展数据规模。
但同时也可能引入更多的问题，多台机器之间通讯耗费的时间会不会比原先计算的时间更长？切分后的任务如何再将结果重新合在一起？这些都问题都有进一步研究的价值。
Reducing Activation Recomputation in Large Transformer Models
https://arxiv.org/pdf/2205.05198
在大模型训练过程中显存占用过大往往成为瓶颈，一般会通过重计算的方式降低显存占用，但会带来额外的计算代价。本文提出sequece parallel(序列并行,简称SP)和selective activation recomputation两种方法，可以结合TP有效减少不必要的计算量。
本人使用OS为Ubuntu 22.04, 还是建议使用Linux系统做Lab, 很多环境配置会方便一些.
CS149_Asst1并不需要额外配置运行环境, 下载解压一下编译环境就好啦!
下载包:
wget https://github.com/ispc/ispc/releases/download/v1.21.0/ispc-v1.21.0-linux.tar.gz算法与数据结构实验题 1.10 单身狗进化 这一天晚上，弯通又做梦了，并且梦到了一个帅气的男孩纸！这个男孩给了弯通一个数字 n。男孩离开前告诉弯通，n!（n 的阶乘）的位数就是距离弯通脱单的天数。矜（ji）持（ke）的弯通想知道自己还有多久能脱单，快写个程序帮助他！
输入:
输入第一行为一个正整数 n（1<=n<=25000）。
输出:
n阶乘的位数
这道题看上去还挺有意思的很符合大学生的心理状态, 实际上就是要求阶乘的位数倒也没有拐弯抹角.
但是我们都知道, 要是用递归或者循环写阶乘, 这将是一件极为恐怖的事情.
在数据存储(空间复杂度)&计算用时(时间复杂度)上的开销, 将成为任何一台机器的噩梦, 更不可能过测试了.
举个栗子:
给定一个正整数N，要求输出一个特定的字符串，该字符串由一个'L'、N个'o'、一个'n'和一个'g'按顺序组成。
这是一道简单的字符串构造题，主要考察基础的字符串操作和循环控制。解题步骤如下：