Stanley's Blog

This is like a guidance page for the resources I know for MLSys, I’ll give a brief introduction to each of them and list the link here. The resources will contain books, papers, and notes I wrote. Books AI System This book is more about the hardware. I think it’s a little bit like for ECE students. I haven’t read it all yet, but I think you can find some useful topics here, such as the introduction to Nvidia GPUs, the Tensor Core, stream multiprocessors, and how the GPU actually do to...

This is the reading notes for the ORCA: A Distributed Serving System for Transformer-Based Generative Models. This is an OSDI conference paper from 2022. Almost all the authors come from South Korea, and actually, this is the first time I have read papers written by Koreans. Summary Abstract & Introduction & Background The paper is focused on the inference serving, they point out that the existing system is not good enough for transformer-based models. So, they propose a new method...

本篇blog讲了transformer里的几个比较重要的概念，attention，multi-head attention， self-attention & cross-attention 以及 encoder & decoder。 单头Attention最经典公式： Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V Attention(Q,K,V)=softmax(dk​​QKT​)V 多头Attention（Transformer中常用）： MultiHead(Q,K,V)=Concat(softmax(QWiQ(KWiK)Tdk)VWiV)i=1hWO\text{MultiHead}(Q,K,V) =...

本文档总结了在 Linux 系统中查看各种硬件组件信息的常用命令。这些命令通常需要在终端中执行。 CPU 信息 🧠 lscpu: 显示 CPU 架构、核心数、线程数、速度、缓存等详细信息。 lscpu cat /proc/cpuinfo: 查看更详细的 CPU 底层信息，每个逻辑核心都会有条目。 cat /proc/cpuinfo 通过 dmidecode 查看处理器详情 (通常需要 sudo): sudo dmidecode -t processor 内存 (RAM) 信息 💾 free -h: 以人类可读格式显示总内存、已用、可用内存及交换空间情况。 free -h cat /proc/meminfo: 查看详细的内存使用和内核统计信息。 cat /proc/meminfo sudo dmidecode -t memory 或 sudo dmidecode -t 17: 查看每个物理内存条的详细信息，如制造商、型号、序列号、容量、速度、类型 (DDR4)、Rank、是否支持 ECC 等。 sudo dmidecode -t...

如果你是用通过网上搜到的一些教程去 GitHub 上实现你自己的个人主页的话，你可能会发现大家都会强调你把你的 GitHub repo 的名字命名为 username.github.io。但实际上你可以在任意把任意的 repo 设置成你的项目主页，网上你可以搜到几个相关 GitHub 设置多 page 的帖子，随便放在这里一个，感兴趣可以去再看看。 总之，如果你只想把你基于 Hexo 的 blog deploy 到 GitHub 的话，很简单，只需要改两个 config。 在你的 _config.yml 文件里，把 url 改成 https://<username>.github.io/<reponame>。然后再加一个 root , 这个填成 /<reponame>/ 。其他就正常配置就好了。 我唯一遇到的，可能会出问题的地方，是在那个 page setting 那里。 这里可能不能用 GitHub action，不过我也不确定，但我之前调到 GitHub action 的时候会出问题。如果你发现你 deploy 到 github...

感觉我这个也不算是 coding diary，主要是就是技术方面的日志，好久没有写代码了。 这两天把服务器搞好了，虽然非常离谱的卖家已读不回，但毕竟啥都有，都能开机，就把我的 2080 ti 22 G 显卡直接装上开机了，声音是真的大，不得不说。第一次装显卡，真是小心翼翼的，一点都不敢乱动，而且还发现金手指背面倒数第二根少一块，真是吓死我了，我心思我这么轻的插拔都能有问题吗，还好搜完之后发现就是这么设计的。 ubuntu server 的安装也是非常简单，总体来讲都是一样的，就是把系统烧到一个 U 盘里，然后进 bios，选择启动盘，就 ok 了，整个过程都是比较 smooth 的。然后有一堆设置，就问 GPT 就完事了。 今天非常惨的一点是，我整 NAS，然后网太慢，就喊联通的来整网络，结果路由器整没了一个，相当于网关换了一个，直接连不上了，笑死了，然后我之前还整的静态内网...

把一些可能用到的比较好用的工具总结到了这里。 使用 rsync 进行高效文件同步与恢复（macOS） rsync 是 macOS 和 Linux 系统中常用的命令行文件同步工具，支持断点续传、增量复制、排除文件等功能，非常适合拷贝大文件或进行数据迁移。 一、基本语法 rsync [选项] 源路径 目标路径 源路径和目标路径都可以是本地路径或远程路径（使用 SSH）。拷贝路径时注意 / 的使用影响结构，详见后文。 二、常用选项说明 选项 含义 -a 归档模式（保留权限、时间戳、符号链接等） -v 输出详细信息（verbose） -h 以人类可读的方式显示大小（如 1K、20M） –progress 显示每个文件的复制进度 –dry-run 预演命令但不执行操作，适合拷贝前查看将会做什么 –delete 删除目标路径中，源路径中已不存在的文件（谨慎使用） –update 只复制源路径中比目标路径更新的文件 –exclude 排除某些文件或目录，例如 .DS_Store 三、路径末尾 / 的含义 不加...

最近又有好消息，可以跟 Professor Ma 做一些 MLsys 方向的东西，还不错，虽然不是纯 sys，而是有点偏应用的 project，但从应用方向开始也是不错的，并且老师表示可以让我多留一个月，她会提供 stipend，虽然还不知道有多少，但应该可以 cover，毕竟中东还是有钱。还有十几天就要去中东，不得不说这个暑假真是过于充实了。 TA 的录取 offer 终于下来了，虽然才 1500 的工资，但这应该算是我在校外的第一份正式拿钱的兼职，还是当 TA 这种我很喜欢的工作，现在就只剩 PM 的消息了，希望也能有好的结果，这个我是最期待的了。 回家之后也搞了很多有意思的东西，直接把我 300 淘来的 Mac mini 刷成飞牛了（详情可见这个 blog）；又从闲鱼上买了一堆东西，花了真是贼多钱，算算账： 物品 价格（¥） 奥睿科硬盘柜 350 希捷 12 T 机械硬盘 700 超微 7048GR-TR 平台 准平台 1500 给服务器配的相应的 CPU、内存和固态 500 2080 Ti 22 G 显存 涡轮版 * 2 2390 *...