Stanley's Blog

学习笔记: 置信区间 (CI) vs. 预测区间 (PI) 1. 核心区别与目的 这两个区间都以回归线在某一点 x0x_0x0​ 的预测值 y^x0\hat{y}_{x_0}y^​x0​​ 为中心，但它们的目的和回答的问题完全不同。 特征 均值置信区间 (Confidence Interval for the Mean) 单个观测值的预测区间 (Prediction Interval) 关注对象 群体的平均趋势（即回归线本身） 一个未来的、独立的个体 回答的问题 “在 x0x_0x0​ 点，均值 E(y)E(y)E(y) 的真实范围可能在哪里？” “在 x0x_0x0​ 点，下一个新观测值 ynewy_{new}ynew​ 可能会落在哪里？” 简单类比 预测所有18岁男性的平均身高。 预测下一个你将见到的18岁男性的具体身高。 2. 直观理解：射箭的比喻 想象一个弓箭手（我们的回归模型）对着靶子射箭。 置信区间 (CI): 我们想知道这位弓箭手的真实平均水平（所有箭的平均落点）在哪里。我们让他射了一组箭（我们的样本），计算出这组箭的中心点...

Operating Systems Notes: The Path to the Kernel 1. 核心概念与关系 Interrupt (中断): 异步事件，由外部硬件（键盘、网卡、定时器）触发。它的发生与程序执行流无关。 比喻: 外来的电话打断了你当前的工作。 Trap (陷阱): 同步事件，由内部软件（当前正在执行的指令）主动触发。它是可预测的，是程序逻辑的一部分。 比喻: 你在工作中遇到一个需要老板审批的环节，于是你主动放下工作去敲老板的门。 Exception (异常): 同步事件，由内部软件执行出错时被动触发。 比喻: 你在工作中算错了一个数字，导致流程无法继续，被动地需要老板介入。 System Call (系统调用): 一个高层概念，是操作系统提供给用户程序的服务接口（如读写文件、创建进程）。它不是一个硬件机制。 最重要的关系: 用户程序通过主动触发一次 Trap 来向内核发起一次 System Call 请求。 Trap 是实现 System Call 的底层机制。 2. int 指令的“身份”之谜 int 指令是 Trap:...

你是否曾遇到过两个函数相乘，然后需要对它们积分的难题？当你发现熟悉的 u-substitution 换元法无能为力时，千万不要灰心。今天，我们将一起深入探讨微积分中一个极其强大的工具——分部积分法 (Integration by Parts)。 Integration by Parts 可以说是一个非常非常常用的 trick，但是他又相对来讲比较复杂，比如说我就经常性会忘记。本篇指南将带你从最核心的公式与思想出发，掌握选择 u 和 dv 的黄金法则，最后再介绍一个能极大提升计算速度的“表格法”技巧。不管是从头学起，还是回顾一下风尘已久的记忆，这篇 Blog 都非常合适。让我们开始吧！ 核心思想与公式推导 分部积分法的本质，其实就是微分乘法法则 (Product Rule) 的逆运算。它的目标很明确：将一个棘手的积分，通过一次“变换”，转换成一个我们更容易解决的积分。 公式 它的标准形式简洁而优美： ∫u dv=uv−∫v du\begin{equation} \int u \, dv = uv - \int v \,...

WhynotTV 看了很久了，虽然可能不是老粉，我是被当时那个“机器人博士前两年总结——任尔东西南北风”这个视频吸引过去的，然后发现没过多久，这个个人账号就变成了一个 Podcast channel，而且质量非常高啊，不管是时长还是内容广度深度，更新频率也不算慢的，来的嘉宾都是一个比一个重量级。这个 Blog 主要就是我对 WhynotTV 第三期的一个 reaction，作为一个不那么成功的，但是想要去实现一些有影响力的工作的 senior 本科生。看这样的视频真的是会让我万分感慨，也算是一个契机对自己做一个系统的反思。 这已经是 WhynotTV 第三期了，前两期也都是很顶尖的人，除了第一期的杨硕我不太知道，但可能是 robotics 比较强的人，剩下这两个胡渊鸣和陈天奇都是有非常有影响力的工作的人。胡渊明的 Taichi，然后陈天奇的 XGBoost，MXNet，感觉基本上就是梦想中，我希望我能在学术领域达到的...

今天终于看完了 UCSD 的 CSE 234 的 required reading 1.2，足足一章，确实是内容很多，主要就是介绍了目前的四种主流模型，MLP、CNN、RNN 和 Transformer。确实算得上是详略得当，refresh my memory again。后面还有一些计算方面的介绍，虽然没有很深入，确实不错。

其实很久之前就看到过别人推荐他的 blog 了，但是一直没看，最近虽然也很忙，但是总是不想干“正事”，就忙里偷闲，看看能不能把他的 blog 读完吧。 我的 Reading List 主要是根据知乎上一个同学（WhyWait）整理的，所以也就按照他的分类来读了。 这一篇 Notes 就是关于“神经网络与深度学习基础”这个分类底下的 Blog，希望这一次自己能够坚持下来，至少把和自己相关的部分看完。 闲聊：神经网络与深度学习 这篇博客写在 2015 年，但其实里面的很多想法到今天也很有用，从某种程度上从底层解释了神经网络从何而来，为什么能 work。 大部分人都知道，神经网络其实就是一个拟合函数，虽然网络里的单个节点只是一个非常简单的函数，但是大家也都知道我们已经证明了只要我们把足够多的这种简单函数复合到一起，可以拟合任意一种函数。 大部分也知道，很多时候神经网络其实干的事情是“抽特征”，如果你特征抽的好，只需要一个非常简单的 MLP 就可以去的很好的效果。 可其实大部分人都没有系统的知道，上面这两点就是我们的 key...

这一篇 Notes 就是关于“词向量与Embedding技术”这个分类底下的 Blog，这个是第二个部分。 词向量与Embedding究竟是怎么回事？ 词向量可以说是语言模型最重要的基石之一，正是有了词向量，我们才有了一个比较好的方式来用数字表示语言。从某种意义上讲，语言到词向量的过程，就是把人类语言翻译成机器语言的过程。 我第一次知道词向量，差不多是 2023 年左右，我大二左右，然后要上物理

最近看到了 CLIP，CLIP 应该算是多模态，或者算是 CV 那边的工作，但是我看到了非常多的把 CLIP 用到自己领域去做的文章，而且 CLIP 又很简单，最重要的一点是可以直接做 Zero-shot，我觉得我们可以直接尝试把 CLIP 模型用到我现在的这个 Music accompaniment generation 里。

在机器学习，特别是计算机视觉领域，我们经常希望模型能够像人类一样，通过极少量的样本甚至仅仅通过描述就能认识新事物。Zero-Shot, One-Shot, 和 Few-Shot 学习就是旨在实现这一目标的关键技术。这些术语描述了模型在面对一个从未见过的“新类别”时，学习和识别它所需要的样本数量。 基础：在“基类”上预训练 所有这些学习范式都有一个共同的起点：一个在大量标注数据（包含丰富的“基类”或“可见类”，Seen Classes）上预训练好的模型。这个预训练阶段的目的并非让模型记住这些基类，而是让它学习到一种通用的、可迁移的能力，例如： 学会提取鲁棒且有意义的视觉特征。 学会如何“学习”和“比较”（即元学习或度量学习）。 学会关联图像的视觉空间和文字的语义空间。 有了这个强大的预训练模型作为基础，我们才能讨论它如何应对“未见类别”。 Zero-Shot Learning (零样本学习) 当模型需要识别一个新类别，但没有任何（K=0）该类别的图像样本时，我们称之为零样本学习。 工作原理： 既然没有图像样本，模型依赖于辅助的语义信息 (Semantic...