Notes---苏剑林博客（词向量与Embedding技术）

Created2025-08-14|Updated2025-09-09|Study Blogs

|Post Views:

这一篇 Notes 就是关于“词向量与Embedding技术”这个分类底下的 Blog，这个是第二个部分。

词向量与Embedding究竟是怎么回事？

词向量可以说是语言模型最重要的基石之一，正是有了词向量，我们才有了一个比较好的方式来用数字表示语言。从某种意义上讲，语言到词向量的过程，就是把人类语言翻译成机器语言的过程。

我第一次知道词向量，差不多是 2023 年左右，我大二左右，然后要上物理

Author: Stanley Zheng

Link: https://s-tanley.github.io/blogs/2025/08/14/Notes---苏剑林博客（词向量与Embedding技术）/

Copyright Notice: All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.

Related Articles

Notes---Operating Systems: Three Easy Piece---Persistence（UW-Madison CS 537）

这里就是最后一部分啦～，persistence，讲了一些像什么 I/O devices，然后什么 file system，distributed system 这种东西。 Chapter 36: I/O Devices 这一部分首先讲的是 I/O devices，which is a very important part of computers。三种 bus：memory bus，general I/O bus 和 peripheral I/O bus。不过上面这个并不是真的现代计算机系统的架构，一个真的现在计算机的系统架构大概会像 Figure 36.2。现在我们讲一讲 canonical device。意思就是所有 devices 的抽象，所有 devices 都要有以下的 feature。所有的 device 都需要提够接口，也就是 interface，这样我们的系统，或者其他组件才能够“用”这个硬件。其次所有的 device 都有其内部结构，这个就大家各不相同了，只要你提供了好的 abstraction，好的...

Notes---Operating Systems: Three Easy Piece---Concurrency（UW-Madison CS 537）

这个 notes 主要用来记录有关 “Operating Systems: Three Easy Piece” 这本书第二大块的内容。就像书名写的，作者把 Operating system 的内容分为三大块，现在我们已经进行到了第二块：Concurrency。这一块的思想其实某种意义上是最重要的，因为 concurrency 的思想在非常多的地方都有用到，但是这一部分却是内容最少的，我还记得老师当时说的时候还挺惋惜的。 Chapter 26: Concurrency: An Introduction 关于 concurrency，第一个要介绍的概念就是 thread。之前我们说到的 program 其实都是 single-threaded program，但是现在我们就要转向 multi-threaded program。如果用一个非常浅显但是不准确的语言去描述 thread，其实就是同一个程序“同时”干好几个事情。从这个实现的功能上来讲，似乎跟多进程差不多，但有一些很底层上的区别，同时带来了很多根本上的不一样的 feature。我们在切换 thread 的时候，也有...

Notes---苏剑林博客（神经网络与深度学习基础）

其实很久之前就看到过别人推荐他的 blog 了，但是一直没看，最近虽然也很忙，但是总是不想干“正事”，就忙里偷闲，看看能不能把他的 blog 读完吧。我的 Reading List 主要是根据知乎上一个同学（WhyWait）整理的，所以也就按照他的分类来读了。这一篇 Notes 就是关于“神经网络与深度学习基础”这个分类底下的 Blog，希望这一次自己能够坚持下来，至少把和自己相关的部分看完。闲聊：神经网络与深度学习这篇博客写在 2015 年，但其实里面的很多想法到今天也很有用，从某种程度上从底层解释了神经网络从何而来，为什么能 work。大部分人都知道，神经网络其实就是一个拟合函数，虽然网络里的单个节点只是一个非常简单的函数，但是大家也都知道我们已经证明了只要我们把足够多的这种简单函数复合到一起，可以拟合任意一种函数。大部分也知道，很多时候神经网络其实干的事情是“抽特征”，如果你特征抽的好，只需要一个非常简单的 MLP 就可以去的很好的效果。可其实大部分人都没有系统的知道，上面这两点就是我们的 key...

Notes---Operating Systems: Three Easy Piece---Virtualization（UW-Madison CS 537）

UW-Madison 的 system 其实非常强，CS 537 是讲 operation system 的一节课，“Operating Systems: Three Easy Piece” 是这门课的教材，这篇 Blog 就主要记载我阅读这本 textbook 的 reading notes。 Chapter 2: Introduction to Operating Systems The main goal of an operating system is just to make the system easy to use. Abstraction 在计算机领域一直是一个非常重要的概念，正是一层一层的 abstraction，我们才能制造出当今如此强大的计算机。在 OS 里，我们当然也用了这样的一个强大的概念，virtualization 就是一个非常重要的具体体现。我们会把物理层面上的各种 resources 进行 virtualization，来制造一个更通用的 interface 来给用户去使用，同时也方便 OS 在用户看不见的地方进行各种 “wild...

Comments

GiscusUtterances

Loading Database