NLP 基础

自然语言处理（Natural Language Processing，NLP）是人工智能的子领域，研究的是如何让计算机处理人类语言

NLP 有两个方向

• NLU
• NLG

如何来编码句子？

one-hot 来表示句子有一些问题

• 词太多导致了向量维度太大
• 没有办法表示词的具体含义

这样就说明词向量本身有一定的意义

这样的方法，我们需要保存的参数数量在 $|V|^N$ ，这种方法并不是很优

词向量可视化

有一个网站：https://projector.tensorflow.org/ (opens new window)

这里可以看到一些和 "dog" 相似的词

我们需要从词向量得到句子向量

这里介绍了一个网站，提供了很多大模型的 API 接口 硅基流动 (opens new window)