名词

Transformer

是一个利用注意力机制来提高模型训练速度的模型。

LDA

（Latent Dirichlet Allocation）是一种文档主题生成模型。

RNN

（Recurrent Neural Network）递归神经网络，处理序列数据的神经网络。

CNN

（Convolutional Neural Network）卷积神经网络，模仿生物的神经网络。

LLM

（Large language model）大语言模型。

NLP

（Nature language procsssing）自然语言学习。

NLU

（Nature language understand）自然语言理解。

RAG

（Retrieval Augmented Generation）检索增强生成。

tokenization

（word segmentation）分词

natural language

自然语言

formal language

形式语言

stemming

词干提取

lemmatization

词干还原

模型

ELmo

是AllenNLP团队的。

ULMFit

GPT

（Generative Pre-trained Transformer）是Open AI团队的。自回归预训练模型Prompting（指令/提示）。

训练时候，预测下一个词来学习。微调时候，指定输入输出的任务。

应用在自然语言生产场景。

• 文本生成：GPT可以用来生成文本。

• 文本自动完成：GPT可以用来自动完成用户输入的文本。

• 语言翻译：GPT可以用来生成翻译后的文本。

• 对话生成: GPT可以用来生成对话

• 摘要生成: GPT可以用来生成文章摘要

Few short leaning

In-context learning

BERT

（Bidirectional Encoder Representations from Transformers）是Google AI Language团队的。双向预训练模型fine-tuning（微调）。

训练时候，预测缺失的词来学习。微调时候，应用于多种任务。

应用在自然语言理解场景。

• 问答系统：BERT可以在问答系统中用来理解问题并生成答案。

• 句子相似度比较：BERT可以用来比较两个句子之间的相似程度。

• 文本分类：BERT可以用来对文本进行分类。

• 情感分析：BERT可以用来对文本进行情感分析。

• 命名实体识别：BERT可以用来识别文本中的命名实体。

MLM（Masked language model）

Masking input

CLS

Embedding

Softmax

Liner transform

fine-turning

Wikepedia & BooksCorpus