Chat with Wiki - WayToAGI

以下是不同的 embedding 模型： 1. 词嵌入： Word2Vec：包括 CBOW（Continuous BagofWords）和 SkipGram 模型，由 Google 提出，用于学习单词之间的语义关系。 GloVe（Global Vectors for Word Representation）：由斯坦福大学开发，旨在结合全局统计信息和局部上下文窗口的优势来生成单词嵌入。 FastText：由 Facebook AI 团队推出，不仅考虑单个单词，还考虑内部字符 ngram，对于罕见词汇有更好的表现。 ELMo（Embeddings from Language Models）：利用双向 LSTM 对整个句子进行建模，产生上下文敏感的单词嵌入。 2. 情景化的词嵌入： BERT（Bidirectional Encoder Representations from Transformers）：由 Google 推出，利用 Transformer 架构的预训练模型，能够根据上下文提供动态的单词嵌入。 GPT（Generative Pretraining Transformer）及其后续版本 GPT2/3/4：由 OpenAI 开发，也是基于 Transformer 的自回归模型，同样能产出上下文相关的嵌入。 XLNet、RoBERTa 等都是 BERT 之后改进或扩展的预训练模型。 3. 句子和文档嵌入： Doc2Vec：扩展了 Word2Vec，能够为整个文档生成统一的向量表示。 Average Word Embeddings：将一段文本中所有单词的嵌入取平均作为整体的文本表示。 Transformers Sentence Embeddings：如 BERT 的标记对应的向量，或者专门针对句子级别的模型如 SentenceBERT。 4. 实体/概念嵌入： Knowledge Graph Embeddings：如 TransE、DistMult、ComplEx 等，用于将知识图谱中的实体和关系嵌入到低维向量空间中。 5. 其他类型：图像 Embeddings：使用卷积神经网络（CNN）进行图像特征提取，得到的特征向量即为图像嵌入。音频 Embeddings：在语音识别和声纹识别中，将声音信号转化为有意义的向量表示。用户/物品 Embeddings：在推荐系统中，将用户行为或物品属性映射到低维空间以进行协同过滤或基于内容的推荐。图 Embeddings：是用于学习图结构的表示学习方法，将图中的节点和边映射到低维向量空间中。通过学习图嵌入，可以将复杂的图结构转化为向量表示，以捕捉节点之间的结构和关联关系。这些方法可以通过 DeepWalk、Node2Vec、GraphSAGE 等算法来实现。图嵌入在图分析、社交网络分析、推荐系统等领域中广泛应用，用于发现社区结构、节点相似性、信息传播等图属性。此外，以 OpenAI 为例，第一代嵌入模型（不推荐）包括：所有第一代模型（以001 结尾的模型）都使用 GPT3 分词器，最大输入为 2046 个分词。第一代嵌入由五个不同的模型系列生成，这些模型系列针对三个不同的任务进行了调整：文本搜索、文本相似性和代码搜索。相似性嵌入：textsimilaritybabbage001、textsimilaritycurie001、textsimilaritydavinci001。文本搜索嵌入：textsearchadaquery001、textsearchbabbagedoc001、textsearchbabbagequery001、textsearchcuriedoc001、textsearchcuriequery001、textsearchdavincidoc001、textsearchdavinciquery001。代码搜索嵌入：codesearchadatext001、codesearchbabbagecode001、codesearchbabbagetext001。对于001 文本嵌入（不是002，也不是代码嵌入），建议将输入中的换行符替换为单个空格，因为当存在换行符时可能会有更糟糕的结果。