Temperature 是用于控制模型输出随机性的参数。较高的温度值会增加输出的多样性和创造性，使模型的回答更具随机性；较低的温度值会使模型的回答更加确定和保守。通过调整 Temperature，可以根据需求获得更多样化或更专注的输出。例如，对于质量保障（QA）等任务，可设置更低的温度值以促使模型基于事实返回更真实和简洁的结果；对于诗歌生成或其他创造性任务，可以适当调高温度值。
Top P 也称为 nucleus sampling，是一种文本生成策略。它允许模型在生成每个新词时只考虑累积概率分布的前 P%最可能的词。如果需要准确和事实的答案，可把参数值调低；如果想要更多样化的答案，就把参数值调高一些。一般建议是改变 Temperature 和 Top P 其中一个参数就行，不用两个都调整。
1.Model Provider：提供大模型的公司或组织2.Model Name:特定模型的名称3.Temperature：此参数用于控制模型输出的随机性。较高的温度值会增加输出的多样性和创造性，而较低的温度值会使模型的回答更加确定和保守。通过调整Temperature，可以根据需要获得更多样化或更专注的输出。4.Maximum Tokens：此参数定义了模型单次生成文本的最大长度，设置的太小会限制模型单次回复长度。5.Seed：Seed用于确保在相同的输入和参数设置下，模型的输出是可重复的。这对于调试和比较不同模型或参数设置的效果非常有用。6.Top P：Top P，也称为nucleus sampling，是一种文本生成策略，它允许模型在生成每个新词时只考虑累积概率分布的前P%最可能的词。7.Frequency Penalty：此参数是一个用于调整模型输出中词频的参数。通过增加某个词的频率惩罚，模型在生成文本时会减少使用该词的倾向，这有助于避免重复和常见的词汇，增加输出的多样性和新颖性。8.Presence Penalty：Presence Penalty用于控制模型输出中某些词或短语的出现频率。与频率惩罚类似，存在惩罚可以减少特定词汇的使用，但不同于频率惩罚的是，存在惩罚更侧重于避免在输出中过度强调某些概念或主题。这有助于生成更平衡和全面的文本内容。介绍完基本设置，接下来我们就可以创建整个提示词了。
使用提示词时，您会通过API或直接与大语言模型进行交互。你可以通过配置一些参数以获得不同的提示结果。调整这些设置对于提高响应的可靠性非常重要，你可能需要进行一些实验才能找出适合您的用例的正确设置。以下是使用不同LLM提供程序时会遇到的常见设置：Temperature：简单来说，temperature的参数值越小，模型就会返回越确定的一个结果。如果调高该参数值，大语言模型可能会返回更随机的结果，也就是说这可能会带来更多样化或更具创造性的产出。我们目前也在增加其他可能token的权重。在实际应用方面，对于质量保障（QA）等任务，我们可以设置更低的temperature值，以促使模型基于事实返回更真实和简洁的结果。对于诗歌生成或其他创造性任务，你可以适当调高temperature参数值。Top_p：同样，使用top_p（与temperature一起称为核采样的技术），可以用来控制模型返回结果的真实性。如果你需要准确和事实的答案，就把参数值调低。如果你想要更多样化的答案，就把参数值调高一些。一般建议是改变Temperature和Top P其中一个参数就行，不用两个都调整。Max Length：您可以通过调整max length来控制大模型生成的token数。指定Max Length有助于防止大模型生成冗长或不相关的响应并控制成本。Stop Sequences：stop sequence是一个字符串，可以阻止模型生成token，指定stop sequences是控制大模型响应长度和结构的另一种方法。例如，您可以通过添加“11”作为stop sequence来告诉模型生成不超过10个项的列表。Frequency Penalty：frequency penalty是对下一个生成的token进行惩罚，这个惩罚和token在响应和提示中出现的次数成比例，frequency penalty越高，某个词再次出现的可能性就越小，这个设置通过给重复数量多的Token设置更高的惩罚来减少响应中单词的重复。
1.Model Provider：提供大模型的公司或组织2.Model Name:特定模型的名称3.Temperature：此参数用于控制模型输出的随机性。较高的温度值会增加输出的多样性和创造性，而较低的温度值会使模型的回答更加确定和保守。通过调整Temperature，可以根据需要获得更多样化或更专注的输出。4.Maximum Tokens：此参数定义了模型单次生成文本的最大长度，设置的太小会限制模型单次回复长度。5.Seed：Seed用于确保在相同的输入和参数设置下，模型的输出是可重复的。这对于调试和比较不同模型或参数设置的效果非常有用。6.Top P：Top P，也称为nucleus sampling，是一种文本生成策略，它允许模型在生成每个新词时只考虑累积概率分布的前P%最可能的词。7.Frequency Penalty：此参数是一个用于调整模型输出中词频的参数。通过增加某个词的频率惩罚，模型在生成文本时会减少使用该词的倾向，这有助于避免重复和常见的词汇，增加输出的多样性和新颖性。8.Presence Penalty：Presence Penalty用于控制模型输出中某些词或短语的出现频率。与频率惩罚类似，存在惩罚可以减少特定词汇的使用，但不同于频率惩罚的是，存在惩罚更侧重于避免在输出中过度强调某些概念或主题。这有助于生成更平衡和全面的文本内容。介绍完基本设置，接下来我们就可以创建整个提示词了。