三个基本参数适配主流平台和模型

[chenxizhang]

这个模块设计的初衷是抹平市面上主流平台和模型之间的差异，让用户可以用一个统一的方式开启 ChatGPT体验或文本/图像生成体验。为了实现这一个目标，我们针对三个基本参数进行了设计，以便它能适配几乎所有主流的平台和模型。

目前我们支持的主流平台和模型包括： OpenAI, Azure OpenAI, Kimi, 智谱清言, DBRX, 甚至也支持用 ollama 提供支持的本地模型，另外就是任何其他与 OpenAI 适配的平台或模型。

这里提到三大参数，是指

api_key

这是平台或模型所需要的密钥，推荐使用 OPENAI_API_KEY 这个环境变量来保存。

• 如果你使用本地模型，其实一般是不需要密钥的，但为了统一设计，你仍然需要为api_key 指定一个值，但你可以随便指定。

endpoint

这是平台或模型所使用的服务端点地址，推荐使用 OPENAI_API_ENDPOINT 这个环境变量来保存。

• 如果不定义，也没有在调用时提供，则会默认认为你想用 OpenAI 默认的那个服务地址 https://api.openai.com/v1/chat/completions。

model

这是你需要使用的模型，推荐使用 OPENAI_API_MODEL 这个环境变量来保存。默认值是 gpt-3.5-turbo.

如果你完整地定义了上面三个环境变量，那么你在具体使用 chat 或 gpt 的功能时，就可以非常简单，不需要关心这些琐碎的事情了，你只需要关注具体你想实现什么功能了，否则你就需要在调用时分别指定它们 —— 有时候这也不是问题，例如你在一个自动化系统中使用时，你可能更倾向于直接在指令中指定参数，而不依赖外部的环境变量。所以，你可以视情况选择你最合适的方式。

[chenxizhang]

OpenAI 的参数获取来源

1. api_key https://platform.openai.com/api-keys
2. endpoint 你不需要指定 endpoint，除非它不再是 https://api.openai.com/v1/chat/completions
3. model https://platform.openai.com/docs/models

[chenxizhang]

Azure OpenAI 的参数获取来源

1. api_key， 创建资源后在上图位置复制
2. endpoint， 创建资源后在上图位置复制
3. model， Azure OpenAI 有着跟OpenAI类似的模型，但你要做一个自己的部署，然后把部署的名字作为模型名称提供。一般建议用跟模型一样的名字，但也有例外，因为这里的部署名称不能包含点（.) 这个字符，所以你要特别小心 gpt-3.5-turbo 这样的模型。

[chenxizhang]

本地模型的参数获取来源

我们很高兴看到 ollama 这样的工具，可以帮助我们快速地在本地运行模型，而且它也实现了跟OpenAI的兼容性，请参考他们的官方博客 https://ollama.com/blog/openai-compatibility 。

既如此，对我们来说就简单多了。

1. api_key，可以随便填一个即可
2. endpoint, 你可以填 http://localhost:11434/v1/chat/completions 或者直接用特殊关键字 ollama 或 local 指代即可。
3. model, 你需要指定需要用的模型，例如 llama3, phi 等。ollama 其实支持模型本地构建，很容易重命名，所以如果你真的指定一个 gpt-4-turbo 我也不会感到很奇怪。

[chenxizhang]

KIMI 的参数获取来源

KIMI 是中国的一个平台，它提供了很大的上下文能力。

1. api_key 请前往 https://platform.moonshot.cn/console/api-keys 申请。
2. endpoint 你可以指定 https://api.moonshot.cn/v1/chat/completions 或者用 kimi 这个关键字指代即可。
3. model ，参考 https://platform.moonshot.cn/docs/intro#模型列表。

[chenxizhang]

智谱清言 的参数获取来源

智谱清言是另外一个中国的平台，官方网站在 https://chatglm.cn/。

1. api_key 请前往 https://open.bigmodel.cn/usercenter/apikeys 申请。
2. endpoint 你可以指定 https://open.bigmodel.cn/api/paas/v4/chat/completions 或者用 zhipu 这个关键字指代即可。
3. model 请参考 https://open.bigmodel.cn/dev/api#language

[chenxizhang]

其他平台或模型

理论上，我们支持所有与 OpenAI 兼容的平台和模型，你完全可以通过完整指定这三个参数的方式来实现无缝的适配。

OpenAI 提供的 Chat Completions 的规范，请参考 https://platform.openai.com/docs/api-reference/chat/create 。

[chenxizhang]

DBRX 的参数获取来源

DBRX 是一款由 Databricks 公司出品的大语言模型，它的快速生成token的能力让我震惊。你可以在Databricks平台上面创建资源并使用。

1. api_key, 请提供你获取到的密钥
2. endpoint, 请提供完整路径，类似于 https://xxx.azuredatabricks.net/serving-endpoints/databricks-dbrx-instruct/invocations
3. model, 目前是 dbrx-instruct

这个模型目前也能通过 ollama 这个工具在本地运行，请参考 https://ollama.com/library/dbrx 和 #191 的说明。