将 Copilot 的 LLM 用于代理

关于 Copilot 的语言学习模型 (LLM)

Copilot的语言学习模型 (LLM) 是一种功能强大的大规模语言模型，根据各种数据源（包括代码、文档和其他文本）进行训练。 Copilot 的 LLM 是 GitHub Copilot 功能的基础，用于支持所有 Copilot 的功能，包括代码生成、文档生成和代码完成。

可以选择使用 Copilot 的 LLM 为代理提供支持，如果希望代理能够生成用户消息的补全，但又不想管理自己的 LLM，这将非常有用。

将 Copilot 的 LLM 用于代理

可以通过 POST 请求在 https://api.githubcopilot.com/chat/completions 中调用 Copilot 的 LLM 部署。 请求和响应的格式应与 OpenAI API 相同。

要进行身份验证，请使用发送到代理的相同 X-Github-Token 标头。 有关详细信息，请参阅“配置 Copilot 代理以与 GitHub 通信”。

以下是 Blackbeard 扩展如何使用 Copilot 的 LLM 部署为用户消息生成补全的示例：

  // Use Copilot's LLM to generate a response to the user's
  //  messages, with our extra system messages attached.
  const copilotLLMResponse = await fetch(
    "https://api.githubcopilot.com/chat/completions",
    {
      method: "POST",
      headers: {
        authorization: `Bearer ${tokenForUser}`,
        "content-type": "application/json",
      },
      body: JSON.stringify({
        messages,
        stream: true,
      }),
    }
  );

要查看此示例的完整上下文，请参阅 Blackbeard 扩展。