Prototipagem com modelos de IA

Se você deseja desenvolver um aplicativo de IA generativa, pode usar GitHub Models para encontrar e experimentar modelos de IA gratuitamente. Quando estiver pronto para colocar seu aplicativo em produção, você poderá alternar para um token de uma conta paga do Azure. Confira a documentação de IA do Azure.

Confira também "Uso responsável do GitHub Models"

Encontrar modelos de IA

Para encontrar modelos de IA, vá para GitHub Marketplace e clique em Modelos na barra lateral.

Para exibir detalhes sobre um modelo, clique no nome do modelo.

Experimentar modelos de IA no playground

O GitHub Marketplace fornece um playground gratuito onde você pode ajustar os parâmetros do modelo e enviar prompts para ver como o modelo responde.

Para abrir o playground, vá para GitHub Marketplace e clique em Modelos na barra lateral. Clique no nome de um modelo e, em seguida, clique em Playground.

Para ajustar os parâmetros do modelo, selecione a guia Parâmetros na barra lateral. Para ver o código que corresponde aos parâmetros selecionados, alterne da guia Chat para a guia Código.

O playground possui limitação de fluxo. Consulte os Limites de fluxo abaixo.

Experimentar modelos de IA usando a API

A GitHub oferece o uso gratuito da API para que você possa experimentar modelos de IA em seu próprio aplicativo.

Para saber como usar um modelo em seu aplicativo, vá para GitHub Marketplace e clique em Modelos na barra lateral. Clique no nome de um modelo e, em seguida, clique em Código.

As etapas para usar cada modelo são semelhantes. Em geral, você precisará:

1. Opcionalmente, use o menu suspenso de linguagem para selecionar a linguagem de programação.

2. Opcionalmente, use a lista suspensa SDK para selecionar qual SDK usar.

   Todos os modelos podem ser usados com o SDK de Inferência de IA do Azure e alguns modelos dão suporte a SDKs adicionais. Se você quiser alternar facilmente entre os modelos, selecione "SDK de Inferência de IA do Azure". Se você selecionou "REST" como linguagem, não usará um SDK. Em vez disso, você usará o ponto de extremidade de API diretamente.

3. Abra um codespace ou configure seu ambiente local:

   • Para executar em um codespace, clique em Executar codespace e clique em Criar novo codespace.
   • Para executar localmente:
     • Crie um GitHub personal access token. O token não deve ter nenhum escopo ou permissão. Confira "Gerenciar seus tokens de acesso pessoal".
     • Salve seu token em uma variável de ambiente.
     • Instale as dependências para o SDK, se necessário.

4. Use o código de exemplo para fazer uma solicitação para o modelo.

O uso gratuito da API possui limitação de fluxo. Consulte os Limites de fluxo abaixo.

Experimentar modelos de IA usando GitHub CLI

Use GitHub Models com o GitHub CLI para experimentar com modelos de IA da linha de comando.

Pré-requisitos

Para usar a extensão da CLI GitHub Models, você deverá ter o GitHub CLI instalado. Para obter instruções de instalação para GitHub CLI, veja o repositório GitHub CLI.

Como instalar a extensão

1. Se você ainda não se autenticou na GitHub CLI, execute o comando a seguir em seu terminal.

   Shell

   gh auth login
   

2. Para instalar a extensão GitHub Models, execute o comando a seguir.

   Shell

   gh extension install https://github.com/github/gh-models
   

Usar a extensão

Para ver uma lista de todos os comandos disponíveis, execute gh models help. Para executar a extensão no modo interativo, execute gh models run. Isso solicitará que você selecione um modelo e, em seguida, insira um prompt. A extensão retornará uma resposta do modelo.

Para obter mais informações sobre o que você pode fazer com a GitHub CLI, confira o manual da GitHub CLI.

Entrar em produção

Os limites de fluxo para o playground e o uso gratuito da API destinam-se a ajudá-lo a experimentar modelos e desenvolver seu aplicativo de IA. Quando estiver pronto para colocar seu aplicativo em produção, você poderá usar um token de uma conta paga do Azure em vez de GitHub personal access token. Você não precisa adicionar ou alterar nada mais em seu código. Para obter mais informações, consulte a documentação de IA do Azure.

Limitações de fluxo

O playground e o uso gratuito da API são limitados por solicitações por minuto, solicitações por dia, tokens por solicitação e solicitações simultâneas. Se você tiver uma limitação de fluxo, precisará aguardar a redefinição do limite de fluxo atingido antes de fazer mais solicitações.

Os modelos baixo, alto e de incorporação têm limites de fluxo diferentes. Para ver qual tipo de modelo você está usando, consulte as informações do modelo em GitHub Marketplace.

Nível de limitação de fluxo	Limitações de fluxo	Gratuito e Copilot Individual	Copilot Business	Copilot Enterprise
Baixa	Solicitações por minuto	15	15	20
	Solicitações por dia	150	300	450
	Tokens por solicitação	8000 entradas, 4000 saídas	8000 entradas, 4000 saídas	8000 entradas, 8000 saídas
	Solicitações simultâneas	5	5	8
Alto	Solicitações por minuto	10	10	15
	Solicitações por dia	50	100	150
	Tokens por solicitação	8000 entradas, 4000 saídas	8000 entradas, 4000 saídas	16000 entradas, 8000 saídas
	Solicitações simultâneas	2	2	4
Inserção	Solicitações por minuto	15	15	20
	Solicitações por dia	150	300	450
	Tokens por solicitação	64000	64000	64000
	Solicitações simultâneas	5	5	8
Azure OpenAI o1-preview	Solicitações por minuto	1	2	2
	Solicitações por dia	8	10	12
	Tokens por solicitação	4000 entradas, 4000 saídas	4000 entradas, 4000 saídas	4000 entradas, 8000 saídas
	Solicitações simultâneas	1	1	1
Azure OpenAI o1-mini	Solicitações por minuto	2	3	3
	Solicitações por dia	12	15	20
	Tokens por solicitação	4000 entradas, 4000 saídas	4000 entradas, 4000 saídas	4000 entradas, 4000 saídas
	Solicitações simultâneas	1	1	1

Estes limites estão sujeitos a alterações sem aviso prévio.

Deixar feedback

Para deixar feedback sobre GitHub Models, inicie uma nova discussão ou comente em uma discussão existente na Comunidade do GitHub.