Uso responsável dos resumos de solicitações de pull do GitHub Copilot

Sobre o Copilot pull request summaries

O Copilot pull request summaries é um recurso da plataforma AI que permite criar um resumo das alterações feitas em uma solicitação de pull, quais arquivos elas afetam e no que um revisor deve se concentrar quando fizer sua revisão.

O Copilot examinará a solicitação de pull e fornecerá uma visão geral das alterações feitas em formato de texto, bem como uma lista com marcadores das alterações com os arquivos que elas afetam.

O único idioma com suporte para Copilot pull request summaries é o inglês.

O Copilot pull request summaries usa um fluxo de prompt simples aproveitando a API do Copilot, sem modelos treinados adicionais. Isso utiliza o modelo genérico de linguagem grande.

Geração de resposta

O processo atual usa um modelo de linguagem grande para iniciar o processo de preenchimento automático e gerar o resumo da pull request.

Abordagem de pipeline

Quando um usuário solicita um resumo, um fluxo de trabalho é acionado. O fluxo de trabalho usa as comparações de código para criar uma chamada de prompt, que solicita ao Copilot que gere um resumo da solicitação de pull. A solicitação de resumo inicia um processo de pipeline que inclui comparações brutas de arquivos resumíveis em um prompt e solicita ao Copilot que gere resumos gerais para as pull requests.

Formatação de saída

Você pode iniciar esse recurso ao criar uma solicitação de pull, editando a descrição da solicitação de pull após a criação ou em um comentário na conversa da solicitação de pull. Após iniciação, o Copilot gerará um resumo de duas partes:

• Um parágrafo, escrito em prosa, dando uma visão geral das alterações na pull request.
• Uma lista com marcadores das alterações-chave vinculadas às respectivas linhas de código onde essas alterações ocorrem.

Pull requests maiores podem levar alguns minutos para serem geradas pelo Copilot. Dependendo das configurações da sua empresa, você poderá compartilhar seu feedback sobre um resumo diretamente na interface do usuário depois que um resumo for gerado para nos ajudar a continuar a melhorar o recurso.

Caso de uso para resumos de solicitações de pull

O objetivo do Copilot pull request summaries é ajudar a otimizar a capacidade de um autor de fornecer contexto rapidamente quando ele solicita uma revisão humana que requer o compartilhamento do contexto das alterações que foram feitas. Isso pode ajudar a aumentar a produtividade do desenvolvedor, reduzindo o tempo necessário para abrir uma solicitação de pull.

Para muitos usuários, ele pode fornecer um contexto mais útil para as alterações feitas em uma solicitação de pull do que normalmente estaria disponível.

Melhorar o desempenho de resumos de solicitações de pull

Use o Copilot Chat como ferramenta, não como substituição

O recurso destina-se a complementar em vez de substituir o trabalho de um humano de adicionar contexto, e recomendamos que você continue adicionando contexto útil e permita que o Copilot faça o trabalho de analisar o código e vinculá-lo a arquivos específicos. Continua sendo sua responsabilidade revisar e avaliar a precisão das informações em uma solicitação de pull que você cria.

Enviar feedback

Se você encontrar problemas ou limitações com o Copilot pull request summaries, poderá fornecer comentários clicando no botão "Resumo incorreto" (um ícone de polegar para baixo), que é exibido abaixo da caixa de texto depois que um resumo é gerado e antes de clicar em Criar pull request ou Atualizar comentário.

Depois de classificar um resumo como bom ou ruim, você pode fornecer comentários por escrito clicando no link exibido.

Limitações dos resumos de solicitações de pull

No momento, nossa equipe está ciente de que existem limitações para esse recurso. Muitas delas são esperadas ao utilizar nossa API do Copilot; no entanto, há algumas que são específicas do Copilot pull request summaries que dizem respeito a escopo limitado, tempos de processamento mais longos e respostas imprecisas. Também observamos que os usuários devem esperar que os termos usados em suas PRs apareçam no resumo gerado pela IA. Esse recurso foi sujeito ao RAI Red Teaming e continuaremos a monitorar a eficácia e a segurança do recurso ao longo do tempo. Para obter mais informações, confira Equipe do Microsoft AI Red construindo o futuro para a IA mais segura no blog de segurança da Microsoft.

Escopo limitado

Devido à capacidade, sabemos que solicitações de pull maiores que fazem referência a 30 ou mais arquivos exigirão mais tempo para serem processadas completamente. Não temos um limite exato atualmente, mas observamos os primeiros 30 arquivos sendo contabilizados e, em seguida, quaisquer arquivos adicionais sendo omitidos do resumo. Estamos trabalhando para resolver essa limitação de escopo atual.

Tempo de processamento

Em geral, esperamos que um resumo seja retornado em 40 segundos ou menos depois que um usuário inicia a ação. No entanto, ouvimos dizer que isso pode levar até um minuto e, em alguns casos, alguns minutos. Estamos trabalhando para diminuir o tempo de processamento e sabemos que os usuários podem não querer esperar que isso termine antes de passar para outras partes da solicitação de pull.

Respostas imprecisas

Quanto mais entradas e contexto o Copilot puder usar para aprender, melhores serão as saídas. No entanto, como o recurso é bastante novo, levará tempo para atingir a precisão exata com os resumos que são gerados. Enquanto isso, pode haver casos em que o resumo gerado é menos preciso e exige que o usuário faça modificações antes de salvar e publicar sua solicitação de pull com essa descrição. Além disso, há o risco de "alucinação", em que o Copilot gera afirmações imprecisas. Por esses motivos, a revisão é um requisito, e a revisão cuidadosa do resultado é altamente recomendada por nossa equipe.

Regenerando resumos

Os resumos de pull requests só são criados quando os usuários os solicitam manualmente. Quando os usuários enviam atualizações ou alterações em sua pull request, o resumo não é atualizado automaticamente. Os usuários podem solicitar que o Copilot gere um novo resumo, se necessário. É altamente recomendável a revisão manual do resumo atualizado do Copilot. O resumo atualizado traz os mesmos riscos de imprecisão que o resumo original.

Replicação do conteúdo da solicitação de pull

Como o resumo é um esboço das alterações feitas em uma solicitação de pull, se termos prejudiciais ou ofensivos estiverem dentro do conteúdo da solicitação de pull, é possível que o resumo também inclua esses termos.

Leitura adicional

• Central de Confiabilidade do GitHub Copilot
• Criar um resumo de solicitação de pull com o GitHub Copilot na documentação do GitHub Enterprise Cloud.