생성형 AI 애플리케이션을 개발하려는 경우 GitHub Models을(를) 사용하여 AI 모델을 무료로 찾고 실험할 수 있습니다. 애플리케이션을 프로덕션으로 가져올 준비가 되면 유료 Azure 계정에서 토큰으로 전환할 수 있습니다. Azure AI 설명서를 참조하세요.
"책임 있는 GitHub Models 사용"도 참조하세요.
AI 모델 찾기
AI 모델을 찾으려면 GitHub Marketplace(으)로 이동한 다음, 사이드바에서 모델을 클릭합니다.
모델에 대한 세부 정보를 보려면 모델 이름을 클릭합니다.
플레이그라운드에서 AI 모델 실험
Note
플레이그라운드는 제한된 공개 베타 버전이며 변경될 수 있습니다. 액세스를 요청하려면 대기 목록에 참가하세요.
GitHub Marketplace은(는) 모델 매개 변수를 조정하고 프롬프트를 제출하여 모델의 응답 방식을 확인할 수 있는 무료 플레이그라운드를 제공합니다.
플레이그라운드를 열려면 GitHub Marketplace(으)로 이동한 다음, 사이드바에서 모델을 클릭합니다. 모델 이름을 클릭한 다음, 플레이그라운드를 클릭합니다.
모델에 대한 매개 변수를 조정하려면 사이드바에서 매개 변수 탭을 선택합니다. 선택한 매개 변수에 해당하는 코드를 보려면 채팅 탭에서 코드 탭으로 전환합니다.
플레이그라운드의 속도는 제한됩니다. 아래 속도 제한을 참조하세요.
API를 사용하여 AI 모델 실험
Note
무료 API 사용은 제한된 공개 베타 버전이며 변경될 수 있습니다. 액세스를 요청하려면 대기 목록에 참가하세요.
GitHub은(는) 무료 API 사용을 제공하므로 사용자 고유의 애플리케이션에서 AI 모델을 실험할 수 있습니다.
애플리케이션에서 모델을 사용하는 방법을 알아보려면 GitHub Marketplace(으)로 이동한 다음, 사이드바에서 모델을 클릭합니다. 모델 이름을 클릭한 다음, 코드를 클릭합니다.
각 모델을 사용하는 단계는 비슷합니다. 일반적으로 다음을 수행해야 합니다.
-
필요에 따라 언어 드롭다운을 사용하여 프로그래밍 언어를 선택합니다.
-
필요에 따라 SDK 드롭다운을 사용하여 사용할 SDK를 선택합니다.
모든 모델은 Azure AI 유추 SDK에서 사용할 수 있으며, 일부 모델은 추가 SDK를 지원합니다. 모델 간에 쉽게 전환하려면 "Azure AI 유추 SDK"를 선택해야 합니다. 언어로 "REST"를 선택한 경우 SDK를 사용하지 않습니다. 대신 API 엔드포인트를 직접 사용합니다.
-
코드스페이스를 열거나 로컬 환경을 설정합니다.
- 코드스페이스에서 실행하려면 코드스페이스 실행을 클릭한 다음, 새 코드스페이스 만들기를 클릭합니다.
- 로컬로 실행하려면 다음을 수행합니다.
- GitHub personal access token을(를) 만듭니다. 토큰에는 범위 또는 권한이 없어야 합니다. "개인용 액세스 토큰 관리" 항목을 참조하세요.
- 토큰을 환경 변수로 저장합니다.
- 필요한 경우 SDK에 대한 종속성을 설치합니다.
-
예제 코드를 사용하여 모델을 요청합니다.
무료 API 사용의 속도는 제한됩니다. 아래 속도 제한을 참조하세요.
프로덕션으로 진행
플레이그라운드 및 무료 API 사용에 대한 속도 제한은 모델을 실험하고 AI 애플리케이션을 개발하는 데 도움을 주기 위한 것입니다. 애플리케이션을 프로덕션으로 가져올 준비가 되면 GitHub personal access token 대신 유료 Azure 계정의 토큰을 사용할 수 있습니다. 코드에서 다른 항목은 변경할 필요가 없습니다. 자세한 내용은 Azure AI 설명서를 참조하세요.
트래픽률 제한
플레이그라운드 및 무료 API 사용의 속도는 분당 요청 수, 일별 요청 수, 요청당 토큰 수 및 동시 요청 수로 제한됩니다. 속도가 제한되는 경우 더 많이 요청하려면 도달한 속도 제한을 다시 설정할 때까지 기다려야 합니다.
낮음, 높음 및 포함 모델에는 다양한 속도 제한이 있습니다. 사용하고 있는 모델 유형을 확인하려면 GitHub Marketplace의 모델 정보를 참조하세요.
| 속도 제한 계층 | 속도 제한 | 무료 및 Copilot Individual | Copilot Business | Copilot Enterprise |
|---|---|---|---|---|
| 낮음 | 분당 요청 수 | 15 | 15 | 20 |
| 일별 요청 수 | 150 | 300 | 450 | |
| 요청당 토큰 수 | 8000(입력), 4000(출력) | 8000(입력), 4000(출력) | 8000(입력), 8000(출력) | |
| 동시 요청 | 5 | 5 | 8 | |
| 높음 | 분당 요청 수 | 10 | 10 | 15 |
| 일별 요청 수 | 50 | 100 | 150 | |
| 요청당 토큰 수 | 8000(입력), 4000(출력) | 8000(입력), 4000(출력) | 16000(입력), 8000(출력) | |
| 동시 요청 | 2 | 2 | 4 | |
| 포함 | 분당 요청 수 | 15 | 15 | 20 |
| 일별 요청 수 | 150 | 300 | 450 | |
| 요청당 토큰 수 | 64000 | 64000 | 64000 | |
| 동시 요청 | 5 | 5 | 8 |
이러한 제한은 통지 없이 변경될 수 있습니다.
피드백 남기기
GitHub Models에 대한 피드백을 남기려면 GitHub 커뮤니티에서 새로운 토론을 시작하거나 기존 토론에 의견을 남겨주세요.