테스트 실행

Note

이 콘텐츠는 CodeQL CLI의 최신 릴리스에 대해 설명합니다. 이 요소에 대한 자세한 내용은 https://github.com/github/codeql-cli-binaries/releases을(를) 참조하세요.

이전 릴리스에서 이 명령에 사용할 수 있는 옵션의 세부 정보를 보려면 터미널에서 옵션을 사용하여 --help 명령을 실행합니다.

개요

Shell

codeql test run [--threads=<num>] [--ram=<MB>] <options>... -- <test|dir>...

codeql test run [--threads=<num>] [--ram=<MB>] <options>... -- <test|dir>...

옵션

기본 옵션

`<test|dir>...`

각 인수는 다음 중 하나입니다.

실행할 테스트를 정의하는 .ql 또는 .qlref 파일입니다.
실행할 파일을 재귀적으로 검색할 디렉터리입니다.

`--failing-exitcode=<code>`

[고급] 오류가 발생하는 경우 생성할 종료 코드를 설정합니다. 일반적으로 1이지만 출력을 구문 분석하는 도구는 0으로 설정하는 것이 유용할 수 있습니다.

`--format=<fmt>`

출력 형식을 선택합니다. 가능한 선택 사항:

text (기본값): 사람이 읽을 수 있는 텍스트 렌더링입니다.

json: 테스트 결과 개체의 스트리밍된 JSON 배열입니다.

betterjson: 이벤트 개체의 스트리밍된 JSON 배열입니다.

jsonz: 0으로 끝나는 JSON 테스트 결과 개체의 스트림입니다.

betterjsonz: 0으로 끝나는 JSON 이벤트 개체의 스트림입니다.

betterjson 및 betterjsonz 형식의 경우 각 이벤트에는 이벤트의 유형을 지정하는 type 속성이 있습니다. 나중에 새로운 이벤트 유형이 추가될 수 있으므로 소비자는 인식할 수 없는 kind 속성이 있는 모든 이벤트를 무시해야 합니다.

`--[no-]keep-databases`

[고급] 디렉터리의 모든 테스트가 통과하더라도 테스트 쿼리를 실행하기 위해 추출된 데이터베이스를 유지합니다. (테스트가 _실패_한 경우 데이터베이스는 항상 남아 있습니다).

`--[no-]fast-compilation`

[사용되지 않음] [고급] 테스트 쿼리를 컴파일링할 때 특히 느린 최적화 단계를 생략합니다.

`--[no-]learn`

[고급] 테스트가 예기치 않은 출력을 생성하는 경우 실패하는 대신 실제 출력과 일치하도록 .expected 파일을 업데이트하여 통과하도록 합니다. 이 모드에서도 쿼리할 테스트 데이터베이스를 만들지 못하는 경우와 같이 테스트가 실패할 수 있습니다.

`--consistency-queries=<dir>`

[고급] 각 테스트 데이터베이스에 대해 실행될 일관성 쿼리가 있는 디렉터리입니다. 테스트 디렉터리에 .expected 파일이 있는 CONSISTENCY 하위 디렉터리가 포함되지 않는 한 해당 쿼리는 어떤 출력도 생성해서는 안 됩니다(문제를 발견한 경우 제외). 주로 추출기를 테스트하는 데 유용합니다.

`--[no-]check-databases`

[고급] 만든 각 테스트 데이터베이스에 대해 codeql dataset check를 실행하고 불일치가 감지되면 실패를 보고합니다. 주로 추출기를 테스트하는 데 유용합니다. 특정 데이터베이스에 대한 검사가(일시적으로!) 실패할 것으로 예상되는 경우 테스트 디렉터리에 DB-CHECK.expected 파일을 배치하세요.

`--[no-]show-extractor-output`

[고급] 테스트 데이터베이스를 만드는 추출기 스크립트의 출력을 표시합니다. 테스트 사례를 개발하거나 편집하는 동안 유용할 수 있습니다. 여러 스레드와 함께 사용하는 경우 중복되거나 잘못된 형식의 출력이 발생할 수 있으니 주의하세요!

`--slice=<N/M>`

[고급] 테스트 사례를 대략 같은 크기의 _M_개 조각으로 나누고 그 중 _N_번째 조각만 처리합니다. 테스트 프로세스의 수동 병렬화에 사용할 수 있습니다.

`--[no-]strict-test-discovery`

[고급] 테스트로 확고하게 식별할 수 있는 쿼리만 사용합니다. 이 모드는 단위 테스트를 정의하는 .ql 파일과 유용한 쿼리인 .ql 파일을 구분하려고 합니다. 이 옵션은 디렉터리 트리의 파일 정렬 방식에 대한 사전 지식에 의존하지 않고 디렉터리 트리의 모든 단위 테스트를 식별해야 하는 IDE와 같은 도구에서 사용됩니다.

qlpack.yml이 tests 디렉터리를 선언하는 QL 팩 내에서 해당 디렉터리의 모든 .ql 파일은 테스트로 간주되며 그 외부의 .ql 파일은 무시됩니다. tests 디렉터리를 선언하지 않는 QL 팩에서 .ql 파일은 해당 .expected 파일이 있는 경우에만 테스트로 식별됩니다.

일관성을 위해 .qlref 파일이 실제로 테스트가 아닌 파일일 수 없더라도 .qlref 파일은 .ql 파일과 동일한 규칙으로 제한됩니다.

테스트에 사용되는 라이브러리 및 추출기를 찾는 옵션

`--search-path=<dir>[:<dir>...]`

QL 팩을 찾을 수 있는 디렉터리 목록입니다. 각 디렉터리는 QL 팩(또는 루트에 .codeqlmanifest.json 파일이 포함된 팩 번들) 또는 그러한 디렉터리 하나 이상의 직계 부모일 수 있습니다.

경로에 둘 이상의 디렉터리가 포함된 경우 디렉터리의 순서가 우선 순위를 정의합니다. 확인해야 하는 팩 이름이 디렉터리 트리 중 둘 이상에서 일치하는 경우 먼저 지정된 디렉터리가 우선합니다.

오픈 소스 CodeQL 리포지토리의 체크 아웃에서 이를 가리키면 해당 리포지토리에 있는 언어 중 하나를 쿼리할 때 작동해야 합니다.

압축을 푼 CodeQL 툴체인의 형제로 CodeQL 리포지토리를 체크 아웃한 경우 이 옵션을 지정할 필요가 없습니다. 이러한 형제 디렉터리는 다른 방법으로는 찾을 수 없는 QL 팩으로 항상 검색됩니다. (이 기본값이 작동하지 않는 경우 사용자별 구성 파일에서 --search-path를 한 번만 설정하는 것이 좋습니다).

(참고: Windows에서는 경로 구분 기호가 ;입니다.)

`--additional-packs=<dir>[:<dir>...]`

이 디렉터리 목록이 지정된 경우 --search-path에 있는 디렉터리보다 먼저 팩이 검색됩니다. 이 사이의 순서는 중요하지 않습니다. 이 목록을 통해 서로 다른 두 위치에서 팩 이름을 찾을 경우 오류가 발생합니다.

이 기능은 기본 경로에도 표시되는 팩의 새 버전을 일시적으로 개발하는 경우에 유용합니다. 반면에 구성 파일에서 이 옵션을 재정의하는 것은 권장되지 않습니다. 일부 내부 작업에서는 구성된 값을 재정의하여 즉시 이 옵션을 추가합니다.

(참고: Windows에서는 경로 구분 기호가 ;입니다.)

`--library-path=<dir>[:<dir>...]`

[고급] QL 라이브러리의 원시 가져오기 검색 경로에 추가될 선택적 디렉터리 목록입니다. QL 팩으로 패키지되지 않은 QL 라이브러리를 사용하려는 경우에만 사용해야 합니다.

(참고: Windows에서는 경로 구분 기호가 ;입니다.)

`--dbscheme=<file>`

[고급] 컴파일해야 하는 dbscheme 쿼리를 명시적으로 정의합니다. 자신이 수행하고 있는 작업에 대해 매우 확신하는 호출자에 의해서만 지정되어야 합니다.

`--no-default-compilation-cache`

[고급] 쿼리를 포함하는 QL 팩 또는 CodeQL 툴체인 디렉터리와 같은 표준 위치에서 컴파일 캐시를 사용하지 않습니다.

CodeQL 패키지 관리자를 구성하는 옵션

`--registries-auth-stdin`

쉼표로 구분된 <registry_url>=<token> 쌍 목록을 전달하여 GitHub Enterprise Server 컨테이너 레지스트리에 인증합니다.

예를 들어 https://containers.GHEHOSTNAME1/v2/=TOKEN1,https://containers.GHEHOSTNAME2/v2/=TOKEN2를 전달하여 두 개의 GitHub Enterprise Server 인스턴스에 인증할 수 있습니다.

이렇게 하면 CODEQL_REGISTRIES_AUTH 및 GITHUB_TOKEN 환경 변수가 재정의됩니다. github.com 컨테이너 레지스트리에만 인증해야 하는 경우 더 간단한 --github-auth-stdin 옵션을 사용하여 인증할 수 있습니다.

`--github-auth-stdin`

표준 입력을 통해 github.com에 GitHub Apps 토큰 또는 개인용 액세스 토큰을 전달하여 github.com 컨테이너 레지스트리에 인증합니다.

GitHub Enterprise Server 컨테이너 레지스트리에 인증하려면 --registries-auth-stdin을 전달하거나 CODEQL_REGISTRIES_AUTH 환경 변수를 사용합니다.

이렇게 하면 GITHUB_TOKEN 환경 변수가 재정의됩니다.

쿼리 컴파일을 제어하는 옵션

`--no-release-compatibility`

[고급] 이식성을 희생하고 최신 컴파일러 기능을 사용합니다.

때때로 QL 평가기는 새로운 QL 언어 기능 및 평가기 최적화를 QL 컴파일러가 기본적으로 사용하기 전에 몇몇 릴리스에서 지원합니다. 이렇게 하면 최신 CodeQL 릴리스에서 쿼리를 개발할 때 경험하는 성능이 코드 검사 또는 CI 통합에 아직 사용 중일 수 있는 약간 이전 릴리스와 일치할 수 있습니다.

쿼리가 다른(이전 또는 이후) CodeQL 릴리스와 호환되는 것에 신경 쓰지 않는 경우 이 플래그를 사용하여 컴파일러의 최근 개선 사항을 조기에 사용하도록 설정하고 약간의 추가 성능을 얻을 수 있습니다.

사용할 수 있는 최근 개선 사항이 없는 릴리스에서 이 옵션은 자동으로 아무 작업도 수행하지 않습니다. 따라서 전역 CodeQL 구성 파일에서 한 번만 설정해도 안전합니다.

v2.11.1부터 사용할 수 있습니다.

테스트 쿼리 평가를 제어하는 옵션

`--[no-]tuple-counting`

[고급] 쿼리 평가기 로그에 각 평가 단계에 대한 튜플 수를 표시합니다. --evaluator-log 옵션이 제공되면 명령으로 생성된 텍스트 기반 및 구조화된 JSON 로그 모두에 튜플 수가 포함됩니다. (복잡한 QL 코드의 성능 최적화에 유용할 수 있습니다.)

시간 제한 기능은 복잡한 쿼리를 평가하는 데 "영원히" 걸리는 사례를 잡아내기 위한 것입니다. 쿼리 평가에 걸릴 수 있는 총 시간을 제한하는 효과적인 방법은 아닙니다. 별도로 시간이 지정된 각 계산 부분이 시간 제한 내에 완료되는 한 평가를 계속할 수 있습니다. 현재 이렇게 별도로 시간이 지정된 부분은 최적화된 쿼리의 "RA 계층"이지만 나중에 변경될 수 있습니다.

시간 제한이 지정되지 않거나 0으로 지정된 경우 시간 제한이 설정되지 않습니다(기본 시간 제한이 5분인 codeql test run 제외).

`-j, --threads=<num>`

해당 스레드 수를 사용하여 쿼리를 평가합니다.

기본값은 1입니다. 0을 전달하여 컴퓨터의 코어당 하나의 스레드를 사용하거나 -_N_을 전달하여 _N_개의 코어를 사용하지 않은 상태로 둘 수 있습니다(하나 이상의 스레드를 계속 사용하는 경우 제외).

구조화된 평가기 로그의 출력을 제어하는 옵션

`--evaluator-log=<file>`

[고급] 평가기 성능에 대한 구조화된 로그를 지정된 파일로 출력합니다. 이 로그 파일의 형식은 예고 없이 변경될 수 있지만 두 개의 줄 바꿈 문자(기본값) 또는 --evaluator-log-minify 옵션이 전달된 경우 하나의 기본값 문자로 구분된 JSON 개체 스트림입니다. codeql generate log-summary <file>을(를) 사용하여 이 파일에 대한 보다 안정적인 요약을 생성하고 파일을 직접 구문 분석하지 마십시오. 파일이 이미 있으면 덮어씁니다.

누가 이 기능을 사용할 수 있나요?

이 문서의 내용