Wanna be a thinker

테스트를 자동화한다고 했을 때, 자동과 수동의 경계는 어떻게 될까?

한 칼럼에서 읽은 내용을 정리했다.

"테스트 자동화"라고 하면 일반적 인식으로는 PT의 기능 요건에 한정된다.

테스트는 공정에 따라, 종류에 따라 분류할 수 있다.

(1) 공정

- 개발자 담당 : PT(Program Test), IT(Integration Test), ST(System Test)

- 고객 담당 : 수입 테스트, OT(Operation Test), BT(Beta Test)

(2) 종류

- 기능 요건 : 기능 테스트

- 비기능 요건: 성능 테스트, 조작성 테스트, 보안 테스트

테스트 자동화 시, 필요한 상황 인식

1) 현 시스템은 어떤 단계의 테스트까지 진행할 필요가 있는가?

2) 그 중 어떤 테스트를 자동화 할 것인가?

3) 자동화 할 수 없는 부분은 어느 타이밍에 확인할 것인가?

테스트 툴 추천

1) Selenium Web Driver

- 화면 조작계 시험의 자동화 툴

- 간단한 스크립트를 작성하여 사용

- 화면 표시 내용과 기대치를 비교한 검증이 가능

2) Apache JMeter

- 부하 시험용 툴

3) OWASP ZAP

- 보안 테스트 툴

참고 : qiita.com/gevanni/items/ff9a27936a1a6df28b9a

1. 목적

결합시험 사양서를 어떻게 작성해야 하는지 이해하자.

2. WHAT

결합시험 사양서 작성법에 대해 이해한다.

3. WHY

올바른 관점으로 결합시험을 수행하기 위해서이다.

4. HOW

  4.1. 결합시험이란?

  - 복수의 모듈을 조합 시, 정상 동작 하는지를 확인한다.

  - 확인 관점

    1) 모듈간 인터페이스를 확인

    2) 모듈 전체 조합 후 동작을 확인

  4.2. 결합시험의 종류

    4.2.1. 인터페이스 테스트

    인터페이스 규격, 연계 종류, 연계 방법 등 요건에 맞게 테스트 한다.

    - 모듈 간 연계를 위해 규격화된 정보를 확인한다.  ex) 매개변수 갯수, 타입 / 형식 / 문자코드, 개행코드

    - 연계 방법에는 파일 연계, API 연계가 있으므로 요건에 맞게 테스트한다.

    - 요건에 따라 시스템 내부, 시스템 간, 외부 시스템과의 연계를 테스트한다.

    4.2.2. 업무 시나리오 테스트

    4.2.3. 예외처리 테스트

    4.2.4. 부하 테스트

    - 대량의 Access나 DB내 대량의 데이터에 대한 CRUD를 대상으로 한다.

    - 관점은 다음 두 가지가 있다.

      1) 처리가 제 시간 내에 이루어 지는가?

      2) 시스템을 계속 가동할 수 있는가?

    4.2.5. 보안 테스트

  4.3. 결합시험 시나리오를 작성하는 Point

    4.3.1. 업무 종류, 업무 흐름을 의식한다.

    - 업무를 고려하면 기능간 연계를 확인하기 쉽다.

    - 단점으로는 정상계 기능만 의식하기 쉽다.

    4.3.2. 업무상, 시스템상의 이레귤러를 고려한다.

    - 이레귤러의 고려는 시스템의 품질을 좌우한다.

    - 업무상의 이레귤러를 고려한다.

    ex) 계좌 잔액이 부족하기 때문에 결제 승인을 거부한다.

    - 시스템상의 이레귤러를 고려한다.

    ex) Access량이 많아서 서버가 다운되었을 때의 예외처리

  4.4. 요약

    1) 시험관점 설정

    2) 업무 흐름, 이레귤러를 의식한 시험항목 작성

참고 : kabblog.net/417/

개요

단체 시험이 끝난 복수의 모듈을 결합하여 동작시킨다.

목표

모듈 간 인터페이스에 관한 버그를 검출하는 것이다.

목적

사양대로 동작함을 증명하여 성과물의 품질을 보증한다.

장단점

단체 시험의 약점인 결합부의 확인이 가능하지만,

버그의 원인 특정이 어렵다는 단점이 있다.

관점

1. 기능 요건

  1.1. 정상 패턴 확인

  1.2. 이레귤러 패턴 확인

2. 비기능 요건

  2.1. 성능 확인

  2.2. 조작성 확인

  2.3. 보안 확인

대표적 수법

1. TopDown

가짜 하위 모듈인 '스터브(Stub)'를 이용하여, 상위 모듈의 인터페이스를 확인한다.

2. BottomUp

가짜 상위 모듈인 '드라이버(Driver)'를 이용하여, 하위 모듈의 인터페이스를 확인한다.