9. 공개SW 테스트 프로세스


▣ 공개SW 테스트 프로세스 소개

공개SW 프로젝트의 경우 비교적 폐쇄적인 초기 개발 단계를 거쳐 공개된 뒤에, 커뮤니티와 호흡하는 공개SW 순환구조에 들어간다. 이러한 공개SW의 프로젝트 특성에 따라 공개SW 역량프라자에서는 시스템이 사용자의 요구사항에 맞게 동작하는지 확인하는 기능 테스트와, 동시 단말 사용자가 동시에 거래를 발생시키도록 하여 시스템의 상황을 점검하는 Spike 성능시험, 오랫동안 거래를 발생 시켰을 때의 시스템 상황을 점검하는 가용성 성능시험을 진행한다.

공개SW 테스트 수행절차는 다음과 같으며, 공개SW 역량프라자에서 수행하는 모든 테스트 활동에 기반이 된다.


【표 III-4. 테스트 수행 절차】
절차 주요내용
대상 선정 분야별 대체 가능한 공개SW 목록 조사
선정지표 기반 평가를 통한 대상 선정
   ※ 공개SW 포털을 통한 테스트 신청은 대상이 정해져 있으므로
      대상 선정 절차를 수행하지 않음
분석/설계 테스트 대상 매뉴얼 및 SW 구조 파악
테스트 케이스 및 시나리오 설계
테스트 도구 확보
테스트 실행 테스트 환경 구축
계획된 절차에 따라 테스트 수행 (기능/비기능)
예상 결과와 실제 결과 비교 및 결함 도출
테스트 종료 테스트 결과 분석 및 보고서 작성
공개SW 역량프라자 포털에 보고서 게시


▣ 대상 선정

수많은 공개SW 중 활용도 높은 공개SW를 선정하기 위해서는 객관적인 기준이 필요하다. 이에 공개SW 역량프라자에서는 공개SW 커뮤니티 및 기업에서 제공하는 다양한 정보를 기반으로 선정지표(표 III-5. 공개SW 선정지표 참조)를 개발하였다.
선정지표는 문서, 지원서비스, 제품, 커뮤니티 4개의 카테고리로 분류하였으며, 세부항목으로 51개 평가항목(표 III-6. 평가항목 참조)을 선정하여 공개SW 대상선정을 위한 평가 자료로 활용된다.


선정지표

【표 III-5. 공개SW 선정지표】
구분 항목 평가항목
문서
(Document)
기능성 접근통제
시스템 로그
상호운용성
표준준수
신뢰성 가용성
오류허용성
장애처리
백업처리
사용성 사용자 인터페이스
에러 메시지
한글지원
문서식별(버전)
문서포맷
목차
색인
효율성 시간효율성
처리효율성
자원효율성
유지보수성 시스템감시(모니터링)
환경정보 설정
유지보수 절차
이식성 SW 지원환경
HW 지원환경
호환시스템 정보
설치/삭제 가이드
지원서비스
(Support)
기술지원 메일링리스트
버그리스트
포럼(Q&A, FAQ)
24X7
국내벤더
교육 온라인교육
전문서적
국내 교육 기관
제품
(Product)
품질활동 QA조직 운영
BTS(Bug Tracking System)
릴리즈노트(Bug Fix 포함)
소스형상관리
SW 개요(SW 소개 및 주요특징)
라이선스 OSI 인증
상용 라이선스 정책
SW localization(한글) 지원
로드맵
버전 (1.0 이상 안정화 버전)
개발상태
지속성(릴리즈 주기)
커뮤니티
(Community)
사용자커뮤니티 포럼(사용자 간의 정보 공유 창구)
국내 커뮤니티
활동성
개발자커뮤니티 포럼(개발자 간의 정보 공유 창구)
국내 커뮤니티
활동성
※ 본 선정기준에 의해 선정된 공개SW 대상이 품질 및 성능의 우수성을 뜻하는 것은 아님


평가항목

【표 III-3. 2010/2011년 테스트 현황】
구분 항목 평가항목 평가
Document
(25)
기능성 접근통제 S : 정보제공 P : N/A N : 없음
시스템 로그 S : 정보제공 P : N/A N : 없음
상호운용성 S : 정보제공 P : N/A N : 없음
표준준수 S : 정보제공 P : N/A N : 없음
신뢰성 가용성 S : 정보제공 P : N/A N : 없음
오류허용성 S : 정보제공 P : N/A N : 없음
장애처리 S : 정보제공 P : N/A N : 없음
백업처리 S : 정보제공 P : N/A N : 없음
사용성 사용자 인터페이스 S : 모두 제공 P : 부분적 제공(세부화면 누락) N : 해당사항 없음
에러 메시지 S : 정보제공 P : N/A N : 없음
한글지원 S : 정보제공 P : N/A N : 없음
문서식별(버전) S : 정보제공 P : N/A N : 없음
문서포맷 S : 모두 제공 P : 부분적 제공(html or pdf) N : 해당사항 없음
목차 S : 정보제공 P : N/A N : 없음
색인 S : 정보제공 P : N/A N : 없음
효율성 시간효율성 S : 정보제공 P : N/A N : 없음
처리효율성 S : 정보제공 P : N/A N : 없음
자원효율성 S : 정보제공 P : N/A N : 없음
유지보수성 시스템감시 S : 자체기능제공 P : 플러그인을 통한 타 시스템 연계 N : 없음
환경정보 설정 S : GUI(관리자화면포함) P : CLI(콘솔기반) N : 없음
유지보수 절차 S : 정보제공 P : N/A N : 없음
이식성 SW 지원환경 S : 정보제공 P : N/A N : 없음
HW 지원환경 S : 최소/권장 사양 P : 일부(최소 or 권장) 사양 N : 없음
호환시스템 정보 S : 정보제공 P : N/A N : 없음
설치/삭제 가이드 S : 설치/삭제 가이드 P : 일부(설치 or 삭제) 가이드 N : 없음
Support
(25)
기술지원
(20)
메일링리스트 S : 정기 제공 P : 비정기 제공 N : 없음 (최근 6개월 or 릴리즈 기준)
버그리스트 S : 정보제공 P : N/A N : 없음
포럼(Q&A, FAQ) S : 응답율 80% 이상 P : 50% ~ 80% N : 기타 (최근 3개월 기준)
24X7 S : 무상제공 P : 유상제공 N : 없음
국내벤더 S : 존재 P : N/A N : 없음
교육
(5)
온라인교육 S : 정기교육과정 P : 동영상(비정기적) N : 없음
전문서적 S : 한글서적 P : 영문서적 N : 없음
국내 교육 기관 S : 존재 P : N/A N : 없음
Product
(30)
품질활동
(10)
QA조직 운영 S : 존재 P : N/A N : 없음
BTS S : 존재 P : N/A N : 없음
릴리즈노트 S : 신규기능 및 결함수정내역포함 P : 신규기능정보 N : 없음
소스형상관리 S : 사용 P : N/A N : 없음
SW
(20)
개요 S : 소개 및 주요특징 P : 소개 N : 없음
라이선스 OSI 인증 S : OSI호환 P : 자체 라이선스(OSI 미호환) N : 없음
상용 라이선스 정책 S : 존재 P : N/A N : 없음
한글 지원 S : 모두 지원 P : 일부 지원(메뉴) N : 없음
로드맵 S : 정보제공 P : N/A N : 없음
버전 S : 메이저버전 P : 마이너버전 N : 버전 없음
개발상태 S : Production, 신규 Beta P : Beta N : 기타
지속성 S : 릴리즈 주기 6개월 이하 P : 6개월 이상 ~ 1년 이하 N : 1년 이상
Community
사용자
커뮤니티
(10)
포럼 S : 존재 P : N/A N : 없음
국내 커뮤니티 S : 존재 P : N/A N : 없음
활동성 S : 정보갱신 1개월 이하 P : 1개월 이상 ~ 3개월 이하 N : 기타
개발자
커뮤니티
(10)
포럼 S : 존재 P : N/A N : 없음
국내 커뮤니티 S : 존재 P : N/A N : 없음
활동성 S : 정보갱신 1개월 이하 P : 1개월 이상 ~ 3개월 이하 N : 기타
※ 각 항목은 S(Satisfied, 만족) 1점, P(Partially Satisfied, 부분만족) 0.5점, N(Not Satisfied, 불만족) 0점으로 평가하며 각 항목에 대한 가중치를 곱하여 총점을 계산


평가항목

【표 III-3. 2010/2011년 테스트 현황】
구분 대상 항목(배점) 총점
(100)
Document
(25)
Support
(25)
Product
(30)
Community
(20)
WEB Apache 21.5 21.7 22.5 13.3 79
Lighttpd 16.5 12.8 22.5 13.3 65.2
NginX 20 15.7 20 13.3 69
WAS JBoss 20 22.2 27.5 16.7 86.3
Resin 18 15.7 20 10 63.7
Tomcat 21 19.7 25 13.3 79
DB Cubrid 20.5 23 25 20 88.5
MySQL 21 23 25 18.3 87.3
PostgreSQL 20.5 19.7 22.5 6.7 69.3
OS CentOS 15.5 21.3 20 6.7 63.5
OpenSUSE 16 13.7 27.5 16.7 73.8
SUlinux 14 15 17.5 8.3 54.8
Ubuntu 18 17.3 25 18.3 8.7
※ 분야별 알파벳순으로 정렬



[연재 차례]

① SW 테스트 이해
② SW 테스트 필요성
③ SW 프로세스
④ SW 프로세스와 테스트
⑤ SW 테스트 프로세스
⑥ SW 테스트 기법
⑦ 공개SW 프로세스
⑧ 공개SW 테스트
⑨ 공개SW 테스트 프로세스
⑩ 테스트 도구
맨 위로
맨 위로