시험 진행 방식
• 무선 헤드셋 사용 진행 (일반 강의실에서 평가 진행)
• 어학실습실 (Lab)에서 평가 진행
• 컴퓨터 기반에서 (CBT) 평가 진행
• 온라인 기반에서 (IBT) 평가 진행
CBT(Computer Based Test) : 정기/수시시험(일반인 또는 학생 대상)
IBT(Internet Based Test) : 특별시험(기업체 및 단체대상 출장진행)
평가기준
- Content (내용)
- 질문이 요구하는 의도에 맞는 답을 하는지, 적절한 연결어를 사용하여 이야기의 흐름을 잘 이어가는 지에 대한 표현력을 평가합니다.
만일 시간이 부족해 과제를 완수하지 못하면 이 영역의 점수가 감점됩니다.
- Grammar (문법)
- 수험자의 품사나, 시제, 어순의 배열, 완전한 문장의 사용여부 등 문법적으로 정확한 문장을 만들어내는지를 평가합니다.
- Vocabulary (어휘)
- 과제와 관련된 의미가 뚜렷하고 구체적인 단어를 문맥과 상황에 맞게 사용이 가능한지를 평가합니다.
- Pronunciation (발음)
- 수험자의 강세, 억양, 리듬 등을 평가합니다.
- Fluency (유창도)
- 수험자의 말하는 속도와 답변의 흐름을 평가합니다.
답변 중간중간에 “음…”, “아…” 와 같은 소리가 자주 나오면 유창도를 떨어뜨려 듣는 이의 이해를 어렵게 하거나 방해하므로 감점 대상이 됩니다.
채점방법
수험자의 녹음된 답안는 국제 테스트 연구원의 전문 채점 위원 2인에 의해 교차 채점과정을 거치게 됩니다.
두 명의 채점자간 점수차이가 현격하여 Level에 변동이 생길 경우 재평가되거나 규정에 따라 점수가 처리됩니다. 그리고 교차채점이 완료된 이후에 전체 표본 중 일부를 무작위 추출하여 평가하게 됩니다.
채점자 교육방법
평가의 일관성 및 객관성을 유지하기 위해 G-TELP는 정기적인 채점자 교육을 실시합니다.
또한 채점자 교육은 매년 주관기관(ITSC)의 채점척도 적용의 표준화 훈련 등의 G-TELP Rater 양성 및 교육 프로그램을 통해 이루어집니다.
평가신뢰도 분석 및 타당성 확보
3단계 교차 채점 시스템
FACETS 모형 이용, 채점자 분석 및 타당성 확보
기존 평가 문제점
1. 채점자 주관성과 신뢰성 문제 제기 가능
2. 단순 총점에 근거한 전통적인 통계방법으로는 피험자 X 평가영역 X 문항 X 채점자간의 상호작용 효과를 적절히 통제 분석한 다음에 해석하는 것이 불가능합니다.
다국면 Rasch 측정모형
G-TELP Speaking(GST)는 전통적 평가오류 극복 (다국면 Rasch 측정모형)
G-TELP Speaking Test(GST)는 국내영어평가 현장에서는 최초로 세계적인 심리측정학자인 John M. Linacre에 의해서 개발된 다국면 Rasch 측정모형(Many Facet Rasch Model)을 이용해서 채점자들의 엄격함이나 관대함의 정도, 그리고 특정 문항이나 평가영역에서의 편향적 채점 경향을 확률적으로 분석해서 채점자 훈련 및 관리과정에 프로그램화 하여 교재로 활용하고 있습니다.
평가 일관성 검사 (Assessment Consistency control)
평가 등급 타당성 분석 검색 솔루션을 통하여 수험생 개개인의 테스트 결과를 분석, 진단, 이력 경력을 조회하여 성적 결과의 급성장, 급저하 정도를 검색함으로써 평가의 객관성 및 일관성을 유지합니다.