KSNS
E-SUBMISSION
Articles
- Page Path
- HOME > J Korean Acad Nurs > Volume 48(1); 2018 > Article
- Original Article Validity and Reliability of the Korean Version Scale of the Clinical Learning Environment, Supervision and Nurse Teacher Evaluation Scale (CLES+T)
- Sun-Hee Kim1, So Yeon Yoo2, Yae Young Kim2,
-
Journal of Korean Academy of Nursing 2018;48(1):70-84.
DOI: https://doi.org/10.4040/jkan.2018.48.1.70
Published online: January 15, 2018
1Department of Nursing, Daegu Catholic University, Daegu
2Department of Nursing, Kyungil University, Gyeongsan,
2Department of Nursing, Kyungil University, Gyeongsan,
-
Corresponding author:
Yae Young Kim,
Email: yykim@kiu.kr
Received: 26 September 2017 • Revised: 7 February 2018 • Accepted: 8 February 2018
Abstract
This study was conducted to evaluate the validity and reliability of the Korean version of the clinical learning environment, supervision and nurse teacher evaluation scale (CLES+T) that measures the clinical learning environment and the conditions associated with supervision and nurse teachers.
The English CLES+T was translated into Korean with forward and back translation. Survey data were collected from 434 nursing students who had more than four days of clinical practice in Korean hospitals. Internal consistency reliability and construct validity using confirmatory and exploratory factor analysis were conducted. SPSS 20.0 and AMOS 22.0 programs were used for data analysis.
The exploratory factor analysis revealed seven factors for the thirty three-item scale. Confirmatory factor analysis supported good convergent and discriminant validities. The Cronbach's alpha for the overall scale was .94 and for the seven subscales ranged from .78 to .94.
The findings suggest that the 33-items Korean CLES+T is an appropriate instrument to measure Korean nursing students'clinical learning environment with good validity and reliability.
J Korean Acad Nurs. 2018 Feb;48(1):70-84. Korean.
Published online Feb 28, 2018.
https://doi.org/10.4040/jkan.2018.48.1.70
Published online Feb 28, 2018.
https://doi.org/10.4040/jkan.2018.48.1.70
© 2018 Korean Society of Nursing Science
Original Article
한국어판 임상학습환경과 슈퍼비전, 임상실습지도교수(CLES+T)측정도구의 타당도와 신뢰도
Validity and Reliability of the Korean Version Scale of the Clinical Learning Environment, Supervision and Nurse Teacher Evaluation Scale (CLES+T)
Abstract
Purpose
This study was conducted to evaluate the validity and reliability of the Korean version of the clinical learning environment, supervision and nurse teacher evaluation scale (CLES+T) that measures the clinical learning environment and the conditions associated with supervision and nurse teachers.
Methods
The English CLES+T was translated into Korean with forward and back translation. Survey data were collected from 434 nursing students who had more than four days of clinical practice in Korean hospitals. Internal consistency reliability and construct validity using confirmatory and exploratory factor analysis were conducted. SPSS 20.0 and AMOS 22.0 programs were used for data analysis.
Results
The exploratory factor analysis revealed seven factors for the thirty three-item scale. Confirmatory factor analysis supported good convergent and discriminant validities. The Cronbach's alpha for the overall scale was .94 and for the seven subscales ranged from .78 to .94.
Conclusion
The findings suggest that the 33-items Korean CLES+T is an appropriate instrument to measure Korean nursing students'clinical learning environment with good validity and reliability.
Keywords
Environment; Learning; Nursing students; Preceptorship; Validity and reliability
환경; 학습; 간호대학생; 임상실습; 타당도와 신뢰도
서론
1. 연구의 필요성
간호학은 임상 현장에서 대상자에게 실제로 간호를 적용하는 것을 목적으로 하는 실용학문이다. 따라서 간호교육의 목표는 학생들이 실제 현장에서 간호업무를 수행할 수 있는 능력을 갖추도록 하는데에 초점을 두고 설정하여야 한다[1]. 간호대학생은 임상현장 교육을 통해 지식과 실무를 총체적으로 통합할 수 있는 기회를 가지며 전문직업인으로 갖출 기본적인 능력을 배우고 익혀 성장하게 되므로 질적인 임상현장 교육은 매우 중요하다[2]. 일반적으로 교육의 질을 향상시키기 위해서는 교육의 주체가 되는 교수와 학생 모두의 준비와 노력이 우선적으로 요구되나 교육을 위한 환경의 중요성 역시 간과할 수 없다. 임상학습환경의 질에 따라 학생들의 임상실습 결과의 질이 결정될 수 있다고 해도 과언이 아니다[3].
이렇듯 임상학습환경은 학생들의 교육적 결과에 미치는 영향력이 크다. 그러나 많은 학생들이 임상실습 중에 환경적 어려움과 스트레스를 겪는다고 호소하고 있다. 즉 학생들은 낯설고 익숙하지 않은 병동 분위기에서 대상자를 대면하는 것에 부담을 느끼고, 주로 관찰 위주의 실습을 하고 있으며[4], 바람직하지 못한 역할 모델 등으로 인해 임상실습스트레스를 경험하고[5], 이는 임상에서의 학습에 지장을 주고 있다[6]. 특히 학생의 간호수행을 환자가 거부하거나 간호사의 지도 및 감독의 부재로 간호수행을 직접 하지 못하는 현실은 임상학습환경에서 반드시 고려할 점이다. 여러 연구에서 임상학습환경에 간호사의 역할이 미치는 영향이 지대함을 보고하였는데[1, 2] 슈퍼비전은 임상간호사가 개별 또는 그룹으로 간호대학생에 대한 지도, 지지 그리고 평가를 하는 것으로[7] 간호사의 슈퍼비전은 임상학습 성취에 영향을 줄 수 있다[8]. 또한 최근 우리나라는 간호학과가 신설되거나 증원됨에 따라 간호대학생의 수가 더욱 증가하고 있으나, 임상실습 기관의 수와 기관에 속한 임상실습지도교수 수의 제한으로 인해 임상학습환경과 관련된 문제점은 앞으로도 지속될 것이라 예상된다[9]. 간호대학생에게 임상현장은 변화 예측과 통제가 어렵기 때문에 당연히 힘든 곳이 될 수밖에 없지만[10] 임상학습환경이 교육의 질에 미치는 영향이 중대하기 때문에 이에 대한 현황을 평가하고 개선을 위한 방안을 마련하는 것이 우선적으로 필요하다[2].
임상실습 교육을 위한 환경은 다양한 요인들의 상호작용에 의해 형성된다[11]. 즉 임상 실습하는 병동의 분위기, 직원과의 관계, 간호관리자의 태도 및 지도, 환자와의 관계 등이 서로 유기적 관계의 결과로 간호대학생의 임상학습환경의 질이 결정된다[1, 2, 7, 8, 10]. 임상실습지도교수는 임상실습현장에서 임상실습을 지도하는 학교 소속의 교수 또는 강사들로서 임상실습에서 학생들의 학습을 성공적으로 촉진시키는 중요한 요인이기 때문에 이들의 책임감은 더욱 크게 요구되고 있다[7, 12]. 그러므로 임상학습환경을 평가하고 개선을 위한 방안을 마련하기 위하여 이를 효율적으로 평가하는 측정도구가 필요하다.
국외 연구에서 간호대학생의 임상학습환경을 평가하기 위한 많은 도구들이 개발되어 왔으나 임상실습지도교수의 역할을 강조하여 평가한 도구는 찾아보기 어려웠다[2]. 간호대학생의 임상학습환경을 측정하기 위하여 국내에서 개발된 도구는 없었으며, 국외에서 개발한 도구를 번안하여 사용하고 있는 실정이다[13]. 그러나 이 도구도 임상실습지도교수에 대한 평가항목은 없었다. 반면 clinical learning environment, supervision and nurse teacher evaluation scale(CLES+T)는 임상학습환경과 임상실습지도교수의 역할을 포함하는 총체적인 평가도구이다[7].
CLES+T 측정도구는 2002년 임상학습환경과 슈퍼비전을 평가하기 위한 도구인 clinical learning environment and supervision(CLES) [8]로 개발되어 여러 국가에서 타당도가 검정된 뒤 널리 사용되었고, 2008년 임상실습에서 임상실습지도교수의 이론과 실무통합, 대인관계와 협력의 질을 평가하는 하위 척도를 추가한 버전의 도구(CLES+T)를 발표한 이래, 현재까지 여러 나라에서 각국의 언어로 번역되어 신뢰도와 타당도가 검정되었다. 이에 본 연구에서는 CLES+T 측정도구가 임상학습환경의 질을 총체적으로 평가하기에 유용하고 적절할 것으로 판단하여 CLES+T를 번역하여 한국어판 측정도구의 타당도와 신뢰도를 검정하고자 하였다.
2. 연구목적
본 연구의 목적은 한국어판 임상학습환경과 슈퍼비전, 임상실습지도교수(CLES+T) 측정도구의 타당도와 신뢰도를 검정하는 것이며, 구체적 목적은 다음과 같다.
1) 한국어판 CLES+T 도구의 내용타당도를 확인한다.
2) 한국어판 CLES+T 도구의 구성타당도를 확인한다.
3) 한국어판 CLES+T 도구의 준거타당도를 확인한다.
4) 한국어판 CLES+T 도구의 내적일관성 신뢰도를 확인한다.
5) 한국어판 CLES+T 도구의 검사-재검사 신뢰도를 확인한다.
연구 방법
1. 연구 설계
본 연구는 Saarikoski 등[7]이 개발한 CLES+T 측정도구를 한국어로 번역하고, 한국어판 도구의 타당도와 신뢰도를 검정하기 위한 방법론적 연구이다.
2. 연구 대상
본 연구의 대상자는 임상실습을 경험한 간호학과 3, 4학년 학생으로 구체적 선정기준은 다음과 같다. 병원에서 임상실습을 일주일 이상 실시한 경험이 있고, 현재 병원에서 임상실습을 4일 이상 실시하고 있거나 최근 병원 임상실습을 마친지 4일 이내인 자 중 본 연구의 목적을 이해하고 연구 참여 동의서에 자발적으로 서명한 자를 선정하였다. 원 도구 개발당시의 목표 집단은 최근 임상실습경험을 한 간호대학생으로 임상실습이 끝나가는 시점이거나 임상실습을 마친지 한 달 이내의 간호대학생이었으므로 본 연구의 목표 집단도 이와 같은 임상실습 경험이 있는 집단으로 구성하였고 한 단위(unit)에서 실습을 일정기간 동안 경험한 뒤 회상에 의한 왜곡을 최소화하기 위해 조사 시점을 이와 같이 설정하였다.
본 연구에서 표본의 수는 탐색적 요인분석 위한 표본크기는 200명 이상이면 적당하다는 근거[14]와 확인적 요인분석을 위한 표본크기는 모형적합도에 근거하여 산출하는 방법을 사용하여 결정하였다[15]. 즉, 자유도 517, 유의수준 .05, 검정력 .95, 영가설의 모형적합도(RMSEA)는 .00, 대립가설은 .05로 설정하여 필요한 최소한의 표본 수는 92명이었다. 이에 본 연구는 탐색적, 확인적 요인분석 결과를 안정적으로 얻기 위해 충분한 대상자 수를 400명으로 정하고 약 10%의 탈락 가능성을 고려하여 최종 450명에게 설문지를 배부하였다. 미회수된 설문지 13부와 응답내용이 불충분한 3부의 자료를 제외하여 최종 434명의 자료를 무작위로 등분하여 탐색적, 확인적 요인분석에 사용하였다.
검사-재검사를 위한 최소한의 표본크기는 50명으로[16] 본 연구에서는 정확도를 높이기 위해 100명을 표본수로 하였다. 조사 대상자는 일개 대학교의 간호대학생으로 1차 조사 시 2차 조사에 참여하기로 동의했던 자 100명에게 설문지를 배부하여 미회수된 2부를 제외하고 98명의 자료를 분석하였다.
3. 연구 도구
1) CLES+T
CLES+T 측정도구는 Saarikoski와 Leino-Kilpi [8]이 2002년에 임상실습을 경험한 간호대학생을 대상으로 임상실습의 교육환경을 평가하기 위해 개발한 CLES 도구에 Saarikoski 등[7]이 2008년 임상실습지도교수에 대한 하위영역을 추가하여 수정 보완한 도구이다. 이 도구는 34문항이며, 병동의 교육적 분위기(9문항), 수간호사의 리더십 스타일(4문항), 병동의 간호(4문항), 슈퍼바이저와의 관계(8문항), 임상실습지도교수의 역할(9문항)의 5개 하위영역으로 구성되었다. 각 문항에 대하여 ‘전혀 동의하지 않는다(1점)’, ‘동의하지 않는다(2점)’, ‘보통이다(3점)’, ‘동의한다(4점)’, ‘매우 동의한다(5점)’로 응답하도록 하고, 평균평점을 산정하도록 되어 있다. 도구의 개발 당시 구성타당도가 검정되었고, 전체 문항의 신뢰도 Cronbach's α는 보고되지 않았으며, 하부영역의 신뢰도 Cronbach's α는 최하 .77에서 최고 .96이었다[7].
2) 임상학습환경
CLES+T 측정도구의 동시타당도 확인을 위해 Dunn과 Burnett [11]이 간호대학생의 임상학습환경을 평가하기 위해 개발한 23문항의 도구를 Han [13]이 국문으로 번역하고 구성타당도를 검정하여 19문항으로 축소한 도구를 사용하였으며, 도구의 원저자인 Dunn과 Burnett, 한국어판 저자인 Han에게 각각 도구 사용에 대한 승인을 받았다.
이 도구는 직원과 학생과의 관계(3문항), 병동분위기(3문항), 간호관리자의 수행(5문항), 환자와의 관계(4문항), 학생만족(4문항)의 5개 하위영역으로 이루어졌으며, 각 문항에 대하여 ‘전혀 그렇지 않다(1점)’, ‘그렇지 않다(2점)’, ‘보통이다(3점)’, ‘그렇다(4점)’, ‘매우 그렇다(5점)’로 응답하도록 구성되었다. 점수가 높을수록 임상학습환경에 긍정적으로 지각함을 의미한다. Dunn과 Burnett [11]의 연구에서 도구 전체 문항의 신뢰도 Cronbach's α는 보고되지 않았고, 하부영역의 신뢰도 Cronbach's α는 최하 .60에서 최고 .85이었으며, Han [13]의 연구에서 하부영역의 신뢰도는 최하 .56에서 최고 .84였다. 본 연구에서 전체 문항의 신뢰도 Cronbach's α는 .89이었으며, 하부영역은 최하 .59에서 최고 .85였다.
본 도구는 국문으로 번역되어 처음 평가 시 간호대학생을 대상으로 안면타당도와 구성타당도를 검정하였고[13], 지금까지 여러 연구에서 사용되었다. 또한 임상학습환경 측정도구로 국내에서 유일하게 타당도와 신뢰도가 평가된 후 사용된 도구이면서, CLES+T와 측정하는 개념이 유사하다고 판단하여 동시타당도 검정 도구로 선정하였다.
3) 임상실습스트레스
CLES+T 측정도구의 준거타당도 확인을 위해 Whang [17]이 임상실습을 경험한 간호대학생의 임상실습스트레스를 측정하기 위해 개발한 임상실습스트레스 도구를 사용하였으며, 사용 전에 도구개발자인 Whang에게 도구 사용에 대한 승인을 받았다. 전체 문항은 58문항으로 상황특성, 개인특성, 외부적 조정요인의 3개 영역으로 구성되었다. 하위영역 중 상황특성은 의료인의 태도(6문항), 환자와 보호자의 태도(6문항), 실습환경(9문항), 실습상황(9문항), 역할갈등(2문항)으로, 개인특성은 심리적 요인(7문항), 기술적 요인(6문항), 사회적 요인(4문항)으로, 외부적 조정요인은 과제물(4문항), 학사일정(5문항)으로 이루어져 있다. 각 문항에 대하여 ‘전혀 느끼지 않는다(1점)’, ‘약간 느낀다(2점)’, ‘보통이다(3점)’, ‘심하게 느낀다(4점)’, ‘매우 심하게 느낀다(5점)’로 응답하도록 하여 평균평점을 산정하며, 점수가 높을수록 임상실습스트레스가 높음을 의미한다. 본 도구의 개발 당시 Cronbach's α는 .94였고[17], 본 연구에서는 .96이었다. 이 도구는 개발 당시 내용타당도와 구성타당도를 검정하였고[17], 지금까지 간호대학생의 임상실습과 관련된 여러 연구에서 사용되었으며, 임상학습환경과 임상실습스트레스 사이에는 관련이 있다고 판단하여[5] 준거타당도 검정 도구로 선정하였다.
4. 연구진행절차
1) 도구 번역 및 설문지 양식 작성
본 연구에서는 영문 도구를 다른 언어와 문화에서 적용하기 위해 추천하는 World Health Organization의 도구 번역 및 적용 가이드라인[18]을 기초로 일차 번역, 전문가 패널 검토, 역번역, 인지적 인터뷰의 과정을 거쳐 최종 도구의 문항을 완성하였다. 일차 번역을 시작하기 전, 도구 개발자로부터 도구의 한국어 번역과 사용에 대한 승인을 받았다.
일차 번역은 해당 분야의 전문 용어에 익숙하고 건강 전문가로 영어권 문화를 충분히 알되 번역하고자 하는 언어를 모국어로 하는 한 사람이 진행하는 것을 추천한다[18]. 본 연구에서는 영어에 능통하며 간호학 임상실습 분야의 전문 용어에 대해 충분한 경험이 보장되는 2인의 간호사에게 일차 번역을 의뢰하였는데, 한 사람은 최근 병원에서 임상실습을 경험하고 졸업한 지 1년 미만인 신입 간호사였으며, 다른 한 명은 병원에서 간호대학생들의 임상실습 지도를 담당하는 8년 경력의 주임간호사였다. 두 사람이 각각 독립적으로 일차 번역을 진행한 뒤 일차 번역본을 가지고 직역을 피하고 단어가 아닌 문장의 뜻을 전달할 수 있도록 일차 번역 문장을 합의하였다. 이후 이중 언어자인 전문 번역가와 두 언어에 능통한 간호학박사 2인, 일차 번역을 담당한 간호사 1인으로 전문가 패널을 구성하고, 번역된 문장과 영어 원문을 비교하면서 감수하였다. 이 과정에서 원문과 번역된 문장의 일치와 정확도를 확인하였고, 가독성, 문화적 의미 차이를 고려하여 한국 임상실습 상황에 적합하게 일부 수정, 보완하는 과정을 거쳤다. 이후 도구에 대해 알지 못하며 모국어가 영어이면서 한국어에 능통한 미국인에게 역번역을 의뢰하였고 역번역된 문장이 원도구와 정확히 일치하지는 않았으나 의미의 변화가 없다는 것을 확인하여 일차 번역 도구를 완성하였다. 그 다음, 평균 11.8년 동안 임상실습 지도를 담당한 간호학과 교수 6인에게 내용타당도를 확인하였다. 어의적 동질성을 확보하고 문항에 대한 반응과정(response process)을 검토하기 위해 임상실습 경험이 있는 간호대학생 13명에게 인지적 타당도(cognitive validity) 평가를 실시하였다. 참여한 간호대학생들에게는 도구의 문항을 하나씩 소리내어 읽게 하여 가독성과 독해력 등을 말로 표현하고, 서술식으로 적게 하는 인지적 평가과정을 거쳤고, 이후 연구자들이 최종적으로 문항을 확인한 후 번안 도구의 문항을 확정하였다. 이후 번역한 한국어판 CLES+T 도구는 원 저자의 요구에 따라 정해진 설문지 양식을 준수하여 문항들을 배치하였다. 특히 원 설문지의 양식에 따라 문항에 대한 반응을 타당하게 할 수 있도록 문항에 지시문을 제시하였다. 즉, 슈퍼비전에는 ‘슈퍼비전이란 임상간호사에 의해 이루어지는, 간호학생에 대한 지도, 지지 그리고 평가를 의미합니다. 슈퍼비전은 개별적으로 이루어 질 수 있고, 그룹 또는 팀으로 이루어 질 수도 있습니다.’를, 임상실습지도교수의 역할 문항의 지시문에는 ‘임상실습지도교수란 실습지도를 위해 임상실습현장에 보내진 학교 소속의 교수 또는 강사를 의미합니다.’라는 설명을 제시하였다.
2) 예비조사
예비조사는 D대학 생명윤리위원회의 승인(IRB No. CUIRB-2016-0102)을 받은 후 2016년 11월 10일부터 11월 14일까지 2개 대학의 간호학과 3, 4학년 학생 49명에게 예비조사의 목적, 방법, 이득과 손실, 익명성 보장, 임상실습성적과 무관함 등을 설명하고, 서면 동의를 받은 후 실시하였다. 예비조사 당시 도구의 조사대상자와 동일한 조건으로 병원에서 임상실습을 한지 4일 이상일 때 한국어판 CLES+T 도구로 이번 실습과 관련하여 자기기입식으로 응답하도록 하였다. 예비조사를 통해 표현의 모호함이나 내용상 이해가 되지 않는 어려운 문항이 있는지 다시 한 번 확인하였고 응답하는 데 소요되는 시간을 파악하였다. 예비조사 대상자의 연령은 평균 22.1세(SD 3.53), 여학생 47명(95.9%), 남학생 2명(4.1%), 3학년 25명(51.0%), 4학년 24명(49.0%)이었고, 설문에 소요되는 시간은 8~15분 정도였으며, 설문조사 시 가독성과 독해에 어려움이 없음을 확인하였다.
3) 자료수집 절차
본 연구는 대상자 보호와 연구의 윤리적 고려를 위해 모든 연구절차가 시작되기 전 기관생명윤리위원회의 승인을 얻었다. 자료수집기간은 2016년 11월 18일부터 2016년 12월 23일까지였다. 한국의 4개 광역시와 5개 지역에 소재하고 있는 10개의 대학 간호학과를 편의추출한 후 학과(부)장에게 먼저 전화로 연구목적과 방법 등을 설명하고, 자세한 검토를 위해 전자메일로 연구내용과 방법, 조사에 사용할 설문지 등을 보낸 후 학과장의 설문조사 승인과 협조를 받아 자료를 수집하였다. 학교마다 실습주기와 실습 장소가 다양하고 실습 운영 실정에 차이가 남에 따라 자료수집 방법을 조금씩 다르게 적용하였다. 학생들이 1~2주 실습 후 학교에서 수업에 참여하는 경우는 회상에 의한 왜곡을 최소화하기 위해 최근 임상실습을 마친지 최대 4일 이내에 수업이 없는 빈 시간을 이용하였고, 실습 직후 집담회에 참석하는 경우에는 집담회를 마친 직후 설문조사에 참여할 수 있도록 하였다. 각각의 경우 연구자가 대표학생이나 임상실습지도를 담당한 교원에게 연구의 목적, 대상자, 방법, 연구참여의 이득과 불이익, 비밀보장, 중도 철회, 참여거부, 연구 자료의 사용목적 제한 등에 대해 자세히 설명한 후, 대상자에게 연구 설명문과 동의서, 설문지를 전달하도록 하였고, 연구 참여에 서면 동의한 대상자에게 설문지를 자기기입식으로 작성하도록 하였다. 검사-재검사 대상으로 선정한 일개 대학교의 간호대학 학생에게는 2차 조사가 이루어질 것을 사전 공지하고 재조사일과 조사내용을 설명한 뒤, 재검사에도 참여하기로 동의할 경우, 설문지에 고유인식번호를 기입하도록 하였다. 검사-재검사를 위한 2차 조사는 1차 조사 후 10일 경과 시점에 시행하였고, 두 번의 측정시점 간에 다른 단위에서의 실습은 이루어지지 않았다. 도구의 안정성에 영향을 줄 수 있는 요인들을 줄이기 위해 1차 조사 시와 같은 연구보조원이 빈 강의실을 사용하여 동일한 방법으로 연구에 대한 설명과 함께 설문지에 자기기입식으로 작성하도록 하였다. 설문조사에 참여한 모든 대상자에게는 소정의 답례품을 제공하였다.
5. 자료 분석방법
수집된 자료는 IBM Statistics AMOS 22.0 프로그램과 SPSS Statistics 20을 이용하여 분석하였다. 대상자의 일반적 특성을 확인하기 위해 빈도, 백분율, 평균, 표준편차를 사용하였고, 임상학습환경, 임상실습스트레스의 평균, 표준편차를 구하였다. 전체 대상자의 자료를 케이스 무작위 표본추출을 하여 반수(217개)는 한국어판 도구의 측정 동질성(measurement equivalence)을 검정하기 위해 확인적 요인분석을 하였고, 탐색적으로 요인을 확인하기 위해 나머지 자료로 공통요인모형의 추출에 적합한 주축요인분석과 요인 간 상관성을 고려하여 promax 회전을 사용하였다. 변량의 정규성을 검토한 후 다변량 정규성을 만족하지 못하는 추정치는 부스트래핑(bootstrapping)을 이용하였고 결측 자료는 Expectation-Maximization법을 사용하였다. 모형 적합지수는 χ2통계량(자유도, p값), Normed χ2(Normed Chi-square [NC]), 표준 원소간 평균자승 잔차(Standardized Root Mean Residual [SRMR]), 터커-루이스 지수(Turker-Lewis Index [TLI]), 비교 적합지수(Comparative Fit Index [CFI]), 근사원소 평균자승 오차(Root Mean Square Error of Approximation [RMSEA]), 베이지안 정보지수(Bayesian Information Criterion [BIC])로 확인하였다.
또한 요인구성의 수렴타당도를 확인하기 위해 관찰변수의 표준화 회귀계수가 .50 이상이고 유의해야하며(critical ratio>1.965), 개념신뢰도(Construct Reliability [CR])가 0.7 이상, 평균분산추출(Average Variance Extrected [AVE]) 0.5 이상을 기준으로 확인하였다. 요인 구성의 판별타당도를 확인하기 위해 요인 간 상관계수 .80 이하, 잠재변수의 AVE가 잠재변수간 상관계수의 제곱보다 커야 한다는 것을 기준으로 확인하였다.
문항분석은 문항의 평균과 표준편차, 표준오차, 왜도와 첨도를 확인하였고, 문항의 수렴타당도와 판별타당도를 확인하기 위해 다속성-다문항 매트릭스(multitrait/multi-item matrix)분석을 하였다. 문항-총점(하부요인) 간 상관관계(item-total correlation [ITC]) .40 이상인지를 확인하여 문항의 수렴타당도를 검정하였고, 각 문항의 해당 하위영역과 다른 영역과의 상관계수 간 차이가 상관계수의 표준오차(standard error of correlation coefficient)의 2배보다 큰 값을 갖는지를 기준으로 문항의 판별타당도를 검정하였다. 준거타당도 분석을 위해 한국어판 CLES+T와 임상학습환경, 임상실습스트레스와의 Pearson's 상관계수를 구하였다.
신뢰도 검정은 내적 일관성 Cronbach's α 상관계수와 95% 신뢰구간을 산정하였다. 검사-재검사 신뢰도는 급내 상관계수(Intraclass Correlation Coefficient [ICC])를 이용하였다. 그리고 개인 점수의 정확도를 결정하기 위해 측정의 표준오차(Standard Error of Measurement [SEM])와 최소 감지 변화(Smallest Detectable Change [SDC])를 산정하였다. ICC는 완전일치를 검정하기 위해 일차원변량모형을 사용하여 단일측도를 확인하여 한 사람의 두 번 측정점수 간상관계수와 95% 신뢰구간을 구하였고, SEM은 관찰점수로 진점수를 추정할 때 생기는 오차를 산정하기 위해 관찰점수의 표준편차(SD)와 ICC의 오차변량의 제곱근(SD×√1-ICC)을 사용하였고, SDC는 95% 신뢰구간에서 SEM (1.96×√2×SEM)을 사용하여 산정하였다. 두 측정 시점 간 일치도를 시각적으로 확인하기 위해 Bland-Altman 도표를 사용하였고, 두 번 측정 간의 점수의 차이에 대한 산점도의 분포를 보여주었다. 95% 일치한계수준(Limits of Agreement [LoA])은 반복 측정자 간 자연적인 변이를 추정하기 위해 사용되며, 이 폭이 좁을수록 신뢰할 수 있다. 측정점수가 95% 신뢰구간 안에서 0점에 가까울수록 오차가 적고, 밖에 있으면 두 점수 차의 평균이 체계적인 오차로 발생되고 있음을 의미한다.
연구 결과
1. 대상자의 일반적 특성
대상자의 평균 나이는 22.3세이고, 3 학년이 5 0.9%, 4학년이 49.1%였고, 대부분이 여학생(90.6%)이었다. 대상자가 소속된 대학의 소재지는 서울특별시 12.7%, 부산광역시 6.9%, 대구광역시 13.4%, 인천광역시 7.8%, 경기도 9.2%, 강원도 8.3%, 충청도 7.4%, 전라도 11.1%, 경상도 23.2%였다. 간호학과에 만족한다고 응답한 대상자는 54.4%, 보통 33.6%, 불만인 대상자는 12.0%였고, 임상실습에 만족한다고 응답한 대상자는 47.2%, 보통 37.8%, 불만인 대상자는 15.0%였다. 최근 또는 현재 임상실습을 한 병원의 위치는 서울특별시 19.4%, 부산광역시 6.9%, 대구광역시 3 0.1%, 인천광역시 6.2%, 경기도 15.2%, 강원도 3.5%, 충청도 1.4%, 전라도 10.8%, 경상도 6.5%였다. 실습병동은 성인간호학의 일반병동 32.6%, 성인간호학의 특수병동은 16.1%, 여성건강간호학의 산부인과병동과 분만실은 11.8%, 아동간호학의 소아청소년과 병동과 중환아실은 13.7%, 정신간호학의 정신병동은 14.2%, 간호관리학의 일반과 특수병동은 2.1%, 노인간호학의 노인병동은 9.5%였다. 임상실습에서 실습을 지도해 줄 슈퍼바이저를 배정받은 학생은 37.9%였다. 슈퍼바이저의 직책은 간호사가 46.5%, 책임간호사 11.7%, 수간호사 41.8%였으며, 슈퍼비전을 전혀 받지 못했다고 한 대상자가 3.5%, 지정된 개인 슈퍼바이저는 있었으나 관계를 형성하지 못한 대상자가 8.6%, 지정된 슈퍼바이저가 있었으나 갑자기 바뀌었다고 한 대상자가 1.9%, 듀티에 따라 다양한 슈퍼바이저가 있었다고 한 대상자가 41.2%, 같은 슈퍼바이저가 개별적인 것보다는 집단으로 여러 명의 학생을 지도하였다고 한 대상자가 31.7%, 지정된 슈퍼바이저가 있었고 실습 동안 관계가 지속되었다고 한 대상자는 13.1%였다. 일주일 동안 받은 슈퍼비전의 횟수는 평균 1.62회(SD 1.06), 최소 0회에서 최대 7회였다.
2. 타당도 분석
1) 내용타당도
본 연구는 내용타당도를 확보하기 위해 영문으로 된 원 도구를 WHO [18]의 도구 번역과 적용 가이드라인에 따라 엄격하고 체계적으로 번역 과정을 거쳤다. 또한 3개의 대도시와 3개의 지역시에 소재한 대학에 재직 중이며 10년 내외의 임상실습지도 경험이 있는 간호학과 교수 6인에게 지역의 임상현장과 간호대학생의 임상실습교육현황에 따른 문항의 적절성과 하부영역의 문항 충분성과 대표성을 검토한 결과, 모든 하부영역에서 ‘타당함’이나 ‘매우 타당함’을 나타내었고, 평균 문항의 내용타당도 지수(Content Validity Index [CVI])는 0.85였다. 문항 중에 한국의 실정에 맞지 않는 일부 용어와 어색한 표현 및 어구 등을 수정하였고, 가장 타당도가 낮은 문항 29번 ‘임상실습지도교수는 간호팀의 일원 같았다’는 한국 실정에서 병원소속의 실습지도교수가 거의 드물기 때문에 타당하지 않다는 의견이 많았으나 삭제하지 않고 조사대상자의 반응을 확인하기로 하였다. 이후 실제 도구를 적용할 3, 4학년 간호대학생에게 2차례에 걸쳐 연구자들이 직접 만나 인지적타당도 평가를 거쳐 내용타당도를 확보하였다.
2) 구성타당도
원 도구의 34문항, 5개의 구성요인으로 한국어판 도구의 구성타당도가 검정되는지를 확인하기 위해 217개의 자료로 확인적 요인분석을 시행하였다. bootstrapping을 한 모든 문항의 표준화 회계계수가 0.49이상이었으나 모델의 적합지수인 χ2 1334.20 (자유도 517, p<.001), NC 2.58, SRMR .07, TLI .79, CFI .81, RMSEA .09 (low .08, high .09), BIC 1753.83로 χ2, TLI, CFI가 기준에 부합하지 않았고, RMSEA는 ‘그다지 좋지 않은 적합도(mediocre fit)’를 보였다. 또한 높은 수정지수가 많았고, 한 개의 관찰변수를 여러 요인에 인과관계로 설정하도록 제안하였기 때문에 탐색적 요인분석으로 새로운 모형 추정이 필요했다.
따라서 다른 217개의 자료로 전체 34문항의 탐색적 요인분석을 시행하였고 주축요인분석, promax회전을 적용하였다. 요인분석 표본의 적절성을 확인하기 위한 Kaiser-Meyer-Olkin (KMO)값은 .91로 기준치인 .80 이상이었으며, Bartlett의 구형성 검정결과 근사 χ2값이 4613.48 (자유도 561, p<.001), 역이미지 상관행렬 대각선의 상관계수가 .82이상으로 나타나 요인분석 사용이 적합하였다. 전체 34문항의 요인분석결과 1이상의 요인적재값을 기준으로 7개 요인이 추출되었다. 공통성 .54 이상으로 기준인 .30 이상이었고, 패턴행렬의 회귀계수 중 모든 문항은 .47 이상으로 .40 이상의 기준을 만족하였으며, 구조행렬의 상관계수의 기준인 타요인에 .50이상의 상관관계를 보인 문항 5개가 있었지만 중요한 문항이고, 상관관계가 크게 높지 않아서 삭제하지 않았다.
이후 다시 7요인 34문항의 모형으로 확인적 요인분석을 하였다. 모형의 적합도를 평가한 결과 χ2 962.66 (자유도 506, p<.001), NC 1.90, SRMR .06, TLI .88, CFI .89, RMSEA .07 (low .06, high .07)으로 표본크기에 영향을 받는 χ2와 TLI, CFI 제외한 나머지 적합도가 기준에 부합하였다. BIC 1441.47로 더 낮아져 모형이 더 간명해졌고, 두 모형 간 χ2의 차이와 자유도의 차이를 검정한 결과, 자유도가 11개 감소하였지만 유의하게 χ2은 낮아졌다(p<.001). 그러나 수정지수가 매우 높으면서 두 개의 관찰변수와 오차항 간의 상호 인과관계를 설정하도록 권장하였다. 따라서 문항 29번과 30번의 의미를 검토하였고, 전문가타당도 검정결과 타당도 지수가 가장 낮았으며, 표준화 회귀계수(문항 29번 λ=.65, p=.007; 문항 30번 λ=.67, p=.006)가 더 낮아서 요인에 의한 설명이 더 낮은 문항 29번을 삭제하였다.
다시 7요인 33문항의 모형으로 확인적 요인분석을 한 후 모형의 적합도를 평가한 결과 χ2 848.46 (자유도 474, p<.001), NC 1.79, SRMR .06, TLI .90, CFI .91, RMSEA .06 (low .05, high .07)으로 χ2를 제외한 다른 적합도가 모두 기준에 부합하였다. BIC 1316.51로 더 낮아져 모형이 더 간명해졌고, 두 모형 간 χ2의 차이와 자유도의 차이를 검정한 결과, 자유도가 32개 감소하였지만 유의하게 χ2은 낮아졌다(p<.001).
최종 결정된 모형으로 구성요인의 타당도를 수렴과 판별타당도로 확인하였다. 모든 문항의 표준화 회귀계수(λ)는 통계적으로 유의하게 .53~.87이었으며, 개념신뢰도가 .82 이상이고, 평균분산추출지수가 .66 이상, 전체 문항과 하부요인 간의 Pearson의 상관계수는 최소 .63 (<.001)에서 최대 .82 (<.001)으로 요인의 수렴타당도를 확인하였다(Table 1, 2). 또한 오차를 제거한 요인 간 상관계수(Φ)는 .32~.71로 요인의 수렴과 판별타당도를 확인하였고(Table 2), 요인간 상관계수의 제곱 값이 평균분산추출지수보다 모두 작은 값을 나타내는 것으로 요인의 판별타당도를 확인하였다.
Table 1
Parameter Estimates, Convergent, and Discriminant Validity of Korean CLES+T (N=217)
Table 2
Correlation Matrix among Factors of Korean CLES+T and among Clinical Learning Environment, Clinical Practice Stress, and Korean CLES+T (N=217)
3) 준거타당도
한국어판 CLES+T는 임상학습환경과 양의 상관관계가 있었으며 (r=.69, p<.001), 임상실습스트레스와 음의 상관관계가 있었다 (r=-.14, p=.004)(Table 2).
4) 문항분석
문항의 수렴타당도와 하부영역 내적구조의 타당성을 확인하기 위해 문항분석을 실시한 결과, 문항평균은 1.90~3.88, 표준편차는 0.77~1.06로 극단값을 갖는 문항은 없는 것으로 판단되었고, 왜도 -0.76~0.98와 첨도 -0.62~1.27로 정규분포를 확인하였다.
문항의 수렴과 판별타당도를 확인하기 위해 하부요인의 한 문항과 하부요인의 나머지 전체 문항과의 상관계수(ITC)는 .50~.83이었고(Table 3), 각 문항의 해당 하위영역과 다른 영역과의 상관계수 간 차이가 상관계수의 표준오차의 2배보다 큰 값을 갖는지를 확인한 결과, 모든 문항(100%)에서 성공적이었다.
Table 3
Item Analysis and Internal Reliability of Korean CLES+T (N=434)
3. 신뢰도 분석
한국어판 CLES+T 도구의 내적일관성 신뢰도를 검정한 결과, 전체문항의 Cronbach's α (95% CI)는 .94 (.93~.95)이었고, 하부요인은 최하 .78 (.74~.81)에서 최대 .94 (.93~.95)였다(Table 3).
또한 검사-재검사 신뢰도를 검정한 결과, 전체 문항의 ICC (95% CI)는 .78 (.69~.85)였고, 하부영역은 최하 .49 (.32~.62)에서 최대 .72 (.61~.81)였다. SEM은 전체 문항이 0.25였고, 하부영역은 최하 0.35에서 최대 0.47였으며, 전체 문항의 95% SDC는 0.70였고, 하부영역은 0.97에서 1.32였다(Table 4). 두 측정 시점 간 일치도를 Bland-Altman 도표로 확인한 결과 대체로 95% 일치한계수준 내에 있었다(Figure 1).
Figure 1
Differences in score between test-retest.
Table 4
Test-Retest Reliability of the CLES+T (N=98)
4. 최종 도구
최종도구는 7개 요인의 33문항이었으며, 1요인(병동의 교육적 분위기, 6문항), 2요인(병동의 학습환경, 3문항), 3요인(수간호사의 리더십 스타일, 4문항), 4요인(병동의 간호, 4문항), 5요인(슈퍼바이저와의 관계, 8문항), 6요인(임상실습지도교수의 이론과 실무의 통합, 3문항), 7요인(임상실습지도교수의 대인관계와 협력, 5문항)으로 구성되었다(Appendix 1).
전체 문항 평균은 1.90점~3.88점, 표준편차는 0.77점~1.06점, 표준오차는 .04점~.05점, 왜도는 -0.76~0.98이었고, 첨도는 -0.62~1.27이었다. 전체 문항 총점의 평균은 109.14점, 표준편차는 17.74점이었다(Table 3).
논의
도구의 타당도는 한 유형의 타당도 확인만으로는 충분하게 지지될 수 없으므로 도구의 타당화 연구에서는 도구사용에 대한 합리적 근거를 제시할 수 있도록 다양하고 많은 논리적 분석을 제시하는 것이 필요하다[19, 20]. 이에 본 연구에서는 도구의 세 가지 타당도인 내용, 구성, 준거타당도를 각각 2가지 이상의 다양한 방법으로 평가함으로써 합리적인 타당도와 신뢰도 검정 과정을 제시하고자 하였다.
먼저 내용타당도 확보를 위해 도구 번역과 적용 가이드라인을 충실히 이행하였으며, 임상실습지도 경력 평균 10년 이상의 간호학과 교수로서 자격을 갖춘 전문가 6인에게 국내의 임상실습교육 현황에 따른 문항의 적절성과 하부영역의 문항 충분성 및 대표성을 검토하도록 하였고, 실제 측정도구를 적용할 3, 4학년 간호대학생에게 2차례에 걸쳐 문항의 내용과 이해도를 평가하는 인지적 타당도와 안면 타당도를 확인하였다.
본 연구에서 한국어판 CLES+T 측정도구의 구성타당도를 확인하기 위해 확인적 요인분석, 탐색적 요인분석, 준거타당도 분석을 실시하였다. 이미 타당도가 확인된 도구를 다른 언어로 번역하여 적용하는 상황에서는 확인적 요인분석이 더 적합하기 때문에[21] 핀란드에서 개발된 구성요인이 한국에서도 적합한지를 확인하기 위해 확인적 요인분석을 먼저 실시하였다. 핀란드에서의 5개 구성요인이 그대로 구성되지는 않았지만 핀란드의 구성요인에서 좀 더 세분화되어 요인이 나눠졌기 때문에 원 도구의 이론적 구성과도 매우 유사하다고 판단하였다. 이 7개 요인에 대하여, 요인 간 상관관계로 수렴과 판별타당도를, 개념신뢰도와 AVE로 수렴타당도를 확인하였다. 또한 문항 수준에서도 회귀계수, 다속성-다문항 매트릭스 분석을 통해 문항의 수렴과 판별타당도를 확인하였다. 따라서 한국어판 CLES+T 측정도구의 구성요인은 적절하고, 문항 수준에서도 각 하부요인 내에서 해당 문항들이 일관된 속성을 나타내며 다른 하부요인의 문항들과는 구별되는 문항들이라고 판단할 수 있다.
본 연구에서 준거타당도를 확인하기 위해 한국어판 CLES+T와 Han [13]의 임상학습환경 측정도구와의 상관계수를 확인한 결과, 총점의 상관계수가 .70으로 동일한 개념을 측정하면서도 다른 점이 있다는 것을 나타냈다. 또한 본 연구에서는 임상학습환경이 좋을수록 임상실습스트레스는 감소할 것이라는 가정 하에 임상실습스트레스와의 상관관계를 검정하였다. 그러나 임상실습스트레스와의 상관계수는 유의하였지만 매우 약한 수준이었다. 이는 국내 임상학습환경은 간호대학생의 임상실습스트레스를 13% 설명한다고 보고한 것과 비슷한 수준이었다[5]. 그러므로 향후 연구에서는 학습 효과와 같은 변인과의 상관관계를 확인하여 동시타당도나 예측타당도를 추가적으로 확인할 필요가 있다.
도구의 3, 4, 5요인은 원 도구의 하부영역 명명을 그대로 사용하였고, 나머지는 문항들의 의미와 원저자의 명명을 참고하여 본 연구자들이 명명하였다. 즉 원 도구에서 1요인인 병동의 교육적 분위기는 주요 문항들의 의미에 따라 1요인 병동의 교육적 분위기, 2요인 병동의 학습 환경으로 명명하였다. 본 연구에서 간호대학생은 ‘교육적 분위기’를 학습이 가능하도록 뒷받침해주는 정서적인 환경과 병동의 학습 내용 자체에 대한 것으로 인식하였기 때문으로 생각한다. 또한 원 도구에서 5요인 임상실습지도교수의 역할은 임상실습지도교수의 역할에 대한 세 개의 내용, 즉 임상실습지도교수의 이론과 실무 통합, 직원과의 협력, 학생 및 슈퍼바이저와의 관계로 구성된 것이다. 본 연구에서 2개의 요인으로 분화되었고, 원저자가 제시한 명명을 참고하여 6요인 임상실습지도교수의 이론과 실무의 통합, 7요인 임상실습지도교수의 대인관계와 협력으로 명명하였다. 이는 우리나라 간호대학생이 임상실습지도교수의 역할을 ‘이론과 실무의 통합’과 ‘대인관계 및 협력’으로 구분지어 인식하였기 때문인 것으로 생각한다. 이러한 요인의 분화나 통합, 문항의 삭제나 이동은 측정도구가 어느 장소와 시대에 사용되었느냐에 따라 사회적으로 통용되는 인식이 다를 수 있기 때문에 당연히 발생될 수 있다. 본 연구의 원도구는 핀란드에서 개발되었고, 주로 유럽에서 평가되었던 도구이기 때문에 한국의 간호교육 체계와 임상현장지도자의 역할이 다르게 인식되었을 가능성을 실제 본 연구를 통해 확인하였다. 이는 이탈리아의 연구[22]에서 임상실습지도교수의 역할이 3개 요인, 즉 이론과 실무의 통합, 병동직원과의 협력, 멘토와 학생과의 관계로 나누어진 것과 유사하며, 뉴질랜드 연구[23]에서 병동의 교육적 환경이 수간호사의 리더십 스타일로 묶여져 요인이 감소하였던 것과 일맥상통하는 부분이 있다.
본 연구에서 원 도구의 임상실습지도교수의 역할 중 ‘임상실습지도교수는 간호팀의 일원처럼 보였다.’ 문항은 삭제되었다. 이 문항이 포함된 7요인 34문항 모형 역시 확인적 요인분석의 적합도는 대체로 적합하였기 때문에 그대로 모형을 설정할 수도 있지만 이 문항의 수정지수가 매우 높았고, 이 문항을 삭제했을 경우 모형의 적합도가 상승하였다. 이 문항은 전문가 내용타당도 평가에서도 가장 타당도가 낮아 삭제를 고려했었던 문항으로, 이 문항에 대한 한국의 간호대학생의 해석이 이질적으로 나타났기 때문이라고 해석하였다. 또한 수정지수에서도 이 문항과 ‘임상실습지도교수는 의료진에게 교육적 측면에서 도움을 줄 수 있었다.’ 문항 간의 상호 관계, 그리고 오차항간의 높은 상관관계를 나타내었다. 이는 실습지도 업무를 담당하는 임상실습지도교수가 간호팀의 일원처럼 간호업무를 하기 보다는 의료진에게 교육적 측면에서 도움을 주는 정도만이 가능한 실제 국내 임상교육 현장의 상황을 반영한 것이라고 본다. 대학에서 해당 병원의 간호사를 임상실습지도교수로 고용한 경우라면 임상실습지도교수가 간호팀의 일원으로 보였을 것이지만, 국내 대부분의 대학에서는 병원 간호사를 임상실습지도교수로 고용하고 있지 않기 때문에, 이러한 국내와 국외의 임상실습지도의 환경적 차이가 나타난 것이라고 생각한다.
본 연구에서 한국어판 CLES+T 도구 전체 문항의 내적일관성 신뢰도 Cronbach's α는 .94 (.93~.95)로 비교적 높았다. 본 도구의 하위 영역에서도 높은 수준과 양호한 수준이었고, 하위 95% 신뢰구간에서도 .70 이상이기 때문에 수용할 수 있는 수준이었다[24]. 이는 스웨덴[25], 이탈리아[22], 스페인[26], 키프러스[27]의 연구에서도 유사한 수준으로 전체 문항과 하위영역의 내적일관성 신뢰도가 높았다. 본 연구에서 신뢰도가 가장 낮았던 영역인 ‘병동의 간호’는 이탈리아(.80) [22]와 스페인(.80) [26]의 연구에서도 유사하게 가장 낮았다. 이상을 통해 CLES+T 도구는 문화와 언어의 차이가 분명한 여러 나라에서도 간호대학생의 임상실습교육환경을 측정하기에 신뢰도가 높은 도구임을 확인할 수 있었다.
본 도구의 검사-재검사 신뢰도인 ICC의 판단기준은 통계적 기준이 아닌 개념적 근거에 준하여 설정해야 한다고 주장하기도 하므로[28] 절대적이라고 할 수 없지만 일반적으로 널리 사용되고 있는 Landis와 Koch [29]의 기준에 따르면, 본 도구의 전체 문항과 하위 영역인 병동의 교육적 분위기, 병동의 학습 환경, 수간호사의 리더십 스타일, 병동의 간호, 슈퍼바이저와의 관계는 ‘상당한(substantial)’ 정도이며, 임상실습지도교수의 역할과 관련된 하위영역인 임상실습지도교수의 이론과 실무의 통합, 임상실습지도교수의 대인관계와 협력은 ‘보통(moderate)’ 정도였다[29]. 또한 본 연구에서 측정도구의 표준오차(SEM)가 가장 작은 하부영역인 병동의 교육적 분위기가 가장 안정적이고, 가장 큰 하부영역인 슈퍼바이저와의 관계가 가장 덜 안정적으로 나타났다. 또한 스웨덴의 간호대학생을 대상으로 조사한 연구[30]에서는 모든 하부영역에서 SEM이 .42 이하로 본 연구의 모든 하부영역의 SEM보다 약간씩 낮았다. 본 연구는 조사 시행시 환경으로 인한 오차를 줄이기 위해 두 번의 조사 시 동일한 연구보조원이 충분한 설명을 하고 무기명으로 응답하게 하였지만 이러한 차이가 발생한 것은 검사-재검사 간격의 차이 때문일 수 있다고 생각한다. 스웨덴의 연구[30]에서는 검사 간격이 1주일이었던 반면에 본 연구에서는 10일이었다. 검사 간격은 1주일과 같이 가까우면 속성이 변화될 위험이 적지만 이월효과가 나타날 가능성이 높고, 너무 멀면 측정하고자 하는 경험에 대한 기억이 왜곡될 수 있기 때문이다[28]. 본 연구에서의 검사-재검사를 위한 1차와 2차 조사 간 시간이 지남에 따라 실습 환경에 대한 인식 자체가 실제로 변화한 것을 반영하였다고도 해석할 수 있다. Bland-Altman 도표를 보면 본 측정도구가 대체로 안정적이라고 평가할 수 있다. 검사-재검사 간의 변화는 발생될 수밖에 없지만 연구자는 최대한 측정에 의한 체계적인 오차를 줄이도록 해야 한다. 검사-재검사 신뢰도를 높이기 위해서 향후 연구에서는 본 연구에서와 같이 동일한 대학교의 학생을 대상으로 검사-재검사 신뢰도를 조사하기 보다는 가능한 이질집단을 조사하고, 2차 조사를 마친 후에 일부 참여했던 대상자에게 1차와 2차의 응답이 달라졌던 이유를 확인하는 인지적 면담도 안정성을 해석하고 평가하는데 도움이 될 수 있다[28]. 또한 전문가 패널에게 내용타당도를 평가할 때 구성요인의 안정성도 함께 평가하고 조언을 구하는 방안과 문항수준의 검사-재검사 분석을 하여 문항을 선별하는 것이 필요하다[28].
한국어판 CLES+T 측정도구의 구성타당도는 원 도구의 구성요인과 유사하지만 좀 더 세분화된 요인으로 구성된 것을 확인하였으며, 요인수준과 문항수준의 수렴과 판별타당도를 확인하였다. 또한 준거타당도를 확인하였으나 국내에서 임상학습환경에 대한 연구가 드물어 준거타당도로 사용할 수 있는 황금기준을 만족하는 측정도구를 선정하는 것은 어려운 일이었다. 그러므로 향후 준거타당도에 대한 활발한 연구를 통해 본 도구의 동시타당도와 예측타당도를 검정함으로써 본 도구의 타당화(validation)가 계속되어야 할 것으로 생각한다. 그리고 본 연구에서는 한국의 임상실습교육의 실정에 맞도록 임상실습지도교수가 간호팀의 일원처럼 협력하는 역할에 대한 문항을 삭제하였다. 그러나 본 연구에서 이 문항에 대한 확인적 요인분석의 적합도가 좋은 편이었고 일부 적합도가 기준에 부합하지 않다고 하여 내용의 타당성까지 단정적으로 부인할 수 없기 때문에, 그리고 회귀계수는 기준 이상이었기 때문에 향후 연구에서 대학의 실정에 맞게 포함하여 평가에 활용하는 것도 제언한다.
결론
본 연구는 간호대학생의 임상학습환경을 평가하는 타당하고 신뢰할 수 있는 측정도구를 제시함으로써 임상학습환경을 평가할 수 있도록 하고 이의 개선활동에 기여할 수 있는 근거를 제공하고자 시도되었다. CLES+T 측정도구는 유럽과 뉴질랜드의 여러 언어로 번역되어 타당도와 신뢰도가 보고된 것으로 대부분의 연구에서 구성요인이 유사하거나 동일하게 나타났고, 한국의 간호대학생을 대상으로 평가한 본 연구의 결과, 거의 같은 문항이 확정되었으며 요인은 더 세분화되었으나 원 도구와 유사한 요인 구성이라고 사료된다. 본 연구에서 7요인 33문항의 한국어판 CLES+T 측정도구는 타당도와 신뢰도가 적합한 것으로 검정되었으므로 향후 간호교육 현장에서 임상학습환경을 평가하기 위해 본 도구의 사용을 제언한다. 그리고 본 도구는 전국의 여러 지역 간호대학생을 대상으로 조사하였지만 향후 연구에서는 본 측정도구의 일반화와 타당화를 위해 지속적으로 더 다양한 지역에서 본 측정도구를 활용한 연구를 제언한다.
Notes
CONFLICTS OF INTEREST:The authors declared no conflict of interest.
Appendix 1
한국어판 CLES+T 측정도구의 문항
References
-
Chan D. Development of the clinical learning environment inventory: Using the theoretical framework of learning environment studies to assess nursing students' perceptions of the hospital as a learning environment. J Nurs Educ 2002;41(2):69–75.
-
-
Kown IS, Seo YM. Nursing students' needs for clinical nursing education. J Korean Acad Soc Nurs Educ 2012;18(1):25–33. [doi: 10.5977/jkasne.2012.18.1.025]
-
-
Kim EY, Yang SH. Effects of clinical learning environment on clinical practice stress and anxiety in nursing students. J Korean Acad Nurs Adm 2015;21(4):417–425. [doi: 10.11111/jkana.2015.21.4.417]
-
-
Kim K. Affecting factors on competence of clinical practice of nursing students. Korean J Stress Res 2014;22(2):55–65. [doi: 10.17547/kjsr.2014.22.2.55]
-
-
Song J, Kim M. Study on clinical education for nursing in hospitals in Korea. J Korean Acad Soc Nurs Educ 2013;19(2):251–264. [doi: 10.5977/jkasne.2013.19.2.251]
-
-
Chung MS, Park JS, Ryu E, Shin G, Jun HY, Kim BJ. Teaching effectiveness and adequacy of practical training in nursing students. J Korean Acad Soc Nurs Educ 2015;21(4):550–560. [doi: 10.5977/jkasne.2015.21.4.550]
-
-
Han J. Nursing students' perceptions of clinical learning environment (CLE). J Korean Data Anal Soc 2010;12(5):2595–2607.
-
-
Comrey AL, Lee HB. In: A first course in factor analysis. 2nd ed. Hillsdale (NJ): Lawrence Erlbaum Associates; 1992. pp. 217.
-
-
MacCallum RC, Browne MW, Sugawara HM. Power analysis and determination of sample size for covariance structure modeling. Psychol Methods 1996;1(2):130–149. [doi: 10.1037/1082-989X.1.2.130]
-
-
Whang SJ. Development and verification of a tool for the nursing students' clinical stress. J Margaret Pritchard Coll Nurs 2002;14(1):35–54.
-
-
World Health Organization. Process of translation and adaptation of instruments [Internet]. Geneva: Author; c2015 [cited 2016 Nov 1].Available from: http://www.who.int/substance_
abuse/research_ tools/translation/en/.
-
-
Streiner DL, Norman GR, Cairney J. In: Health measurement scales: A practical guide to their development and use. Oxford: Oxford University Press; 2014. pp. 30-34.pp. 83-84.pp. 149-156.
-
-
Tomietto M, Saiani L, Palese A, Cunico L, Cicolini G, Watson P, et al. Clinical learning environment and supervision plus nurse teacher (CLES+T) scale: Testing the psychometric characteristics of the Italian version. G Ital Med Lav Ergon 2012;34 2 Suppl B:B72–B80.
-
-
Iacobucci D, Duhachek A. Advancing alpha: Measuring reliability with confidence. J Consum Psychol 2003;13(4):478–487. [doi: 10.1207/S15327663JCP1304_14]
-
-
Johansson UB, Kaila P, Ahlner-Elmqvist M, Leksell J, Isoaho H, Saarikoski M. Clinical learning environment, supervision and nurse teacher evaluation scale: Psychometric evaluation of the Swedish version. J Adv Nurs 2010;66(9):2085–2093. [doi: 10.1111/j.1365-2648.2010.05370.x]
-
-
Vizcaya-Moreno MF, Pérez-Cañaveras RM, De Juan J, Saarikoski M. Development and psychometric testing of the Clinical Learning Environment, Supervision and Nurse Teacher evaluation scale (CLES+T): The Spanish version. Int J Nurs Stud 2015;52(1):361–367. [doi: 10.1016/j.ijnurstu.2014.08.008]
-
Cite
