51. 동일대상에게 시기만 달리하여 동일 측정도구로 조사한 결과를 비교하는 신뢰도 측정법은? 1
① 검사-재검사법 ② 평행양식법 ③ 반분법 ④ 복수양식법 ⑤ 내적 일관성법
56. 다음 ( )안에 알맞은 것은? 5
① 내용(content) ② 동시(concurrent) ③ 수렴(convergent) ④ 판별(discriminant) ⑤ 예측(predictive)
ㅁ 예언타당도: 어떤 검사를 실시 후 기준이 되는 준거점수(비교의 기준이 되는 점수)와의 상관관계를 예측하기 위한 타당도, 예언타당도가 높다는 것은 그 검사가 향후 피검사자의 행동특성이나 성취도를 잘 예측하였다는 것.
위 예시문의 경우 예측과 달리 낮은 성취를 보이기 때문에 예언타당도가 낮다.
2013년도 기출
37. ( )안에 알맞은 것은? 2
① 내용타당도(content validity)
② 판별타당도(discriminant validity)
③ 액면타당도(face validity)
④ 예측타당도(predictive validity)
⑤ 기준관련타당도(criterion-related validity)
☞ 구성타당도 - 추상적 개념 <-> 반면 내용타당도는 구체적 기술이나 능력에 초점
- 의미
: 연구자가 측정하고자 하는 추상적 개념이나 특성, 현상을 실제로 측정도구를 통해 제대로 측정이 되었는지 정도를 살펴보는 타당도이다.
- 구성타당도의 종류(구성타당도의 측정방법)
ㅁ 수렴타당도(같은 개념 측정 시) : 같은 개념을 측정하는 측정방법이라면, 서로 다른 방법이라도 상관관계가 높아야 함을 가정 :같은 개념을 측정하는 여러가지 측정방법을 사용시,각 측정지표의 측정값 간의 상관관계의 정도를 나타낸다. (서로 상관관계↑=수렴타당도↑)
ㅁ 변별타당도(서로 다른 개념 측정 시) : 서로 다른 개념을 측정한다고 했을 때, 서로 측정하는 개념이 다른 여러 방법을 사용해도 그 방법 간에는 서로 상관관계가 낮아야 함을 전제로 한다. :만일 A라는 행복감 측정 척도가 C라는 행복감 측정 척도와 상관관계가 높은게 아니라, B라는 우울감 측정 척도와 서로 상관관계가 높게 측정된다면, 이는 A라는 측정 척도의 구성이 잘못된 것일 가능성이 높다는 것. :서로 다른 개념을 측정하는 여러가지 측정방법을 사용시, 각 측정지표의 측정값 간의 상관관계의 정도(서로 상관관계↓=변별타당도↑)
54. 측정도구의 신뢰도에 관한 설명으로 옳지 않은 것은? 3
① 신뢰도는 무작위 오류와 관련이 있다. ㅇ
= 추가) 무작위 오류는 신뢰도를 낮추는 원인이 되고, 체계적 오류는 타당도를 낮추는 원인이 된다.
② 재검사법을 사용하여 신뢰도를 평가할 경우 측정대상이 동일해야 한다. ㅇ
③ 측정하고자 의도한 것을 측정하는 능력을 말한다. x => 타당도
④ 크론바 알파(Cronbach's alpha)는 신뢰도 측정의 대표적 방법이다. ㅇ
= 추가) 이 계수가 0.6 이상일 때 신뢰할 수 있다고 하며, 1에 가까울수록 신뢰가 높다.
⑤ 측정결과가 일관된 정도를 말한다. ㅇ
▶ 신뢰도의 개념 - 신뢰도란 동일한 사람을 대상으로 반복 측정 시 검사시기 등과 관련없이 일관성 있는 결과즉,여러 번 반복 검사를 실시 해도 비슷한 결과가 도출되는 정도를 말한다. - 만일, 측정도구가 어떠한 외부 영향이 없음에도 불구하고, 측정 시 마다 결과 차이가 크게 나타난다면 아무도 그 측정도구를 사용하려고 하지 않을 것이다.(신뢰가 안 가니깐)
▶ 타당도의 개념 - 연구자가측정하고자 하는 개념을 측정도구가 얼마나 정확하게 측정할 수 있는가를 나타낸다. - 즉, 타당도가 높다는 것은 측정도구가 측정하고자하는 개념을 잘 담아내고 있다고 볼 수 있다. - 반면, 타당도가 낮다는 것은 측정도구가 측정하고자하는 개념과는 맞지 않는 것을 측정하고 있다고 판단할 수 있다. (즉, 대상의 우울정도를 측정하기 위해 우울감 척도를 써야 하는데, 척도의 구성내용의 대부분은 다른 개념을 측정하고 있는 경우)
2014년도 기출
31. ( )안에 알맞은 것은? 1
① 내용 ② 동시 ③ 예측 ④ 판별 ⑤ 기준
☞ 내용타당도(교과타당도) - ★전문가의 판단
: 검사의 문항들이 그 검사가 측정하고자 하는 내용의 영역을 얼마나 잘 반영하고 있는가 : 검사 실시를 통해 경험적으로 평가되기 보다는,검사지(척도)를 구성할 때 해당분야의 전문가의 판단에 의해 이루어진다. : 즉, 각 문항이 어떤 내용의 범주로 분류되는 것이 적절하고, 각 문항이 속하는 내용의 범주를 얼마나 잘 대표하고 있는지를 판단함으로써 평가된다. ex. 만일 각 문항이 어느 범주를 잘 대표하지 못한다고 판단한다면, 이를 배제하거나 추가로 문항을 구성하여 내용타당도를 높이려고 할 것이다. ex. 학업성취도 검사, 수능시험의 문항 구성시 전문가의 주관적인 논리적 분석과정을 통해 측정하고자 하는 검사 내용의 범주를 각 문항이 잘 반영하고 있는지 판단하여 부족한 부분을 보완하거나 불필요한 부분을 배제하는 등의 과정을 거친다.
38. 측정의 신뢰도와 타당도에 관한 설명으로 옳은 것은? 3
① 동일인이 한 체중계로 여러 번 몸무게를 측정하는 것은 체중계의 타당도와 관련되어 있다. = 신뢰도
② 편향은 측정의 무작위 오류와 관련되어 있다. => 체계적 오류와 관련
③ 측정도구의 높은 신뢰성이 측정의 타당성을 보증하지 않는다. ㅇ
=> 신뢰도가 높다고 해서 타당도가 높은 건 아니다. ㅣ 반면 타당도가 높으면 신뢰도는 높아진다. 즉, 신뢰도는 타당도의 필요조건이지 충분조건은 아닌 것이다.( 신뢰도가 없다면 타당도도 없다.) ④ 측정도구의 타당도를 검사하기 위해 반분법을 활용한다.
=> 측정도구의 신뢰도
⑤ 기준관련 타당도 검사를 위해 해당개념과 관련된 이론적 모형이 필요하다.
ㄴ☞ 준거타당도: 어떤 검사를 실시한 후 특정준거(어떤 검사와 비교기준이 되는 검사 결과나 행동 등)와 어느 정도 관련성이 있는지를 나타내는 타당도이다.(ex. 수능시험 결과-> 대학 학업성취 정도) 즉, 어떤 검사의 점수를 가지고 준거점수와의 상관계수를 나타내는 것(준거타당도 계수)
신뢰도와 타당도의 관계
2015년도 기출
33. 총 20문항의 척도를 10문항씩 두 조합으로 나눈 후, 평균점수 간 상관관계를 보고 측정의 일관성을 확인하였다. 이에 관한 설명으로 옳지 않은 것은? 5
① 신뢰도 측정방법 중 하나다. ㅇ
② 일관성 확인을 위해 두 번 조사해야 하는 불편함이 없다. ㅇ
= 동시에 측정하기 위한 방법이다. ㅣ이는 검사-재검사 신뢰도의 단점으로 볼 수 있으며, 반분신뢰도는 이를 보완하였다.
③ 20문항이 동일 개념을 측정해야 적용할 수 있다. ㅇ
④ 문항을 어떻게 두 조합으로 나누는지에 따라 상관관계가 달라진다. ㅇ=반분신뢰도의 단점
⑤ 상관관계가 낮을 경우 어떤 문항을 제거할지 알 수 있다. x
☞ 반분신뢰도(반분법, 내적합치도 계수)
- 의미
: 한 가지 검사 내에 구성된 문항을/ 문항수가 같도록/ 반씩 나눠서 /각기 채점한 /두 개의 점수들 간의/ 상관계수를 구하는 것.
: 이 때 신뢰도는 반분되어 있기 때문에 이를 교정할 필요가 있어서 사용하는 공식이 스피어먼-브라운 공식이다.
- 반분신뢰도를 측정하는 방법
ㅁ전후반분법: 검사 문항의 번호를나열된 순서대로전반부 / 후반부로 양분하는 방법 ㅁ기우반분법: 검사 문항의 번호를홀수/ 짝수로 나누어 양분하는 방법 ㅁ난수표법:임의추출법으로 사전에 어느 번호가 당첨될지 알 수 없이 무작위로 추출하여 양분하는 방법(ex. 30개 문항을 랜덤뽑기로 15개 씩 2짝으로 나눔) ㅁ짝진 임의 배치법 1) 각 문항의 난이도와 문항과 총점 간의 상관계수 산출 2) 두 통계치를 좌표축으로 산포도 작성 3) 산포도에서 비교적 가까운 두 문항끼리 짝 지음 4) 각 짝에서 한 문항씩을 임의로 선택하여 검사문항을 양분한다. -> 동시 측정이 가능하기 때문에 검사-재검사 신뢰도의 단점을 보완할 수 있다.
- 반분신뢰도의 장점
: 서로 측정 시간을 달리 개입함으로써, 외생변수의 영향을 통제할 수 있다.
: 같은 대상을 한 번만에 측정함으로써 검사-재검사 신뢰도의 단점인 검사효과를 배제할 수 있다.
- 반분신뢰도의 단점
: 반분신뢰도 측정 방법마다 신뢰도 계수가 달라질 수 있다.
: 측정문항을 완전히 동등하게 나누기 어렵다(신뢰도 계수가 방법마다 달라질 수 있는 요인).
: 측정문항이 적은 경우에는 사용이 제약된다.(spss에서는 가능하다)
47. 척도 구성을 위한 요인분석(factor analysis)을 통해 확인할 수 없는 것은?(요인분석 부분에서 따로) 2
① 문항들의 단일차원성 ㅇ
-> 참고) 문항들의 측정결과가 측정하고자 하는 범주의 개념을 제대로 반영하고 있는가 즉, 다양한 문항들이 단일 개념을 측정하고 있는가를 나타내는 것.
② 내용타당도의 크기 x -> 요인분석은 구성타당도의 유형 중 하나이다.
③ 척도 내의 불필요한 문항 ㅇ
④ 하위척도의 존재가능성 ㅇ
⑤ 각 문항의 상대적 영향력 ㅇ
2016년도 기출
40. 다음 사례에 기술된‘표준화된 척도’의 타당도 평가방법은? 1
참고) 이는 준거타당도 중에서도 동시타당도를 검증한 방법이라고 볼 수 있다.
① 기준타당도② 수렴타당도 ③ 판별타당도 ④ 개념구성(construct)타당도 ⑤ 액면타당도
☞ 준거타당도
- 의미
: 어떤 검사를 실시한 후 특정준거(어떤 검사와 비교기준이 되는 검사 결과나 행동 등)와 어느 정도 관련성이 있는지를 나타내는 타당도이다.(ex. 수능시험 결과-> 대학 학업성취 정도)
: 즉, 어떤 검사의 점수를 가지고 준거점수와의 상관계수를 나타내는 것(준거타당도 계수)
- 준거타당도의 종류
ㅁ 예언타당도 : 어떤 검사의 점수를 가지고 향후 다른 준거점수들을 어느 정도 예측할 수 있는가? :어떤 검사를 먼저 실시하고, 일정기간이 흘러 다음 준거를 측정하여 두 점수들 간의 상관계수를 측정하여 평가한다. (ex. 수능점수를, 향후 대학 입학 후 대학학업성취 점수와 비교하여 상관계수를 구하여 평가한다. 만일 대학학업성취도가 낮다면, 예언타당도 계수는 낮게된다.) : 이는 선발된 사람만(표본집단)을 대상으로 실시하기 때문에 모두를 대상(즉, 모집단 대상)으로 했을 때의 실제 타당도 계수보다 더 낮게 나타날 수 있다.(즉, 표본집단이 모집단을 대표하지 못할 경우)
ㅁ 동시타당도(공인/공존)
:한 시점에서 검사와 준거를 동시에 측정해서 얻은 두 점수들의 상관계수를 준거 타당도의 계수로 활용하는 것 : 바로 측정이 가능하다는 장점이 있으나, 이 또한 표본집단이 모집단을 대표하지 못할 경우타당도 계수의 축소 현상이 나타날 수 있다.
42. 내적 일관성 신뢰도에 관한 설명으로 옳지 않은 것은? 5
① 반분법은 내적 일관성 신뢰도를 평가하는 방법이다. ㅇ
② 척도 내 문항들 간 상관관계를 분석하여 평가한다. ㅇ
③ 가장 일반적인 신뢰도 평가방법이다.ㅇ
④ 크론바 알파(Cronbach's alpha)를 사용하여 나타낼 수 있다.ㅇ
⑤ 동등한 것으로 추정되는 2개의 측정도구를 사용하여 평가하는 방법이 최근 추세이다. => 동형검사 신뢰도(동등성 계수)
☞ 문항 내적 일관성 신뢰도 (동질성 계수)
: 검사를 구성하는 문항 하나 하나를 각각 독립된 별개의 검사로 간주하여 문항 내 득점의 일관성을 상관계수로 표시한 신뢰도 계수이다.
: 구분된 각 문항들의 내용이 얼마나 일관성 있고 동질적인가를 측정하는 것이어서 동질성계수라고도 한다.
: 이는 각 문항들이 각각 분리 되어도 측정결과에 일관성이 있어야 한다는 것으로, 각 문항들 중 일관성을 보이지 않는 문항은 차례차례 삭제해 나가는 방식을 취한다.
: 이 신뢰도를 측정하는 방법으로는 대표적으로 크롬바흐 알파가 있고, 그 외에는 쿠더/리차드슨 공식, Hoyt의 공식을 사용한다.
: 크롬바흐 알파 => 이 계수가 높다는 것은 그 만큼 각 검사문항이 동질적이라는 것. 즉, 일관성이 있다는 것으로, 계수값이 0.6 이상 부터 신뢰도가 있고, 그 밑은 신뢰할 수 없다고 판단한다. '1' 에 가까울 수록 신뢰도가 높다.
☞ 동형검사 신뢰도 (동등성 계수)
- 의미
: 같은 사람에게 첫 검사를 실시하고, 같은 속성을 측정하는 신뢰도가 입증된 타 검사를 실시하여 두 검사 간의 상관계수를 구하는 것.
: 두 검사의 동등성 정도를 나타낸다고 하여동등성 계수라고도 한다.
- 동형검사 신뢰도의 장점
: 같은 속성을 측정하면서도 다른 도구를 사용하기 때문에 같은 도구를 사용할 때 보다 기억력 통제가 수월하다.
- 동형검사 신뢰도의 단점
: 진정으로 동등한 검사인 평행검사를 구하거나 혹은 제작하는 일이 매우 어렵기 때문에 대부분의 검사에 활용하기가 쉽지 않다.
728x90
2017년도 기출
27. A시설 어린이들의 발달 상태를 조사하기 위해 체중계를 이용하여 몸무게를 측정했는데 항상 2.5kg이 더 무겁게 측정되었다. 이 측정에 관한 설명으로 옳은 것은? 2
① 타당도는 높지만 신뢰도는 낮다.
② 신뢰도는 높지만 타당도는 낮다.
=>항상 2.5kg 더 무겁게 측정이 이루어지니 신뢰도는 높으나, 2.5kg 이 높게 나타나면서 측정도구가 측정하고자 하는 개념을 제대로 측정하지 못하고 있기 때문에 , 타당도는 낮다.
③ 신뢰도도 높고 타당도도 높다.
④ 신뢰도도 낮고 타당도도 낮다.
⑤ 신뢰도나 타당도를 평가할 수 없다.
ㅁ 신뢰도와 타당도의 관계
- 신뢰도는 타당도의 필요조건이지 충분조건은 아니다.
- 신뢰도가 낮으면 타당도는 반드시 낮다. 그러나 신뢰도가 높다고 해서 타당도가 높은 것은 아니다.
- 타당도가 낮다고 해서 반드시 신뢰도가 낮은 것은 아니지만, 타당도가 높으면 신뢰도는 항상 높다.
37. 다음에서 사용한 타당도는? 2
① 내용(content) 타당도 ② 동시(concurrent) 타당도 ③ 예측(predictive) 타당도 ④ 요인(factor) 타당도
⑤ 판별(discriminant) 타당도
ㅁ 동시타당도(공인/공존)
:한 시점에서 검사와 준거를 동시에 측정해서 얻은 두 점수들의 상관계수를 준거 타당도의 계수로 활용하는 것 : ex. 새로개발된 행복감 척도와 기존에 존재하던 표준화된 행복감 척도를 비교하여 타당도를 비교한다. : 바로 측정이 가능하다는 장점이 있으나, 이 또한 표본집단이 모집단을 대표하지 못할 경우 타당도 계수의 축소 현상이 나타날 수 있다.
2018년도 기출
38. 신뢰도와 타당도에 관한 설명으로 옳은 것은? 1
① 측정할 때마다 항상 30분 빠르게 측정되는 시계는 신뢰도가 높은 것이다. ㅇ
= 다만 타당도는 낮다.
② 측정도구의 신뢰도가 높으면 타당도도 높아진다. => 신뢰도가 높다고 해서 꼭 타당도가 높아지지 않는다.
③ 측정도구를 동일 응답자에게 반복 적용했을 때 일관된 결과가 나오면 타당도가 높은 것이다. => 신뢰도가 높은것
④ 동일한 변수를 측정할 때 신뢰도와 타당도를 높이기 위해서는 관련 문항 수를 줄인다.
= 문항 수를 늘린다.
⑤ 타당도를 검사하기 위해 복수양식법을 활용한다.
=> 복수양식법(두 개 이상의 유사한 측정양식을 이용하여 타당도를 측정하는 방법)은 신뢰도 ㅣ 동형검사신뢰도
39. 측정 항목들이 적절한 내용을 담고 있는가에 대해 이론에 비추어 경험적으로 검증해 보는 것과 관련된 것을 모두 고른 것은? 3
① ㄱ,ㄹ ② ㄱ,ㄷ,ㅁ ③ ㄱ,ㄹ,ㅂ ④ ㄴ,ㄷ,ㅁ ⑤ ㄱ,ㄹ,ㅁ,ㅂ
☞ 체계적 오류는 일관성 있게 나타나는 오류로 신뢰도는 높게 나타나지만, 측정하고자 하는 개념과는 어긋나게 측정하기 때문에 타당도가 낮다. 따라서 타당도를 높이기 위해서 체계적 오류가 있는지 검증할 필요가 있다.
2019년도 기출
32. 측정도구의 신뢰도에 관한 설명으로 옳은 것은? 1
① 일관성 또는 안정성으로 표현될 수 있는 개념이다. ㅇ
② 측정도구가 의도하는 개념의 실질적 의미를 반영하는 정도와 관련이 있다. => 타당도
③ 검사-재검사 신뢰도는 가장 널리 사용되는 신뢰도 유형이다. => 제약이 많고, 단점이 많아서이 보다 더 좋은 다양한 신뢰도 측정 방법이 등장했다.
④ 사회적 바람직성 편향은 신뢰도를 낮추는 주요 요인이다. => 사회적 바람직성, 개인적 성향, 편향, 인구학적 혹은 사회경제적 요인, 태도와 행동을 뒤섞어서 관찰함으로 생기는 오류 등의 체계적 오류는 타당도의 저해요인이다. ㅣ 즉, 편향은 오히려 신뢰도는 증가시킨다.
⑤ 특정 개념을 측정하는 문항수가 많을수록 신뢰도는 낮아진다.
=> 특정 개념을 측정하는 문항이 많으면 신뢰도가 높아진다. 왜냐 하면, 사람은 비슷한 유형의 문항을 보면 비슷한 답을 선택하려는 경향이 있기 때문이다.
40. 다음에서 설명하는 타당도 유형은? 3
① 액면(face)타당도 ② 내용(content)타당도 ③ 기준(criterion)타당도 ④ 이해(nomological)타당도 ⑤ 수렴(convergent)타당도
ㄴ 보기의 예시는 개발된 척도를 일반인 집단(준거)와 치료중인 집단으로 구분하여 적용 후 서로 동시에 비교하였으므로 준거(기준)타당도 중에서도 동시타당도에 대한 설명이다.
☞ 준거타당도
: 어떤 검사를 실시한 후 특정준거(어떤 검사와 비교기준이 되는 검사 결과나 행동, 비교집단 등)와 어느 정도 관련성이 있는지를 나타내는 타당도이다.(ex. 수능시험 결과-> 대학 학업성취 정도)
: 즉, 어떤 검사의 점수를 가지고 준거점수와의 상관계수를 나타내는 것(준거타당도 계수)
ㅁ동시타당도(공인/공존)
: 한 시점에서 검사와 준거를 동시에 측정해서 얻은 두 점수들의 상관계수를 준거 타당도의 계수로 활용하는 것 : ex. 새로개발된 행복감 척도와 기존에 존재하던 표준화된 행복감 척도를 비교하여 타당도를 비교한다. : 바로 측정이 가능하다는 장점이 있으나, 이 또한 표본집단이 모집단을 대표하지 못할 경우 타당도 계수의 축소 현상이 나타날 수 있다.
2020년도 기출
41. 측정의 신뢰도와 타당도에 관한 설명으로 옳은 것은? 1
① 신뢰도는 일관성으로 표현될 수 있는 개념이다.
② 측정도구의 문항 수가 적을수록 신뢰도는 높아진다. =>많을수록
③ 검사-재검사 방법은 타당도를 측정하는 방법이다. => 신뢰도 측정 방법
④ 편향(bias)은 측정의 비체계적 오류와 관련된다. => 체계적 오류
⑤ 측정도구의 신뢰도가 높아지면 타당도도 높아진다. => 꼭 그렇지 않다.
46. 다음에서 설명하고 있는 타당도는? 4
① 액면 타당도(face validity) ② 기준 타당도(criterion validity) ③ 동시 타당도(concurrent validity)
④ 구성 타당도(construct validity)
⑤ 예측 타당도(predictive validity)
ㄴ 보기의 예시는 구성타당도 중에서도 판별타당도에 대한 설명이다.
☞ 구성타당도 - 추상적 개념 <-> 반면 내용타당도는 구체적 기술이나 능력에 초점
- 의미
: 연구자가 측정하고자 하는 추상적 개념이나 특성, 현상을 실제로 측정도구를 통해 제대로 측정이 되었는지 정도를 살펴보는 타당도이다.
구성타당도의 종류
(구성타당도의 측정방법)
ㅁ 수렴타당도(같은 개념 측정 시)
:이는 같은 개념을 측정하는 측정방법이라면, 서로 다른 방법이라도 상관관계가 높아야 함을 가정하기 때문에, 서로 상관관계가 높다면, 수렴타당도가 높다고 말하는것이다. :같은 개념을 측정하는 여러가지 측정방법을 사용시, 각 측정지표의 측정값 간의 상관관계의 정도를 나타낸다. (서로 상관관계↑=수렴타당도↑)
ㅁ 변별타당도(서로 다른 개념 측정 시)
:서로 다른 개념을 측정하는 여러가지 측정방법을 사용시, 각 측정지표의 측정값 간의 상관관계의 정도 :즉, 서로 다른 개념을 측정하는 여러가지 측정방법의 측정 결과는 서로 상관관계가 낮아야 함을 전제로 한다. 고로 서로 상관관계가 낮으면 이 전제에 따라 변별타당도는 높다고 보는 것이다. (서로 상관관계↓=변별타당도↑)
댓글