[사회복지조사론] 신뢰도와 타당도의 관계/의미/ 유형

1. 신뢰도와 타당도의 관계

- 신뢰도는 타당도의 필요조건이지 충분조건은 아니다.
- 신뢰도가 낮으면 타당도는 반드시 낮다. 그러나 신뢰도가 높다고 해서 타당도가 높은 것은 아니다.
- 타당도가 낮다고 해서 반드시 신뢰도가 낮은 것은 아니지만, 타당도가 높으면 신뢰도는 항상 높다.

타당도는 과녁의 중앙과 같다.
이러한 과녁의 중앙과 가까워서 타당도가 높다면 신뢰도가 높을 수 밖에 없지만,

신뢰도는 과녁의 중앙과 상관없이 어디에서든 몰려 있으면 높기 때문에,
타당도가 낮아도 신뢰도는 높을 수 있다.

한편, 어느 한곳에 밀집되어 있지 않아서(즉, 퍼져있어서) 신뢰도가 낮다면,
중앙의 과녁가 가까워야 올라가는
타당도의 입장에서도 낮아질 수 밖에 없는 관계이다.

---

2. 신뢰도

▶ 신뢰도의 개념
- 신뢰도란 동일한 사람을 대상으로 반복 측정 시 검사시기 등과 관련없이 일관성 있는 결과즉, 여러 번 반복 검사를 실시 해도 비슷한 결과가 도출되는 정도를 말한다.
- 만일, 측정도구가 어떠한 외부 영향이 없음에도 불구하고, 측정 시 마다 결과 차이가 크게 나타난다면 아무도 그 측정도구를 사용하려고 하지 않을 것이다.(신뢰가 안 가니깐)

▶ 신뢰도의 종류 5가지 (검사-재검사 신뢰도, 동형검사신뢰도, 반분신뢰도, 문항 내적 일관성 신뢰도, 채점자 간 신뢰도)

---

☞ 검사 - 재검사 신뢰도 (안정성 계수)

- 의미
: 동일한 사람을 대상으로 측정시기를 달리하여 두 번 실시한 검사의 점수 간의 상관계수
: 검사점수가 시간 변화에 따라 얼마나 일관성 있는지 보여주므로 시간에 따른 안정성을 나타낸다고 하여 안정성 계수 라고도 한다.

- 검사 - 재검사 신뢰도의 단점(안정성 계수 저해요인) ★★★
ㅁ 검사요인효과(검사효과)
: 처음 측정(첫 검사)이 재측정(재검사) 점수에 영향을 미치는 효과
ㅁ 성숙요인효과(성숙)
: 측정 간격이 길 때 조사대상집단의 특성변화(즉, 측정속성변화)에 따른 효과
ㅁ 역사요인효과(역사): 측정기간 중에 발생한 사건의 영향(ex. 환경재해, 장례식 등)

↓(비슷한 의미인데 약간 구분이 다름)

1) 이월효과
: 검사시간 간격이 짧은 경우 선행검사의 기억(기억효과 혹은 학습효과)에 따른 높은 상관도를 보이는 현상 (즉, 기억을 잘 하고 있어서 큰 고민없이 답을 체크해 나감)
2) 반응민감성 효과
: 검사시간 간격이 긴 경우 망각이나 새로운 학습요인에 따른 낮은 상관도를 보이는 현상
(즉, 신뢰도가 낮게 측정됨)
3) 측정속성의 변화
: 응답자의 연령, 측정하려는 특성의 본질 등의 시간변화에 따른 영향
(두 번째 검사시에 연구자가 대상자를 토대로 측정하고자 했던 속성과는 다르게 대상자의 속성이 변화되는 것)

---

☞ 동형검사 신뢰도 (동등성 계수)

- 의미
: 같은 사람에게 첫 검사를 실시하고, 같은 속성을 측정하는 신뢰도가 입증된 타 검사를 실시하여 두 검사 간의 상관계수를 구하는 것.
: 두 검사의 동등성 정도를 나타낸다고 하여 동등성 계수라고도 한다.

- 동형검사 신뢰도의 장점
: 같은 속성을 측정하면서도 다른 도구를 사용하기 때문에 같은 도구를 사용할 때 보다 기억력 통제가 수월하다.

- 동형검사 신뢰도의 단점
: 진정으로 동등한 검사인 평행검사를 구하거나 혹은 제작하는 일이 매우 어렵기 때문에 대부분의 검사에 활용하기가 쉽지 않다.

---

☞ 반분신뢰도(반분법, 내적합치도 계수)

- 의미
: 한 가지 검사 내에 구성된 문항을/ 문항수가 같도록/ 반씩 나눠서 /각기 채점한 /두 개의 점수들 간의/ 상관계수를 구하는 것.
: 이 때 신뢰도는 반분되어 있기 때문에 이를 교정할 필요가 있어서 사용하는 공식이 스피어먼-브라운 공식이다.

- 반분신뢰도를 측정하는 방법
ㅁ 전후반분법: 검사 문항의 번호를 나열된 순서대로 전반부 / 후반부로 양분하는 방법
ㅁ 기우반분법:검사 문항의 번호를 홀수/ 짝수로 나누어 양분하는 방법
ㅁ 난수표법:임의추출법으로 사전에 어느 번호가 당첨될지 알 수 없이 무작위로 추출하여 양분하는 방법(ex. 30개 문항을 랜덤뽑기로 15개 씩 2짝으로 나눔)
ㅁ 짝진 임의 배치법
1) 각 문항의 난이도와 문항과 총점 간의 상관계수를 산출
2) 두 통계치를 좌표축으로 산포도를 작성
3) 산포도에서 비교적 가까운 두 문항끼리 짝을 지음
4) 각 짝에서 한 문항씩을 임의로 선택하여 검사문항을 양분한다.

- 반분신뢰도의 장점
: 동시 측정이 가능하기 때문에 검사-재검사 신뢰도의 단점을 보완할 수 있다.
: 서로 측정 시간을 달리 개입함으로써, 외생변수의 영향을 통제할 수 있다.
: 같은 대상을 한 번만에 측정함으로써 검사-재검사 신뢰도의 단점인 검사효과를 배제할 수 있다.

- 반분신뢰도의 단점
: 반분신뢰도 측정 방법마다 신뢰도 계수가 달라질 수 있다.
: 측정문항을 완전히 동등하게 나누기 어렵다(신뢰도 계수가 방법마다 달라질 수 있는 요인).
: 측정문항이 적은 경우에는 사용이 제약된다.(spss에서는 가능하다)

---

☞ 문항 내적 일관성 신뢰도(동질성 계수)

- 의미
: 검사를 구성하는 문항 하나 하나를 /각각 독립된 별개의 검사/로 간주하여 문항 내 득점의 일관성을 상관계수로 표시한 신뢰도 계수이다.
: 구분된 각 문항들의 내용이 얼마나 일관성 있고 동질적인가를 측정하는 것이어서 동질성계수라고도 한다.
: 이는 각 문항들이 각각 분리 되어도 /측정결과에 일관성이 있어야 한다는 것/으로, 각 문항들 중/ 일관성을 보이지 않는 문항은/ 차례차례 삭제해 /나가는 방식을 취한다.
: 이 신뢰도를 측정하는 방법으로는 대표적으로 크롬바흐 알파가 있고, 그 외에는 쿠더/리차드슨 공식, Hoyt의 공식을 사용한다.
: 크롬바흐 알파 => 이 계수가 높다는 것은 그 만큼 각 검사문항이 동질적이라는 것. 즉, 일관성이 있다는 것으로, 계수값이 0.6 이상 부터 신뢰도가 있고, 그 밑은 신뢰할 수 없다고 판단한다. '1' 에 가까울 수록 신뢰도가 높다.

---

☞ 채점자 간 신뢰도

- 의미
: 2명의 채점자가 한 집단의 검사용지를 각자 독립적으로 채점한 다음, 두 점수 간의 상관계수를 구하는 것으로 이 때 구해진 신뢰도 계수가 채점자 신뢰도의 측정치가 되는 것.

※다 적은 겁니당

728x90

---

3. 타당도

▶타당도의 개념
: 연구자가 측정하고자 하는 개념을 측정도구가 얼마나 정확하게 측정할 수 있는가를 나타낸다.
: 즉, 타당도가 높다는 것은 측정도구가 측정하고자하는 개념을 잘 담아내고 있다고 볼 수 있다.
: 반면, 타당도가 낮다는 것은 측정도구가 측정하고자하는 개념과는 맞지 않는 것을 측정하고 있다고 판단할 수 있다. (즉, 대상의 우울정도를 측정하기 위해 우울감 척도를 써야 하는데, 척도의 구성내용의 대부분은 다른 개념을 측정하고 있는 경우)

▶타당도의 종류

☞ 내용타당도(교과타당도)

★전문가의 판단에 의해 이루어짐

- 의미
: 검사의 문항들이 그 검사가 측정하고자 하는 내용의 영역을 얼마나 잘 반영하고 있는가
: 검사 실시를 통해 경험적으로 평가되기 보다는, 검사지를 구성할 때 해당 분야의 전문가의 판단에 의해 이루어진다.
: 즉, 각 문항이 어떤 내용의 범주로 분류되는 것이 적절하고, 각 문항이 속하는 내용의 범주를 얼마나 잘 대표하고 있는지를 판단함으로써 평가된다.
ex. 학업성취도 검사, 수능시험의 문항 구성시 전문가의 주관적인 논리적 분석과정을 통해 측정하고자 하는 검사 내용의 범주를 각 문항이 잘 반영하고 있는지 판단.

---

☞ 안면타당도(액면타당도)

비전문가 입장(피험자, 피검사자)에 의해 이루어짐

- 의미
: 이는 내용타당도와 비슷해 보이지만 전혀다른 개념이다.
: 실제로 무엇을 측정하는가를 보는게 아니라, 검사가 측정하고자 하는 것을 측정하는 것 처럼 보이는가와 같은 느낌상의 문제이다.
: 즉, 내용타당도는 전문가의 판단에 의해 내용의 타당성을 따진다면,
: 안면타당도는 피검사자가 검사를 받으면서 그 검사가 측정하고자 하는 것을 측정하고 있다고 즉, 타당하다고 판단하는가를 뜻하는 것이다.
: 피험자 즉 비전문가 입장에서 볼 때 검사문항이 측정하고자 하는 것을 제대로 측정하고 있는지를 판단할 수 있는 정도이다. 검사문항의 타당도를 전문가가 판단한다면 이는 내용타당도가 되지만 피험자가 판단한다면 안면타당도가 되는 것이다. 따라서 성취(achievement)의 정도를 파악하고자 하는 검사에서는 안면타당도가 높아야 피험자의 반응을 제대로 도출해 낼 수 있지만 태도나 가치관과 같은 정의적 특성을 재는 검사에서는 안면타당도가 너무 높으면 거짓반응을 유도해 낼 수도 있다.

---

☞ 준거타당도

- 의미
: 어떤 검사를 실시한 후 특정준거(어떤 검사와 비교기준이 되는 검사 결과나 행동 등)와 어느 정도 관련성이 있는지를 나타내는 타당도이다.(ex. 수능시험 결과-> 대학 학업성취 정도)
: 즉, 어떤 검사의 점수를 가지고 준거점수와의 상관계수를 나타내는 것(준거타당도 계수)

- 준거타당도의 종류
ㅁ 예언타당도
: 어떤 검사의 점수를 가지고 향후 다른 준거점수들을 어느 정도 예측할 수 있는가?
: 어떤 검사를 먼저 실시하고, 일정기간이 흘러 다음 준거를 측정하여 두 점수들 간의 상관계수를 측정하여 평가한다.
(ex. 수능점수를, 향후 대학 입학 후 대학학업성취 점수와 비교하여 상관계수를 구하여 평가한다. 만일 대학학업성취도가 낮다면, 예언타당도 계수는 낮게된다.)
: 이는 선발된 사람만(표본집단)을 대상으로 실시하기 때문에 모두를 대상(즉, 모집단 대상)으로 했을 때의 실제 타당도 계수보다 더 낮게 나타날 수 있다.(즉, 표본집단이 모집단을 대표하지 못할 경우)

ㅁ 동시타당도(공인/공존)
: 한 시점에서 검사와 준거를 동시에 측정해서 얻은 두 점수들의 상관계수를 준거 타당도의 계수로 활용하는 것
: ex. 새로개발된 행복감 척도와 기존에 존재하던 표준화된 행복감 척도를 비교하여 타당도를 비교한다.
: 바로 측정이 가능하다는 장점이 있으나, 이 또한 표본집단이 모집단을 대표하지 못할 경우 타당도 계수의 축소 현상이 나타날 수 있다.

2019년도 기출 문제 중 보기- 준거의 기준은 굳이 다른척도를 통한 측정값에 한정되기 보다는
한 척도를 둘 이상의 집단에 적용하였을 경우 기존 집단과 비교되는 타집단에도 적용되는 듯

---

☞ 구성타당도

- 추상적 개념 <-> 내용타당도는 구체적 기술이나 능력에 초점

- 의미
: 연구자가 측정하고자 하는 측정방법)

ㅁ 수렴타당도(같은 개념 측정 시)
: 이는 같은 개념을 측정하는 측정방법이라면, 서로 다른 방법이라도 상관관계가 높아야 함을 가정
: 같은 개념을 측정하는 여러가지 측정방법을 사용시,
: 각 측정지표의 측정값 간의 상관관계의 정도를 나타낸다.
(서로 상관관계 ↑ => 수렴타당도 ↑ )

ㅁ 변별타당도(서로 다른 개념 측정 시)
: 서로 다른 개념을 측정하는 여러가지 측정방법을 사용시,
: 각 측정지표의 측정값 간의 상관관계의 정도
(서로 상관관계 ↓ => 변별타당도↑)

ㅁ 요인분석
: 알지 못하는 특성을 규명하기 위하여 문항이나 변인들 간의 상호관계를 분석하여 상관이 높은 문항이나 변인들을 묶어서 몇 개의 요인으로 규명하고 그 요인의 의미를 부여하는 통계방법이다.

: 요인분석을 통해 요인에 포함되지 않거나 포함되더라도 중요도가 낮은 변수들은 제거된다. 관련된 변수들이 묶여져 요인을 이루지만 상호 독립적인 특성을 가지게 되어 변수들의 특성을 알 수 있다.

: 요인분석은 인간의 심리적 특성을 규명하기 위하여 개발된 통계적 방법으로 지능을 밝히는데 사용되었으며 최근에는 구조 방정식 모형에서 잠재변수를 밝히는 데에도 사용되고 있다.

: 요인분석에는 탐색적 요인분석과 확인적 요인분석이 있다. 탐색적 요인분석은 연구자가 어떤 요인들과 요인의 수에 대하여 확실한 정보가 없을 경우 실시하는 것이고, 확인적 요인분석은 연구자가 요인 수에 대한 정보를 가지고 있을 때 실시하는 분석이다.