[직업심리학]11. 신뢰도(신뢰도 추정· 방법, 검사-재검사 신뢰도에 영향을 미치는 요인, 채점/평점 오차의 유형) [직업상담사 2차 기출문제]

[직업상담사 2차 기출문제]

II.직업심리학-신뢰도(신뢰도 추정·방법, 검사-재검사 신뢰도에 영향을 미치는 요인, 채점자나 평점자로 인해 발생하는 오차의 유형)

11. 신뢰도(신뢰도 추정·방법, 검사-재검사 신뢰도에 영향을 미치는 요인, 채점자나 평점자로 인해 발생하는 오차의 유형)

 

01. 직업심리검사의 중요한 두 가지 기준인 신뢰도와 타당도의 의미를 비교하여 설명하시오.

1. 신뢰도(Reliability)

① 신뢰도는 검사가 측정하고자 하는 것을 얼마나 일관성 있게 측정하는지를 나타내는 지표이다. -1.00 ~ 1.00 범위 내에서 제시된다.

② 신뢰도는 어떻게 측정하느냐의 문제의 관련이 있다.

2. 타당도(Validity)

① 타당도는 검사가 측정하고자 하는 것을 얼마나 정확하게 측정하는지를 나타내는 지표이다.

② 타당도는 무엇을 측정하느냐의 문제와 관련이 있다.

 

02. 심리검사의 신뢰도를 추정하는 방법 3가지를 설명하시오.[18-1, 13-1, 06-3]

1. 검사-재검사 신뢰도(Test-retest Reliability) : 안정성 계수

동일한 검사를 동일한 사람에게 일정한 시간 간격을 두고 두 번 실시하여 두 점수 간의 상관관계를 구하는 방법이다. 시간변화에 따라 얼마나 일관성이 있는지 나타낸다.

2. 동형 검사 신뢰도(Equivalent form Reliability) : 동등성 계수

 두 개의 동형검사를 동일한 사람에게 실시하여 두 점수간의 상관관계를 구하는 방법이다. 검사 점수가 얼마나 일관성 있는지 나타낸다.

3. 반분 신뢰도(Split-half Reliability) : 내적일관성계수=내적합치도 계수

 전체 문항 수를 반으로 나누어 실시하여 두 점수 간의 상관계수를 구하는 방법이다.

4. 문항 내적 합치도(Item Internal Consistency) : 동질성 계수, 내적일관성 계수

 문항 하나하나를 독립된 검사로 보고 각 점수를 비교하여 상관계수를 구하는 방법이다.

• 일관성에 답하였는지? 신뢰도 추정.

• 쿠더-리차드슨20:이분문항만 구성. 정답 or 오답.

• 크론바흐 알파 계수: 이분문항, 서술형문항, α가 크면 검사문항이 동질적이다.

5. 채점자 신뢰도 : 채점자에게 재량권이 있는 검사의 경우 채점자가 누구냐에 따라 동일한 수검자에 대해서 점수가 달라질 수 있다. (창의성검사, 투사적 성격검사)

임상적 검사에서는 검사자의 변량이 중요하다. 두 체점자가 채점하여 두 점수의 상관계수를 구하는 방법이다.

 

03. 심리검사에서 검사-재검사 신뢰도와 반분 신뢰도에 대해서 쓰고 사용하는 계수와 추정방법을 설명하시오.[12-3]

1. 검사-재검사 신뢰도(Test-retest Reliability)

① 의의 : 동일한 검사를 동일한 사람에게 일정한 시간 간격을 두고 두 번 실시하여 두 점수 간의 상관관계를 구하는 방법이다.

② 사용 계수 : 안정성 계수

③ 추정방법 : 안정성 계수가 높으면 신뢰도가 높고, 안정성 계수가 낮으면 신뢰도가 낮다.

2. 반분 신뢰도(Split-half Reliability)

① 의의 : 전체 문항 수를 반으로 나누어 실시하여 두 점수 간의 상관계수를 구하는 방법이다.

② 사용하는 계수 : 내적 합치도 계수

③ 추정방법 : 내적 합치도 계수가 높으면 신뢰도가 높고 내적 합치도 계수가 낮으면 신뢰도가 낮다. 

04. 검사-재검사를 통해 신뢰도를 추정할 때 충족되어야 할 요건 3가지를 쓰시오. [18-2]

1. 측정 내용 자체는 일정시간이 경과하더라도 변하지 않는다고 가정할 수 있어야 한다.

2. 첫 번째 검사 경험이 두 번째 검사 점수에 영향을 미치지 않는다는 확신이 있어야 한다.

3. 검사와 재검사 사이의 어떤 학습활동이 두 번째 검사 점수에 영향을 미치지 않는다고 가정할 수 있어야 한다.

 

05. 검사-재검사 신뢰도에 영향을 미치는 요인(단점) 3가지 형태를 쓰고 각각에 대해 간략히 설명하시오.[18-1, 18-2, 18-3, 09-3]

    신뢰도 검증방법 중 사람들이 하나의 검사에 대해 다른 시점에서 얼마나 일관성 있게 반응하는지를 알아보는 방법인 검사-재검사법의 단점 4가지를 쓰시오.[12-1, 12-2, 09-3, 07-3]

1. 이월효과 : 첫 번째 검사에서 기억효과와 연습효과가 두 번째 검사에 적용할 수 있다. 즉, 첫 번째 검사에서 답한 것을 기억해서 두 번째 검사에 영향을 미칠 수 있다.

2. 반응민감성 효과 : 두 번째 검사를 실시할 때에 새로운 학습효과, 성숙효과가 나타날 수 있다. 즉, 첫 번째 검사 경험이 두 번째 검사 반응에 영향을 줄 수 있다.( 첫 번째 검사와 두 번째 검사 간의 시간 간격이 길고 짧음에 따라서 신뢰도 계수의 크기가 달라질 수 있다. 검사 시기의 간격에 따라 영향을 미칠 수 있다.)

3. 측정 대상 속성의 변화 : 두 번째 검사를 실시할 때에 피검사자들의 측정하려는 특성 자체가 변화되었을 수도 있다. 즉, 시간 간격이 너무 클 경우 측정대상의 속성이나 특성이 변화할 수 있다.(피검사자들의 연령 측정하려는 특성의 본질 등의 변화가 나타날 수 있다. 측정하려는 피검사자의 속성변화가 영향을 미칠 수 있다.)

4. 응답자 속성의 변화 :두 검사 시기에 피검사자들로 하여금 동일한 검사, 동기와 검사 태도를 갖도록 하기가 어렵다. 일부 비협조적인 피검사자들은 두 번째 검사에 불성실하게 응답하거나 응답을 거부할 수도 있다.

5. 개인적 요인의 변화 : 두 검사 시기에 피검사자들의 신체적, 정신적 상태가 모두 같다고 볼 수 없다.

6. 환경적 요인의 변화 :두 검사 시기의 물리적 환경(온도, 습도, 날씨, 채광, 불쾌지수, 소음 등)에 따라 검사 결과가 달라질 수 있다. 예를 들어 검사 상황이 처음 편안한 분위기에서 이후 위협적인 분위기로 변하게 되는 경우 수검자의 응답 태도 또한 변하게 된다. 피검자의 기분의 변화, 검사 실시할 때 주변 환경적 요인이 검사-재검사 신뢰도에 영향을 끼친다.

06. 신뢰도 추정의 검사-재검사법과 동형검사법의 의미와 단점을 적으시오[09-2]

1. 검사-재검사법(Test-retest Reliability)

① 의미 : 동일한 검사를 동일한 사람에게 일정한 시간 간격을 두고 두 번 실시하여 두 점간의 상관관계를 구하는 방법이다.

② 단점 : 이월효과, 반응 민감성 효과, 측정 속성의 변화, 응답자 속성의 변화, 개인적 요인의 변화, 환경적 요인의 변화.

2. 동형 검사법(Equivalent-form Reliability)

① 의미 : 두 개의 동형 검사를 동일한 사람에게 실시하여 두 점수 간의 상관관계를 구하는 방법이다.

② 단점

㉠ 동형 검사를 제작하기가 어렵다. 검사 제작 전문가라도 두 개의 동형검사를 제작하기가 쉽지 않다. 그러므로 실제에서는 거의 사용되지 않는다.

㉡ 동형 검사를 개발하는데 시간과 비용이 많이 소요된다.

  ㉢ 두 개의 동형검사가 난이도가 비슷한 동형검사라는 것을 검증하기가 불가능하다.

  ㉣ 두 동형검사를 실시함으로써 문항의 표집에서 오는 오차를 포함한다.

  ㉤ 두 개의 검사 문항들을 동형의 수 많은 문항들로부터 무선적으로 표집 된 것으로 간주한다. 

※ 반분신뢰도의 단점

① ① 문항이 적을 경우 사용할 수 없다.

② 양분된 두 문항을 완전히 동등하게 할 수 없다.(신뢰도에 의문이 제기 될 수 있다.)

③ 문항을 반으로 나누는 방법에 따라 신뢰도가 달라 질 수 있다. – 반분하는 방법이 여러가지 존재하기 때문에 단일한 신뢰도가 계수를 산출 할 수 없다.

 

07. 동일한 유형의 유사한 심리검사에서 결과가 서로 다르게 나타나는 원인 5가지를 쓰시오[10-4, 00-3]

1. 난이도의 차이              

2. 시행절차의 차이

3. 시행기간의 차이           

4. 검사유형의 차이

5. 검사환경의 차이

 

08. 반분신뢰도를 추정하기 위해 가장 많이 사용하는 3가지 방법을 쓰고 각각에 대해 설명하시오.[11-1, 13-1]

1. 전후 반분법

한 검사를 문항 순서에 따라 전반부와 후반부로 나누는 방법이다. 비교적 문항 수가 적거나 문항의 곤란도가 골고루 배열되어 있는 경우에 적합한 방법이다.

2. 기우 반분법

한 검사를 문항의 번호에 따라 홀수와 짝수로 나누는 방법이다. 검사 문항수가 비교적 많고 곤란도에 따라 문항이 배열되어 있는 검사에 적합한 방법이다.

3. 짝진 임의 배치법

한 검사를 문항의 난이도와 문항과 총점 간의 상관계수를 토대로 나누는 방법이다. 산출된 통계치는 좌표상의 산포도로 작성되며 거리상 가까이 위치한 두 문항끼리 짝을 지은 후 그 중 한 문항을 임의로 선택하는 방식으로 검사를 양분한다. → 난이도가 비슷한 두 문항끼리 짝을 지은 후 임의로 하나씩 선택하여 나누는 방법이다

4. 난수 표법

한 검사를 난수표에 의해 두 부분으로 나누는 방법이다. 통계 조사방법의 하나로 사용되는 임의 추출법에 해당하며 문항수를 무작위(임의)로 하여 반으로 나누어 신뢰도를 평가하는 방법이다.

 

09. 측정의 신뢰도를 높이기 위해 측정오차를 줄이기 위한 구체적인 방법 3가지를 쓰시오.[13-2, 10-3, 01-3, 11-4]

1. 검사의 실시와 채점 과정을 표준화 한다.

2. 신뢰도가 검증된 표준화된 측정도구를 이용한다.

3. 신뢰도에 나쁜 영향을 주는 문항을 제거한다.

4. 문항 수를 늘린다.

5. 검사환경 등 균일한 검사 조건을 유지하여 오차 변량을 줄인다.

6. 측정자의 태도를 측정 방식의 일관성을 유지한다.

 

10. 신뢰도 계수에 영향을 미치는 요인 4가지를 제시하고 각각에 대해 설명하시오.[ 17-1, 14-3, 10-2, 10-1, 07-3, 07-3 ]

1. 개인차 :  개인차가 존재함으로써 신뢰도가 존재한다. 만약 수검자의 개인차가 전혀 없을 경우에는 수검자의 검사 점수가 모두 동일하기 나타나 신뢰도 계수는 0이 된다. 반면에 개인차가 클 경우에는 검사 점수가 매우 낮은 점수에서부터 상당히 높은 점수까지 널리 분포하여 신뢰도 계수는 더욱 높게 나타난다. 따라서 개인차가 클수록 신뢰도가 높게 나타날 가능성이 크다.  - 변별력

2. 문항수 :  검사의 문항이 여러 개라는 것은 결국 하나의 특성을 여러 번 측정한다는 것을 의미한다. 따라서 검사의 문항수가 많을수록 신뢰도가 높게 나타날 가능성이 크다.

3. 문항에 대한 반응수 :  문항에 대한 반응수(선택 문항)가 많을수록 신뢰도가 높게 나타날 가능성이 크다.

4. 문항의 난이도 : 문항들의 평균 난이도가 50%에 가까울수록 신뢰도가 높게 나타날 가능성이 높다.

5. 검사유형 :  검사 유형(속도검사/역량검사)에 따라 신뢰도의 크기가 달라질 가능성이 높다

6. 신뢰도 추정 방법 : 어떤 방법으로 신뢰도를 측정했는가에 따라 신뢰도 계수의 크기가 달라지다. 예를 들면 검사-재검사법을 사용하느냐 동형검사법을 사용하느냐에 따라 신뢰도 계수가 달라진다. 따라서, 신뢰도 계산 방법에 따라 신뢰도의 크기가 달라질 가능성이 높다.

 

11. 심리 검사의 신뢰도의 종류와 신뢰도에 영향을 주는 요인을 3가지씩 쓰시오.[10-1]

1. 신뢰도의 종류

  ① 검사-재검사 신뢰도 

② 동형검사 신뢰도

③ 반분 신뢰도              

④ 문항 내적 신뢰도

⑤ 채점자 신뢰도

2. 신뢰도에 영향을 주는 요인

  ① 개인차            

② 문항수

③ 문항에 대한 반응수     

④ 문항의 난이도

⑤ 검사유형          

⑥ 신뢰도 추정방법

 

12. 지필 검사에서 평정이 요구되는 관찰 혹은 면접 시 채점자나 평점자로 인해 발생하는 오차의 유형을 3가지 제시하고 설명하시오.[14-1]

1. 후방효과(hats effect)로 인한 오류

한 가지 우수한 특성에 대한 평가자의 인상이 다른 특성의 평가에까지 긍정적 영향을 미치는 것을 의미한다. –반대로 한 가지 부정적인 인상이 다른 특성의 평가에까지 부정적인 영향을 미치는 것을 “뿔효과”

2. 관대화(leniency)의 오류

평가자가 타인을 평가할 때 박하게 평가하지 않고 후하게 평가하는 것을 의미한다.

3. 중앙 집중 경향(concentration tendency)의 오류

평가자가 매우 높거나 매우 낮은 점수는 피하고 중간 수준의 점수를 많이 주는 것을 의미한다.

4. 논리적 오류(logical error)

  평가자가 두 특성 간에 어떤 관계가 있다고 생각하는 데서 오는 오류를 말한다. 예를 들면, 지능과 학교성적, 간에 상관이 높다고 생각하여 학업 성취도 평가에서 지능이 높은 학생에게 더 높은 점수를 주는 경향을 말한다.

※ 평정 : 동일한 채점자가 자유방임형 검사를 채점할 때 신뢰도를 높이기 위하여 배제해야하는 것