[직업심리학] 12. 타당도-안면타당도, 내용타당도, 준거타당도, 구성타당도, 중다특성중다방법 행렬표 (MTMM) [직업상담사 2차 기출문제]

[직업상담사 2차 기출문제]

II.직업심리학-타당도 (안면타당도, 내용타당도, 준거타당도, 구성타당도, 실증연구·실제연구의 타당도, 중다특성중다방법 행렬표 (MTMM) )

12. 타당도 (안면타당도, 내용타당도, 준거타당도, 구성타당도, 실증연구·실제연구의 타당도, 중다특성중다방법 행렬표 (MTMM) )

01. 타당도의 4종류를 쓰시오[05-1]

1. 내용타당도 (Content Validity)

2. 안면타당도 (Face Validity)

3. 준거타당도 (Criterion-related Validity)

① 예언(예측) 타당도 (Predictive Validity)

② 동시(공인) 타당도 (Concurrent Validity)

4. 구성타당도 (Constructs Validity : 구인타당도) – 수치화 불가

① 수렴타당도       

② 변별타당도       

③ 요인분석법

※ 구인 : 검사도구에 반영되어 있다고 가정하는 인간의 어떤 행동 특성을 의미한다.

창의력 검사에서 창의력 구인을 측정할 때 창의력이 민감성, 이해성, 도전성, 개방성, 자발성, 자신감으로 구성되어 있다면 이 검사도구가 이 구인을 제대로 측정하고 있는지를 밝히는 것이 구인타당도로 검증하는 것이다.

※ 내용타당도 : 검사하는 문항들이 측정하고자 하는 내용영역을 얼마나 잘 반영하고 있는지를 말한다.

Ex) 직업상담사, 대학수학능력 시험에서 측정 문항이 의도한 내용이 있는지 주관적으로 판단하기 때문에 타당도 계수를 산출하기 어렵다. 수치화가 어렵다.

※ 안면타당도 : 일반인(수검자)가 문항을 평가한다. 즉, ‘타당한 것처럼 보이는가’를 평가한다.

 

02. 다음(  )안에 알맞은 타당도의 종류를 아래에 쓰시오.[07-1]

1. (    )는 검사 각 문형을 주의 깊게 검토하여 그 문항에 검사에서 측정하고자 하는 것을 재는지 여부를 결정하는 것이다. 이것은 그 분야의 자격을 갖춘 사람들에 의해 판단된다. 2. (     )의 유형으로는 공인타당도와 예언타당도가 있다. 3. (     )는 조직적으로 정의되지 않은 인간의 심리적 특성이나 성질을 심리적 구인으로 분석하여 조직적 정의를 부여한 후 검사 점수가 이러한 심리적 구인으로 구성되어 있는가를 검정하는 방법이다.

1. 내용타당도

2. 준거타당도

3. 구성타당도(구인타당도)

 

03. 준거 관련 타당도의 의미를 쓰고, 준거관련 타당도에 속하는 타당도의 종류를 2가지 제시하고 간략히 설명하시오.[14-1, 10-]

1. 의미 : 준거 타당도는 어떤 심리검사가 특정 준거와 어느 정도 관련성이 있는가를 나타내는 것이다. 즉, 그 검사가 직무 성과나 학업성적 등의 특정 활동 영역의 준거를 얼마나 잘 예측해 주는지의 정도를 말한다.

2. 종류

① 예언타당도(예측타당도) : 검사를 먼저 실시하고 일정기간이 지난 후 준거를 측정하여 두 점수 간의 상관계수를 구하는 방법이다.

Ex) 수능 잘 본 학생이 대학 성적도 좋다. 입사 시험이 좋으니까 근무성적도 좋다.

② 동시타당도(공인타당도) : 검사와 준거를 동시에 측정하여 두 점수 간의 상관계수를 구하는 방법이다.

 

04. 예측타당도와 동시타당도의 의미를 쓰고, 차이점을 설명하시오. [13-2, 08-3]

04-1. 예언타당도와 동시타당도에 대해 각각의 예를 포함하여 설명하시오.[19-2, 02-1, 06-1]

1. 예측타당도

① 의미 : 검사를 먼저 실시하고 일정기간이 지난 후 준거를 측정하여 두 점수 간의 상관계수를 구하는 방법이다.

② 예를 들어 대입수학능력시험의 점수가 높은 학생이 대학 입학 후에 대학 성적이 우수하다면 대학수학 능력 시험은 예언타당도가 높다고 할 수 있다.

※ 수검자의 미래행동이나 특성을 얼마나 제대로 측정하였는가를 그 정도를 말한다. 나중에 발생할 준거를 미리 알아보는 것이다.

2. 동시타당도

① 검사와 준거를 동시에 측정하여 두 점수 간의 상관계수를 구하는 방법이다.

② 예를 들면 현재 사용하고 있는 영어 학력 검사점수가 높은 학생이 새로 만든 영어 학력 검사점수에서 높은 점수를 받았다면 새로 제작된 영어 학력 검사는 동시(공인) 타당도가 높다고 할 수 있다.

※ 현재 행동이나 특성을 얼마나 제대로 측정하였는가를 그 정도를 말한다. 현재 존재하는 준거와 비교해 보는 것이다.

3. 차이점

① 예측타당도(예언타당도)는 검사를 먼저 실시하고 일정기간이 지난 후에 준거의 측정이 이루어지는 반면 동시타당도는 검사와 준거의 측정이 동시에 이루어진다.

② 예측타당도는 미래 예측에 초점을 두는 반면 동시타당도는 현재 상태를 측정하는데 초점을 둔다.

 

05. 준거타당도의 종류와 내용을 설명하고 준거타당도가 직업상담에서 중요한 이유를 설명하시오.[02-1, 00-1]

1. 준거타당도의 종류[1]

① 예언타당도(예측타당도) : 검사를 먼저 실시하고 일정기간이 지난 후 준거를 측정하여 두 점수간의 상관계수를 구하는 방법이다.

② 동시타당도(공인타당도) : 검사와 준거를 동시에 측정하여 두 점수 간의 상관계수를 구하는 방법이다.

2. 준거타당도가 직업상담에서 중요한 이유[2]

① 명확한 준거를 가지고 미래의 행동을 예측 할 수 있다.

② 선발 배치, 훈련 등의 인사관리에 도움이 된다.

06. 다음은 준거타당도에 관한 사항이다. 물음에 답하시오.[11-3, 06-3]

1. 여러 가지 타당도 중 특히 직업상담에서 준거 타당도가 중요한 이유 2가지를 실행하시오.

①. 정확한 준거를 가지고 미래의 행동이나 특성을 예측 할 수 있다.

② 선별, 배치, 훈련 등의 인사 관리에 도움이 된다.

2. 실제연구(현장연구)에서 타당도 계수가 낮아지는 이유로 3가지 설명하시오. [3]

①시간 경과에 따른 개인의 정신적, 육체적 성숙

② 사건과 검사 사이에서 발생하는 통제불능사건(전재지변과 같은 사건 사고 등)

③ 가외변인을 통제하기 어렵다.

 

※ 실험과정 전체를 엄격히 통제하기 어렵다. (연구 기간 동안의 상황 변화 등의 통제가 어렵다.)

독립변인을 조작하기 어렵다.

 

07. 다음은 준거타당도에 관한 사항이다. 물음에 답하시오. 실증연구에서 얻은 타당도계수와 실제연구에서의 타당도계수가 다른데, (4)실증타당고계수가 실제타당도계수보다 낮게 발생하는 이유 3가지를 쓰시오.

07-1. 심리검사에서 준거타당도 계수의 크기에 영향을 미치는 요인을 3가지만 쓰고 각각에 대해 설명하시오.[18-1,12-3, 11-1]

1. 표집오차

표집하는 과정에서 발생하는 오차, 표본 평균과 모집단 평균의 차이를 말한다.

검사 점수와 준거 점수의 상관계수는 일부 표본을 대상으로 얻게 되는데 이 표본이 모집단을 잘 표현하지 못하면 모집단 오차가 커지고 그 결과 타당도 계수가 낮아진다. 즉, 표집오차는 표본의 크기가 작아지면 급격하게 증가한다.

2. 범위 제한

준거 타당도 계산을 위해 얻은 자료들이 검사점수와 준거 점수의 전체 범위를 포괄하지 않고 일부 범위 만을 포괄하는 경우 타당도 계수가 낮아진다. 표본의 크기를 확대하게 되면 타당도 계수는 높아진다.

3. 준거측정치의 신뢰도

어떤 검사의 준거 타당도 계산을 위해 사용한 준거측정치의 신뢰도는 그 검사의 준거타당도 계수에 영향을 미친다. 즉, 준거측정치의 신뢰도가 낮으면 검사의 준거 타당도 계수는 낮아진다.

4. 준거측정치의 타당도

① 실제 타당도계수를 확인하기 위해서는 검사점수와 준거 측정치(실제 준거)를 얻어야 하는데 이때 준거 측정치가 해당 개념(개념 준거)을 얼마나 잘 반영하는가 하는 준거측정치의 타당도가 그 검사의 준거타당도에 영향을 미친다.

② 준거결핍과 준거오염을 준거왜곡이라 하는데, 이러한 준거왜곡이 준거측정치의 타당도에 영향을 끼친다.

③ 즉, 준거측정치의 타당도가 낮으면 검사의 준거 타당도 계수는 낮아진다.

※ 상기 [1][2][3][4]를 [1][2][3] or [1][2][4] 의 조합으로 문제가 출제됨

변인 : 연구자가 관심을 갖는 대상.

 

08. 실증연구(실험실 연구)에서 얻은 타당도 계수와 실제연구(현장연구)에서의 타당도계수가 다른데 실제 연구에서 타당도계수가 낮은 이유를 예를 들어 설명하시오.,[08-1, 06-3, 11-3]

 실증 연구에서는 연구 대상 집단의 성별, 연령별, 지역별, 교육수준별, 경제수준별, 구성 비율을 연구자가 원하는 비율에 맞추어 조정 할 수 있지만 실제로 존재하는 특정한 사업장에서 이루어지는 실제연구에서는 구성 비율을 연구자가 임의로 조정(독립변인을 조작하기 어렵다. 가외변인을 통제하기 어렵다)할 수 없다. 따라서, 실제 연구에서는 독립변인과 종속변인 간의 상관계수가 비교적 낮게 나타난다.

※ 독립변인 : 다른 변인에 영향을 주는 변인 원인

종속변인 : 영향을 받거나 의존하는 변인, 독립변인에 의해 영향을 받음 – 결과

  

09. 준거타당도는 직업상담이나 산업 현장에서 검사를 사용할 때 다른 어떤 타당도보다 중요하다. 준거타당도의 의미를 쓰고 준거타당도가 낮은 검사를 사용하는 것이 왜 문제가 되는지를 설명하시오.[13-1, 09-1]

1. 준거타당도의 의미

준거타당도는 어떤 심리검사가 특정한 준거와 어느 정도 관련성이 있는가를 나타내는 것이다. 그 검사가 직무 성과나 학업성적 등의 특정 활동영역의 준거를 얼마나 잘 예측해 주는지의 정도를 말한다.

2. 준거타당도가 낮은 검사를 사용하는 것이 문제가 되는 이유? ① ②

① 미래의 행동을 예측 할 수 없다.

② 준거타당도는 선발, 배치, 훈련 등 인사관리에 관한 설득력을 제공하므로 준거타당도가 낯은 검사를 사용하는 것은 선발이나 평가과정의 효율성을 떨어뜨려 도움이 되지 않는다. 선발, 배치 같은 의사결정에 사용하는 것은 부당한 차별 대우를 할 가능성이 크다. 

③ 준거 측정치에 대한 신뢰도가 떨어진다.

④ 준거 측정치에 대한 타당도가 떨어진다.

⑤ 준거 결핍, 준거 오염이 발생하여 준거 왜곡이 나타난다.

※ 준거왜곡

준거 결핍 : 측정 도구가 개념 준거를 충분히 반영하지 못한다.

준거 오염 : 측정 도구가 개념 준거와 전혀 관련이 없는 ‘내용’을 포함하고 있는 경우.

※ 준거 : 검사점수를 사용해서 알아보고자 하는 행동을 의미한다.

 

10.  개념준거와 실제준거의 의미를 예를 들어 설명하시오.[09-3]

1. 의미

① 개념 준거 : 실질적으로 측정할 수 없는 추상적. 이론적 준거. 즉 측정하고자 하는 증거를 이론적으로 정의한 것을 말한다.

② 실제 준거 : 개념 준거를 실제로 측정하는 준거를 말한다.

2. ‘우수한 인재’의 예

개념 준거	실제 준거
지적 능력	지능검사 점수, 학교성적
정서적 성장	학교 생활 기록부
시민 의식	자원봉사 및 사회봉사 실적

 

11. 수렴 타당도와 변별 타당도에 대해 설명하시오.[10-4, 09-3, 06-3, 01-1]

11-1. 수렴 타당도의 분석방법을 예를 들어 설명하시오.

1. 수렴 타당도

기존 검사와 새로 개발한 검사의 같은 특성의 상관계수를 구하는 방법으로 상관관계가 높을수록 수렴 타당도가 높다. 즉, 관계있는 변인과 상관관계가 높을수록 수렴 타당도가 높다.

예를 들면 현재 사용하고 있는 영어학력 검사점수가 높은 학생이 새로 만든 영어학력 검사점수에서 높은 점수를 받았다면 수렴타당도가 높다고 할 수 있다.

2. 변별 타당도

기존 검사와 새로 개발한 검사의 다른 특성의 상관계수를 구하는 방법으로 상관 관계가 낮을수록 변별 타당도가 높다. 즉, 관계없는 변인과 상관관계가 낮을수록 변별타당도가 높다.

 

12. 구성타당도를 분석하는 방법 3가지를 제시하고 각 방법에 대해 설명하시오.[ 16-1, 15-1, 15-2, 10-1, 08-1, 03-3]

1. 수렴타당도 :  기존검사와 새로 개발한 검사의 같은 특성의 상관계수를 구하는 방법으로 상관계수가 높을수록 수렴타당도가 높다. 즉, 관계 있는 변인과 상관관계가 높을수록 수렵 타당도가 높다.

2. 변별타당도 : 기존 검사와 새로 개발한 검사의 다른 특성의 상관계수를 구하는 방법으로 상관관계가 낮을수록 변별타당도가 높다. 즉, 관계 없는 변인과 상관관계가 낮을수록 변별 타당도가 높다.

3. 요인 분석법 : 검사의 구성타당도를 알아보기 위하여 가장 많이 사용하는 방법으로 검사를 구성하는 문항들의 상관관계를 분석해서 상관이 높은 문항들을 묶어 주는 통계적 방법이다.

※ 구성개념이나 특성을 잘 측정하는 정도, 객관적으로 관찰가능하지 않은 추상적인 성격특성 등을 얼마나 잘 측정하는지를 나타낸다.

 

13. 수렴타당도와 변별타당도의 의미와 중다특성중다방법 행렬표 (MTMM : Multitrait  Multimethod Matrix)를 확인하는 절차를 쓰시오.[10-3, 12-3]

1. 수렴타당도 : 11번 참조

2. 변별타당도 : 11번 참조

3. 중다특성 중다방법 행렬표(MTMM)를 확인하는 절차

   한 번에 수렴타당도와 변별타당도를 동시에 확인 할 수 있는 방법으로 2개 이상의 특성을 2개 이상의 방법으로 측정하여 그 결과를 분석하는 방법이다. - 이질적인 특성을 이질적인 방법으로 측정한 점수들 간의 상관계수

① 같은 특성을 다른 방법으로 측정한 점수들 간의 상관계수(수렴타당도)들이 높은지 확인한다.– 다른 방법으로 동일 특질 측정한다.

② 위의 상관계수들이 다른 특성을 같은 방법으로 측정한 점수들 간의 상관계수(변별 타당도)들과 비교한다.– 같은 방법으로 다른 특질 측정한다.

③ 측정 방법의 조합 수만큼 행렬의 차원을 표시하여 그 결과를 제시하며 특히 행렬의 대각선에 해당하는 부분을 신뢰도로 제시한다.– ①의 상관계수들이 다른 방법으로 다른 특질 간의 상관계수들과 비교한다. 측정한다.

 

	AX	AY	AZ	BX	대각선은 대개 측정치의 신뢰도 계수(예 : 알파계수)로 채워진다. ABC : 심리적 특성 XYZ : 측정방법
AX	O	X	·	·
AY	O	O	·	·
AZ	X	△	·	·
BX	△	X	·	·