이분변수로 채점된 점수의 관찰자간 신뢰도 문의드립니다.
안녕하세요,
신뢰도 관련해서 여쭤보고싶어 글을 남겨봅니다.
시간 내셔서 답변해주시면 정말 감사드리겠습니다.!!
연구참여자 30명의 행동을 관찰해서 해당 행동이 나타났는지 여부에 따라 yes=1, no=0 로 코딩을 했습니다.
9개 하위 변인별로 각각 5~9개 문항이 있고,
문항별로 1 또는 0으로 코딩한 뒤, 해당 하위변인의 경향성을 주관적으로 평가하여 1~5점으로도 코딩했습니다.
예를 들어 첫번째 하위 변인에 5개 문항이 있다고 하면
주관적 평가 점수(1~5), 문항별 점수 5개(0 or 1), 5개 문항의 총점(0~5)
이렇게 9개 하위변인의 자료가 있는 형태입니다.
관찰자 A는 30명 모두 채점하고,
관찰자 B, C, D가 각각 10명씩 나누어 다시 채점 했습니다.
이런 경우 관찰자간 신뢰도는 어떻게 구하면 좋을지요?
ICC 라는 것을 분석해보라는 조언을 들었는데, ICC의 경우에는 연속변수로 코딩된 경우 사용 가능한 것으로 보여
이분변수인 경우에는 어떻게 분석하는지,
하위변인별로 각각 신뢰도를 구해야 하는지 혹은 전체 문항을 다 넣고 한번에 신뢰도를 구하는 것인지,
9개 하위변인에 대한 주관적 평가 점수와 하위변인별 문항 총점의 경우에는 ICC로 분석하면 되는 것인지,
관찰자 B, C, D를 한 사람이라고 보고 A와 비교하면 되는지 혹은 B따로 C따로 D따로 분석하게 되는지
궁금합니다.
Existing replies
이일현 (2024-11-27 10:52:16)
0/1 로 측정한 경우
A-B/A-C/A-D 간 Cohen's kappa 로 측정가간 일치도를 볼 수 있습니다.
5점 척도로 한 경우 ICC 로 봅니다.
Legacy document_srl: 304970 / Legacy URL: http://www.statedu.com/QnA/304970
댓글