만족도조사 문항 만드는 법

왜 순서가 중요한가

보통은 문항부터 만들고, 조사를 돌리고, 나중에 응답을 모아 결과보고서를 씁니다. 문제는 이 순서로 하면 결과보고서에 필요한 항목이 조사에 빠져 있는 경우가 자주 생긴다는 것입니다. 예를 들어 “참여자의 자존감이 나아졌다”고 쓰고 싶은데, 조사 문항에는 “프로그램이 재미있었나요?“만 있으면 그 문장을 뒷받침할 응답이 없습니다.

그래서 순서를 반대로 둡니다. 결과보고서에 쓸 문장을 먼저 정하고, 그 문장을 뒷받침할 문항을 뽑는 것입니다. 이렇게 하면 조사가 끝난 뒤 “이 항목이 빠졌다”는 상황이 사라집니다.

결과보고서 문장에서 문항 거꾸로 뽑기

우리 프로그램은 '[프로그램명]'이고, 대상은 '[참여자 특징]'이야.
결과보고서에 아래 문장들을 쓰고 싶어.

- 참여자의 [무엇]이 나아졌다
- 프로그램 [무엇]에 대한 만족도가 높았다
- 참여자들이 [무엇]을 새롭게 알게 되었다

이 문장들을 뒷받침할 수 있는 만족도조사 문항을 뽑아 줘.
문항마다 이 문항이 어떤 문장을 뒷받침하는지도 같이 표시해 줘.

이렇게 뽑은 문항 목록은 아직 초안입니다. 다음 단계에서 문항 유형을 정하고, 애매한 표현을 걸러내야 실제로 쓸 수 있는 문항이 됩니다.

문항 유형 고르기 — 척도·객관식·주관식

문항은 크게 세 가지 유형으로 나뉩니다. 유형마다 나중에 결과 정리하는 수고가 다릅니다.

• 척도 문항 — “매우 그렇다”부터 “전혀 그렇지 않다”까지 5단계처럼 점수로 답하는 문항입니다. 평균을 내거나 사전·사후 점수를 비교하기 가장 쉽습니다. 성과를 숫자로 보여줘야 할 때는 척도 문항을 우선 씁니다.
• 객관식 문항 — 정해진 보기 중 하나를 고르는 문항입니다. 응답 수를 세어 표로 만들기 쉽고, 척도만큼은 아니지만 정리가 수월합니다.
• 주관식 문항 — 자유롭게 글로 답하는 문항입니다. 생생한 의견을 얻을 수 있지만, 응답이 많아지면 일일이 읽고 분류하는 데 시간이 오래 걸립니다. 주관식 문항이 많으면 나중에 결과 정리가 힘들어진다는 점을 미리 염두에 두는 게 좋습니다. 꼭 필요한 곳에만 1~2개 넣고, 나머지는 척도·객관식으로 바꾸는 걸 권합니다.

사전·사후 검사는 같은 문항으로

프로그램 전후로 변화를 보고 싶다면 사전 검사와 사후 검사에 완전히 같은 문항을 씁니다. 문항 표현이나 순서가 조금이라도 다르면, 점수 차이가 프로그램 효과 때문인지 문항이 달라서인지 구분할 수 없게 됩니다.

사전 검사지를 만든 다음에는 그 파일을 그대로 복사해 사후 검사지로 쓰고, 제목만 “사전”에서 “사후”로 바꾸는 방식이 가장 안전합니다. 사전·사후 응답을 모은 뒤 실제로 비교·분석하는 방법은 만족도조사 결과 분석법에서 다룹니다.

나쁜 문항 걸러내기

문항 초안이 나오면 아래 같은 문제가 없는지 확인해야 합니다.

• 한 문항에 두 가지를 묻는 경우 — “직원은 친절하고 프로그램은 유익했다”처럼 한 문항에 두 내용이 섞이면, 응답자가 하나만 동의해도 답을 고르기 애매해지고 결과 해석도 어려워집니다.
• 유도하는 질문 — “이 프로그램이 도움이 많이 되었지요?“처럼 답을 미리 정해둔 듯한 표현입니다. “이 프로그램이 도움이 되었나요?“처럼 중립적으로 물어야 합니다.
• 애매한 표현 — “자주”, “적절히”, “충분히” 같은 말은 사람마다 기준이 달라 응답이 뒤섞입니다. 가능하면 구체적인 상황이나 기준으로 바꿔 씁니다.

문항 하나하나를 사람이 눈으로 검토해도 되지만, 문항 수가 많으면 AI에게 먼저 걸러내게 하는 게 빠릅니다.

아래는 만족도조사 문항 초안이야.
각 문항을 확인해서 아래 문제가 있으면 표시해 줘.

1. 한 문항에 두 가지 이상을 묻고 있는지
2. 답을 유도하는 표현이 있는지
3. "자주", "적절히"처럼 사람마다 다르게 해석할 애매한 표현이 있는지

문제가 있으면 어떤 문제인지 설명하고, 수정한 문항도 함께 제안해 줘.

[문항 목록 붙여넣기]

구글 폼에 옮기기 좋은 형태로 정리하기

문항이 다 정리되면 실제로 구글 폼에 입력하기 좋은 형태로 다시 다듬어 달라고 요청합니다. 구글 폼과 시트를 연결해 응답을 받는 방법은 구글 시트 활용하기를 참고합니다.

아래 문항들을 구글 폼에 바로 옮길 수 있는 형태로 정리해 줘.

- 문항마다 유형을 표시해 줘 (객관식 단답 / 객관식 복수선택 / 척도 5점 / 단답형 텍스트)
- 척도 문항은 "매우 그렇다"부터 "전혀 그렇지 않다"까지 보기 5개를 그대로 적어 줘
- 객관식 문항은 보기 목록을 함께 적어 줘
- 문항 순서는 쉬운 질문(참여 여부 등)부터 시작해서 뒤로 갈수록 자세한 질문이 오게 배치해 줘

[문항 목록 붙여넣기]

응답자 부담과 개인정보 주의

문항이 너무 많으면 응답자가 끝까지 답하지 않고 중간에 그만두는 경우가 생깁니다. 꼭 필요한 문항만 남기고, 결과보고서에 쓰지 않을 문항은 과감히 뺍니다. 앞서 정리한 “결과보고서 문장 → 문항” 목록을 다시 보면서, 어느 문장에도 쓰이지 않는 문항이 있다면 지우는 것도 방법입니다.

자주 묻는 질문

문항 유형(척도/객관식/주관식) 비율을 꼭 정해야 하나요?

정해진 비율은 없습니다. 다만 결과보고서에서 숫자로 보여줘야 할 부분은 척도·객관식으로, 정말 응답자의 말로 들어야 하는 부분만 주관식으로 남기는 방향이 나중에 정리할 때 수월합니다.

사전 검사를 이미 다르게 만들어서 사후 검사와 문항이 안 맞으면 어떻게 하나요?

이번 사업에서는 두 검사를 나란히 비교하기는 어렵습니다. 다음 사업부터는 사전 검사지를 그대로 복사해 사후 검사지로 쓰는 방식으로 바꾸는 걸 권합니다. 이번 결과는 사전·사후 비교 대신 사후 응답만으로 만족도 위주로 정리하는 방법을 고려할 수 있습니다.

AI가 걸러낸 문항 수정안을 그대로 써도 되나요?

AI가 제안한 수정 문항은 표현이 어색하거나 우리 기관 상황과 안 맞을 수 있습니다. 그대로 쓰지 말고, 실제로 담당자가 소리 내어 읽어보고 자연스러운지 한 번 더 확인한 뒤 사용합니다.

문항 설계가 끝나면, 조사를 실시한 뒤 응답을 분석하는 법은 만족도조사 결과 분석법에서, 그 결과를 결과보고서에 담는 법은 사업계획서·결과보고서 작성법에서 이어 볼 수 있습니다.