AI가 서술형 답안 채점, 얼마나 믿을 수 있을까 — 자동 채점 정확도 논쟁

🔍 27초 만에 채점이 끝났다, 그런데 백지 답안에도 점수가 나왔다

2026년 초, 서울의 한 중학교 교실. 학생 24명이 제출한 서술형 답안을 채점하는 데 걸린 시간은 27초였다. 서울시교육청이 개발한 AI 서·논술형 채점 시스템 '채움아이'가 채점을 마쳤다는 알림이 뜬 것이다. 문제는 그 다음이었다. 교사가 결과를 검토하는 과정에서, 학생이 제출한 것은 사실상 백지에 가까운 답안이었는데도 AI가 점수를 부여한 사례가 확인됐다. 다른 학교에서는 학생이 문제에서 제시한 조건(제시문 활용)을 지키지 않았는데도 분량만 보고 높은 점수를 준 사례, 과학 개념을 서로 혼동한 답안을 표현이 비슷하다는 이유만으로 정답 처리한 사례까지 나왔다. 이 사실은 경향신문의 취재로 드러났고, 교사들 사이에서는 "AI가 채점할 수 있는 범위 안에서만 문제를 낼 수밖에 없다"는 우려가 나왔다.

그런데 같은 시기, 다른 쪽에서는 완전히 다른 톤의 뉴스가 나오고 있었다. 서울시교육청은 채움아이를 2027년까지 전체 학교에 전면 도입하겠다고 발표했고, 경기도교육청은 '하이러닝 AI 서·논술형 평가시스템'을 17개교에서 시범 적용 중이라고 밝혔다. 해외에서는 미국 유타·오하이오주가 이미 10년 가까이 표준화 시험의 서술형 답안을 자동 채점 엔진(로보그레이더)으로 처리해 왔고, ETS(Educational Testing Service)의 e-rater는 GRE·TOEFL 채점에 실전 투입된 지 20년이 넘었다. AI 채점은 이미 "미래의 기술"이 아니라 지금 학교 현장에서 학생의 성적표에 실제로 영향을 미치고 있는 "현재의 인프라"다. 그렇다면 질문은 하나로 좁혀진다 — 이 기술을, 얼마나 믿어도 되는가.

🕰️ 자동 채점은 1960년대부터 있었다 — 60년의 타임라인

서술형 답안을 기계가 채점한다는 아이디어는 생각보다 훨씬 오래됐다. 1960년대 초, 엘리스 페이지(Ellis Page)가 개발한 PEG(Project Essay Grade)가 최초의 자동 에세이 채점 시스템으로 꼽힌다. 4명의 채점자가 정한 기준(글자 수, 문법 오류, 구두점 등 대리 변수)을 독립변수로, 사람이 매긴 점수를 종속변수로 놓고 회귀분석을 돌리는 방식이었다. 즉 처음부터 AI는 "글의 의미"가 아니라 "글의 통계적 특징"을 학습해 사람의 점수를 흉내 내는 구조로 설계됐다.

1990년대 후반부터는 상업용 시스템이 본격적으로 등장한다. ETS는 1998년 e-rater 1세대를 내놓았고, 이는 GMAT·TOEFL 등 비원어민 대상 시험에 먼저 적용됐다. 같은 해 밴티지 러닝(Vantage Learning)은 자연어처리·통계모델·머신러닝을 결합한 IntelliMetric을 출시했다. 2000년대 들어 e-rater는 60개 이상의 자질(feature)을 활용하는 버전으로 고도화됐고, 지식분석기술사(Knowledge Analysis Technologies)의 IEA(Intelligent Essay Assessor) 같은 경쟁 시스템도 나왔다. 그리고 2022년 이후 GPT 계열 대형언어모델(LLM)이 등장하면서 판이 다시 바뀌었다 — 별도의 학습 데이터나 파인튜닝 없이도 채점을 시도할 수 있는 범용 모델이 등장한 것이다. 채움아이·하이러닝 같은 국내 시스템 역시 이 최신 LLM 계열 기술을 기반으로 한다. 60여 년에 걸쳐 기술은 통계 회귀 → 자질 기반 채점 엔진 → 범용 언어모델로 세 단계를 거쳐 진화했지만, "사람의 채점 패턴을 학습해 흉내 낸다"는 근본 구조는 크게 바뀌지 않았다.

💻 왜 AI는 '그럴듯한 글'과 '맞는 글'을 구분하지 못하는가 — 원인 분석

이 구조적 한계를 극적으로 증명한 사건이 있다. MIT의 레스 펄먼(Les Perelman) 박사와 학생들은 'BABEL 제너레이터'라는 프로그램을 만들었다. 이 프로그램은 그럴듯해 보이는 고급 어휘와 문장을 무작위로 조합해 의미 없는 '헛소리 에세이(gibberish essay)'를 몇 초 만에 500~1,000단어 분량으로 생성한다. 이 헛소리 에세이를 ETS의 e-rater에 넣어 GRE 작문 채점을 시켜본 결과, 6점 만점에 5~6점이라는 최고점을 받았다. 내용은 논리도 근거도 없는 텍스트였지만, 문장 길이·어휘 수준·구문 복잡도 같은 '대리 변수(proxy)'가 우수했기 때문이다.

이것이 바로 자동 채점 기술의 근본적인 원인 구조다. PEG부터 최신 LLM 기반 채점기까지, 시스템은 "이 글이 사실인가, 논리적인가, 창의적인가"를 직접 판단하지 않는다. 대신 "사람이 매긴 점수와 통계적으로 상관관계가 높은 표면적 패턴(길이, 어휘 다양성, 문장 구조, 제시문과의 어휘 중복도 등)"을 학습해 그 패턴을 재현할 뿐이다. 국내 정천중 사례에서 "분량만 보고 높은 점수를 준" 것도, 과학 개념을 혼동한 답안을 "표현이 비슷하다는 이유로 정답 처리"한 것도 같은 뿌리에서 나온 현상이다 — 의미를 이해한 게 아니라 표면적 유사도를 계산한 것이다. LLM 기반 채점기는 과거 자질 기반 엔진보다 언어 이해력이 훨씬 좋아졌지만, "채점 기준표(rubric)에 정의된 키워드·개념과의 유사도"에 의존한다는 본질은 여전하다. 백지에 가까운 답안에 점수가 나온 사례 역시, 정량화된 채점 기준이 "이 텍스트가 실질적 내용을 담고 있는가"라는 최소 조건을 놓쳤을 때 생기는 전형적인 실패 유형으로 설명된다.

📊 일치율의 실체 — 숫자로 보는 AI 채점 정확도

"AI 채점이 정확한가"라는 질문에 대한 답은 단일한 숫자가 아니라 과제 유형에 따라 크게 갈린다. 최근 연구를 종합하면 객관식·단답형 문항은 95~99%의 정확도를 보이는 반면, 채점 기준표(rubric)가 명확한 서술형 에세이는 85~92% 수준에서 사람 채점자와 일치한다. 이는 숙련된 두 명의 인간 채점자끼리의 일치율(통상 80~90%)과 비슷한 수준이라는 게 자동 채점 옹호론의 핵심 근거다. 그러나 채점 기준표 없이 개방형으로 평가하는 총체적(holistic) 글쓰기 채점은 75~85%로 떨어지고, 비원어민·다문화 배경 학생의 글(ELL)은 65~78%까지 낮아진다.

2025년 발표된 한 연구는 사전 학습이나 파인튜닝 없이 범용 GPT 모델로 에세이를 채점했을 때 콰드라틱 가중 카파(QWK) 0.68을 기록했다고 밝혔다. QWK는 1.0이 완전 일치를 뜻하며 통상 0.7 이상을 "실사용 가능 수준"으로 본다 — 즉 최신 LLM도 아직 그 문턱을 살짝 밑돈다는 뜻이다. 더 흥미로운 발견은 '품질에 따른 비대칭 정확도'다. 연구에 따르면 AI-인간 일치도는 극단적으로 잘 쓰거나 극단적으로 못 쓴 답안에서는 높고, 애매하게 중간 수준인 답안에서는 뚜렷하게 낮아지는 U자형 패턴을 보인다. 실제 교실에서 교사의 채점 판단이 가장 필요한 지점이 바로 이 '애매한 중간 지대'라는 점에서, 이 패턴은 단순한 통계적 흠결 이상의 의미를 갖는다.

⚖️ 인종·언어에 따라 다르게 채점되는 AI — 편향 논쟁

정확도만큼, 어쩌면 그보다 더 심각하게 제기되는 문제가 공정성이다. ETS 연구진은 2024년 6월, 8~12학년 학생이 쓴 1만 3,000여 편의 에세이를 인간 채점과 ChatGPT 기반 채점으로 비교하는 연구를 발표했다. 결과는 ChatGPT를 구동하는 모델이 다른 인종·민족에 비해 아시아계 미국인 학생에게 더 박한 점수를 주는 경향을 보였다는 것이었다. ETS는 이것이 실제 평가에 쓰인 것이 아니라 순수 연구 목적의 실험이었다고 밝혔지만, 학교 현장에 잠재적 인종 편향 가능성을 경고하기 위해 결과를 공개했다.

더 이전인 2022년 ETS 연구에서는 글쓰기 수준이 동등한 백인 학생과 흑인 학생 사이에서 점수 차이가 확인된 바 있고, 2025년 The Learning Agency의 조사에서는 AI가 비백인·다중언어 배경 학생의 에세이를 인간 채점자보다 평균 8~12% 낮게 채점했다는 결과가 나왔다. 특히 아프리카계 미국인 영어(AAVE)나 이중언어적 표현이 섞인 글은 일관되게 저평가됐다. 다만 이 연구들이 공통으로 지적하는 중요한 함의가 하나 있다 — ChatGPT의 편향은 완전히 새로 생겨난 것이 아니라, 애초에 사람이 채점한 학습 데이터에 이미 존재하던 편향을 그대로 학습해 재생산한 것이라는 점이다. 다시 말해 "AI가 편향적"이라는 진단은 정확하지만, 그 편향의 근원은 AI 이전에 이미 인간 채점 관행 속에 있었다는 뜻이다.

🔍 국내외 현장 사례 — 성공과 실패가 공존하는 이유

실제 도입 사례를 나란히 놓고 보면, AI 채점의 성패는 기술 자체보다 '어떤 용도로, 어떤 안전장치와 함께 쓰였는가'에 크게 좌우된다는 것이 드러난다.

사례 1 — 서울시교육청 '채움아이' (한국, 확산 단계). 2023년 66개교에서 시범 운영을 시작해 2024년 110개교로 확대됐고, 2027년 전면 도입이 예고돼 있다. 교사가 설정한 평가 기준표에 따라 AI가 채점하고 자동으로 서술형 피드백까지 생성하지만, AI의 판단을 교사가 수정·보완할 수 있게 설계돼 최종 결정권은 인간에게 남아 있다. 그럼에도 앞서 언급한 백지 답안 채점, 분량 기준 오채점 사례가 나온 것은 확산 속도가 검증 체계를 앞서갔을 가능성을 보여준다.

사례 2 — 경기도교육청 '하이러닝 AI 서·논술형 평가시스템' (한국, 시범 단계). 17개교라는 제한된 규모에서 시범 적용 중이다. 서울보다 신중한 확산 속도를 택한 점이 대비된다.

사례 3 — ETS e-rater, GRE·TOEFL (미국, 20년 이상 정착). 1990년대 후반부터 실전에 투입돼 20년 넘게 운영되고 있지만, 대부분 인간 채점자와의 '이중 채점(dual scoring)' 체계로 운영된다 — AI 점수와 인간 점수가 크게 벌어지면 제3의 인간이 재검토하는 구조다. 단독 채점이 아니라 검증 장치와 함께 쓰인 것이 장기 운영을 가능케 한 핵심이다.

사례 4 — 미국 유타·오하이오주 표준화 시험 (미국, 논쟁 속 운영). 두 주는 표준화 시험의 서술형 답안 1차 채점에 자동 채점 엔진을 주력으로 써 왔다. 그러나 MIT 펄먼 박사를 비롯한 연구자들은 "컴퓨터가 아직 글쓰기를 정확히 채점할 수 없다"며 반발했고, 학생의 글쓰기를 '기계가 알아볼 수 있는 방식'으로 축소 교육하게 만든다는 비판이 이어지고 있다.

사례 5 — 고등교육 GPT-4 채점 실험 (노르웨이·해외 대학, 연구 단계). 2025년 노르웨이어권 대학 시험을 GPT-4로 채점한 연구는 학문적 수준 차이를 잘 반영하며 양호한 성능을 보였다고 보고했다. 반면 다른 대학원 논술 60편을 대상으로 한 연구는 평균 점수는 인간과 비슷했지만 개별 답안 단위의 일치도(interrater reliability)는 낮게 나타나, "평균은 맞아도 개별 학생 단위에서는 신뢰하기 어렵다"는 이중적 결론을 냈다.

🧭 전문가들의 시각은 왜 이렇게 엇갈리는가

이 논쟁에서 첨예하게 갈리는 세 가지 시각을 정리하면 다음과 같다.

💡 비판론 — 레스 펄먼(MIT) — "BABEL 제너레이터는 로보그레이더가 의미나 정확성을 확인하는 능력이 매우 제한적이라는 것을 보여주기 위해 설계됐다." 펄먼은 자동 채점 시스템에 대한 규제 기관("교육 평가를 위한 FDA")이 필요하다고까지 주장해 왔다.

💡 현장 교사의 시각 — 국내 교원단체 — AI가 채점할 수 있는 범위 안에서만 서·논술형 문제를 출제하게 되면, 결국 정형화된 모범답안을 암기시키는 교육으로 회귀할 수밖에 없다는 우려를 제기한다. 실제로 국내 교사들은 "AI에 구체적인 표현을 정의해주고 정량화된 기준을 제공할수록 채점 정확도가 높아진다"고 증언하는데, 이는 역설적으로 AI가 '정형화되지 않은 창의적 답변'에는 약하다는 뜻이기도 하다.

💡 옹호론 — 교육공학 연구자들 — 37건의 실증 연구(2014~2024)를 종합한 리뷰에 따르면 다수의 교사가 AI의 개인화된 피드백 역할에 긍정적 태도를 보였다. AI 채점 도구는 채점 속도를 최대 80%까지 단축시켜, 교사가 수업 설계·학생 상담 등 다른 업무에 쓸 시간을 확보해준다는 것이 핵심 근거다.

세 시각 모두 사실에 근거하지만 강조점이 다르다. 펄먼은 '기술적 한계'를, 교사단체는 '교육과정 왜곡 위험'을, 연구자들은 '업무 효율'을 각각 우선순위에 둔다. 이 온도차 자체가 AI 채점 도입 논쟁이 쉽게 결론 나지 않는 이유다.

⚠️ "그래도 인간보다 낫다"는 반박, 어디까지 맞는가 — 반론과 한계

AI 채점 옹호론에서 자주 나오는 반박은 "사람 채점자끼리도 어차피 80~90%밖에 일치하지 않는다, AI가 딱히 더 나쁜 게 아니다"라는 논리다. 이 주장은 통계적으로 틀리지 않다. 그러나 여기에는 중요한 한계가 있다.

첫째, 인간 채점자의 불일치는 대개 '무작위적'이거나 개인 성향 차이에서 비롯되지만, AI의 불일치는 '체계적'이다. 앞서 살펴본 인종·언어 배경에 따른 8~12% 점수 격차는 무작위 오차가 아니라 특정 집단에 일관되게 불리한 편향이라는 점에서 질적으로 다른 문제다. 둘째, BABEL 제너레이터 사례처럼 AI는 인간이라면 절대 속지 않을 극단적인 방식(의미 없는 고급 어휘 나열)으로 기만당할 수 있다 — 인간 채점자의 오류와 AI의 오류는 실패 양상 자체가 다르다. 셋째, 일치율 수치 자체가 '루브릭의 명확성'에 크게 좌우된다. 즉 AI 채점의 정확도는 AI의 성능이 아니라 이를 도입한 기관이 채점 기준을 얼마나 정교하게 설계했는지에 좌우되는 부분이 크다 — 그런데 정교한 루브릭 설계에는 그 자체로 상당한 전문성과 시간이 필요하다는 점에서, "AI가 채점 시간을 아껴준다"는 명제 자체도 무조건적인 것은 아니다.

🗺️ 교육 담당자를 위한 실전 가이드 — 지금 무엇을 점검해야 하는가

AI 채점 도구를 이미 쓰고 있거나 도입을 검토 중인 교육 담당자라면, 아래 순서로 점검하는 것을 권한다.

• 1. 채점 기준표(rubric)를 먼저 정교화한다. AI의 정확도는 루브릭의 구체성에 비례한다. 모호한 기준("논리적으로 서술하시오")을 정량화 가능한 세부 기준으로 쪼개는 작업이 선행돼야 한다.
• 2. 단독 채점이 아니라 이중 채점 구조로 설계한다. ETS e-rater가 20년 넘게 실전에서 쓰일 수 있었던 핵심은 AI 단독 판정이 아니라 인간과의 교차 검증 체계였다.
• 3. 백지·이상치 답안에 대한 최소 조건 검증 로직을 별도로 둔다. 국내 사례처럼 "내용이 실질적으로 존재하는가"라는 최소 기준이 빠지면 예상 밖의 오채점이 나온다.
• 4. 특정 집단(비원어민, 다문화 배경 학생 등)에 대한 정기적인 편향 감사를 실시한다. 편향은 도입 시점에 한 번 확인하고 끝낼 문제가 아니라 지속적으로 추적해야 하는 지표다.
• 5. 교사에게 최종 override 권한을 명확히 부여하고, 실제로 그 권한이 쓰이는지 모니터링한다. "수정할 수 있다"는 설계와 "실제로 수정되고 있다"는 운영은 다른 문제다.

🤖 AI 채점 도구, 도입 전 체크리스트

기업 교육이나 학원·기관에서 자체 LMS에 서술형 자동 채점 기능을 검토한다면, 아래 항목을 벤더 평가 단계에서 반드시 확인할 필요가 있다.

• 이 시스템의 채점 로직이 자질 기반(feature-based)인지, LLM 기반인지, 혼합형인지 — 각각 강약점이 다르다.
• 이중 채점(인간 재검토) 옵션을 지원하는가, 아니면 AI 단독 채점만 가능한가.
• 일치율(정확도) 수치를 어떤 방법론(QWK 등)으로, 어떤 표본으로 측정해 공개하는가.
• 편향 감사 이력이나 제3자 검증 자료를 제공하는가.
• 채점 기준표를 관리자·교사가 직접 세밀하게 조정할 수 있는가, 아니면 블랙박스인가.

이런 항목을 갖춘 시스템이라 해도 "완전 자동화"보다는 "교사의 채점 업무를 보조하는 도구"로 포지셔닝하는 편이 앞서 살펴본 국내외 사례들의 공통된 교훈에 부합한다.

❓ 자주 묻는 질문

Q1. AI 채점은 결국 사람 채점보다 정확한가, 부정확한가?
단순 비교는 오해를 부른다. 루브릭이 명확한 과제에서는 인간 채점자 간 일치율과 비슷한 수준(85~92%)까지 올라가지만, 루브릭이 느슨하거나 비원어민 학생 글에서는 뚜렷이 떨어진다. "과제 유형에 따라 다르다"가 가장 정확한 답이다.

Q2. 국내 학교의 AI 채점 도입은 어디까지 왔나?
서울시교육청 '채움아이'는 2024년 110개교로 확대됐고 2027년 전면 도입이 예고돼 있다. 경기도교육청 '하이러닝'은 17개교에서 시범 운영 중이다. 둘 다 최종 판단은 교사가 수정할 수 있게 설계돼 있다.

Q3. AI가 백지 답안에 점수를 준 사례는 왜 생겼나?
채점 로직이 "이 텍스트가 최소한의 실질적 내용을 담고 있는가"라는 기초 조건을 충분히 검증하지 못했기 때문으로 추정된다. 표면적 자질(분량, 어휘)에 의존하는 채점 구조의 한계가 극단적으로 드러난 사례다.

Q4. AI 채점의 인종·언어 편향은 왜 생기는가?
AI가 특정 편향을 새로 만들어낸 것이 아니라, 애초에 인간이 채점한 학습 데이터에 존재하던 편향 패턴을 그대로 학습해 재현하기 때문이라는 것이 연구자들의 공통된 설명이다.

Q5. 학원이나 기업 교육에도 AI 채점을 도입해도 될까?
고부담(입시·자격) 평가보다는 형성평가·연습용 피드백 용도로 먼저 도입하고, 교사·강사의 최종 검토 단계를 반드시 남겨두는 것을 권한다. 이는 ETS의 20년 이상 운영 경험이 보여주는 핵심 교훈이기도 하다.

Q6. AI 채점 도구를 고를 때 가장 먼저 봐야 할 것은?
정확도 수치 하나가 아니라 "이중 채점 지원 여부"와 "편향 감사 이력 공개 여부"다. 정확도는 표본과 과제 유형에 따라 크게 달라질 수 있어 단독 지표로는 판단하기 어렵다.

Q7. 학생이 AI 채점을 의식해 '글쓰기 전략'을 바꾸는 것도 문제인가?
그렇다. BABEL 제너레이터 사례와 국내 교사단체의 우려가 공통으로 지적하듯, 학생이 AI가 선호하는 표면적 패턴(길이, 특정 어휘)에 맞춰 글을 쓰도록 학습하게 되면 정작 길러야 할 사고력·논증력 교육이 왜곡될 위험이 있다.

💡 결론 — 자동 채점은 '대체'가 아니라 '보조'로 설계해야 한다

지금까지 살펴본 데이터와 사례를 종합하면 하나의 원칙으로 수렴한다 — AI 서술형 채점은 인간 채점을 완전히 대체할 만큼 성숙하지 않았지만, 명확한 채점 기준과 인간의 최종 검토가 함께할 때는 실질적인 생산성 도구가 될 수 있다. ETS가 20년 넘게 e-rater를 운영할 수 있었던 것도, 반대로 서울 일선 학교에서 백지 답안 채점 논란이 터진 것도 결국 이 원칙을 지켰는지 여부의 차이였다. 교육 담당자에게 필요한 것은 "AI를 쓸 것이냐 말 것이냐"라는 이분법이 아니라, "어떤 검증 장치와 함께 쓸 것인가"라는 설계의 질문이다.

NUGUNA는 서술형 과제·퀴즈 채점을 포함한 LMS 기능을 구축할 때, 자동화가 편의성을 높이더라도 최종 판단은 교육 담당자가 직접 확인하고 조정할 수 있는 구조를 우선한다. 서술형 평가를 포함한 학습 관리 체계를 어떻게 설계해야 할지 궁금하다면 기능 소개와 인터랙티브 데모를 먼저 살펴보고, 우리 기관에 맞는 평가 워크플로가 필요하다면 상담을 신청해 구체적인 요구사항을 논의해보길 권한다.

📎 출처

• The Hechinger Report, "Proof Points: Asian American students lose more points in an AI essay grading study" (2024)
• The Learning Agency, AI 에세이 채점 편향 조사 (2025)
• 경향신문, "[단독] '백지' 제출 답안지에도 '점수' 준 AI, 채점 기준 어떻길래" (2026)
• 경향신문, "['27초' 만에 24명 글쓰기 답안 채점…"점수 매번 달라 정확도 떨어져"]" (2025)
• Les Perelman, "The BABEL Generator and E-Rater: 21st Century Writing Constructs and Automated Essay Scoring"
• KPBS/WWNO, "More States Opting To 'Robo-Grade' Student Essays By Computer" (2018)
• Frontiers in Education, "GPT-4's capabilities in handling essay-based exams in Norwegian" (2025)
• ScienceDirect, "Is GPT-4 fair? An empirical analysis in automatic short answer grading" (2025)
• 교수신문(kyosu.net), "서술형 평가·피드백 돕는 'AI 채점' 시스템 나왔다"