1. 개요
시험에서 오답을 유도하는 의도가 다분하게 출제된 초고난도 문제를 가리키는 말.대학수학능력시험 수험생들 사이에서 유래해서 내신, 대학교, TOEIC, TEPS, TOEFL, 인적성, PEET 등의 다른 시험에서도 오가는 용어가 되었다.
교육부에서 윤석열 정부 수능 출제 방침 지시 관련 파문 당시에 킬러문항 사례를 공식 발표하였다. 그러나 이 발표의 경우 수능에 대한 이해 없이 대충 문제 번호로만 선정했다는 의혹이 있으며, 신빙성이 상당히 떨어진다는 것이 중론이고, 각계의 비판이 거셌던 점을 감안할 필요가 있다. #
다만 의외로 이 표현 자체는 상당히 오래된 편인데, 2010년대 초반부터 이미 많은 사람들이 사용하고 있었다.[1]
2. 특징
- 보통 정답률이 매우 낮은 양상을 보이지만 항상 성립하지 않는다.[2] 수준만 보면 '확실히 풀지 말라고 낸 문제'이고 응시자들 역시 거기에 공감하는 데 비해 정답률이 의외로 매우 높게 나오는 경우(예: 2016 수능 생명과학Ⅱ)도 간간이 있기 때문이다. 과학탐구 영역 중 물리학Ⅱ, 화학Ⅱ, 생명과학Ⅱ, 지구과학Ⅱ, 2016학년도까지의 사회탐구 영역 중 한국사 영역이 수능에서는 이러한 경향성을 잘 보여준다. 비록 한국 영재 수준까지는 아니어도 그에 필적하거나 준하는 서울대학교 지망생이 다수이고 보통은 잘 응시하지 않는(혹은 불리하다 여겨지는) 과목인데다가 거의 최상위권들만 응시하는 과목이기 때문이다. 예로 2022 수능 지구과학Ⅰ 2번으로 출제된 플룸 구조론 문제와 같은 시간 치러진 물리학Ⅱ의 18번 돌림힘 문제의 정답률은 약 40%로 거의 같지만, 후자는 전자에 비해 헬파이어급 킬러문제라고 볼 수 있다.
- 배점이 균일한 경우도 있지만, 그렇지 않다면 대부분 다른 문항에 비해 상대적으로 높은 배점을 부여한다. 전국단위 수학시험(수능/모의고사/사관학교/경찰대)에서는 무조건 최고점을 부여하고, 중/고등 내신에서는 5-6점으로 부여하는 경우가 많으며, 주관식 문제로 출제되면 10점까지 부여한다. 다만 수능 탐구 영역에서는 그렇지 않은 경우도 많이 찾아볼 수 있다. 킬러문제가 2점짜리인데 누구나 맞히는 문제는 3점인 경우도 꽤나 있다.[3]
- 일반적으로 시험지 맨 뒷 문항 부근에 포진해 있다. 앞에 어려운 문제를 내고 뒷부분을 쉽게 내면 응시자들이 시간 분배에 실패할 가능성이 높아진다. 물론 그냥 엿 먹으라고 일부러 앞에 어려운 문제를 넣는 경우도 종종 있으니 방심하지 말 것. 학교 시험에서 단원 순서에 따라 출제할 경우 어려운 단원이 앞에 있으면 이런 현상이 일어난다. 문제 풀 때 잘 모르겠으면 일단 넘기라는 말이 괜히 있는 게 아니다.[4] 2022학년도 대학수학능력시험 모의평가와 2021학년도 대학수학능력시험을 보면 이러한 경향이 다소 깨지고 있다는 것을 알 수 있다. 수학은 2020 수능 시기부터 킬러 난이도가 눈에 띄게 감소했으며, 2022 수능에서 개편된 이후에는 15번, 심하게는 22번이 아예 준킬러로 나오기도 한다. 대신 비킬러가 눈에 띄게 두꺼워졌으며, 준킬러도 많아졌다. 저배점 문제나 앞쪽에서 막혔다고 좌절하지 말고 뒤쪽으로 가서 해결할 수 있는 문제를 빠르게 해결한 후 다시 앞쪽으로 와서 풀이하는 전략이 어느 때보다 요구된다.
- 수학이나 과학탐구의 물리학 또는 지구과학의 경우 수능에서의 킬러 문제는 내신에서 자주 나오는 학문적으로 아무 의미도 없는 개념을 틀리게 하기 위해서만 꼬아놓은 문제나, 더러운 계산이나 지엽적 개념만으로 이루어진 문제는 거의 없다. 수학의 경우 대부분은 상위 과정(학부, 고급수학 등)에서 쓰이는 개념을 간접적으로 차용해 출제한 경우이기 때문에 푸는 난이도 자체는 극히 어려울지라도 학문적 가치는 충분한 경우가 많다. 그 예로 위 문단의 2017, 2018 가형 30번의 경우 전자는 대학교 2학년 해석학 정도에서나 시킬 함수 추론을 다소 약화시켜서 가져온 것이라 볼 수 있고, 후자는 대놓고 컨볼루션 함수를 제시하였다. 또한 2020 가형 30번의 경우 편미분의 개념이 살짝 묻어있으며, 수열 문제인 2023학년도 수능 15번, 2023년 3월 학평 15번, 2024학년도 9월 모평 12번은 정수론의 개념이 들어간 문제이다. 과학탐구 영역의 물리학, 지구과학 계열의 경우는 쓸데없이 꼬아만 낸 문제는 그리 많지 않다. 대표적으로 2009 개정 교육과정 당시 지구과학1의 좌표계 문제들은 매번 최고 오답률을 찍으며 킬러 소리를 들었지만 정작 그 대부분은 좌표계의 개념만 정확하게 알고 있으면 풀린다(...) 즉, 좌표계 개념이 애초에 구면좌표계를 바탕으로 한 개념이라 고등학생이 이해하기에 상당한 사고력 및 공간지각력을 요구하는 난해한 주제이기 때문에 이런 결과가 나온 것이지, 문제를 더럽게 꼬아서 이런 정답률이 나온 것이 아니다. 그리고 수능 역사상 최고난도 과탐으로 평가받는 2022 수능 지구과학2 역시 난도와는 별개로 개별 문항의 학문적 가치는 매우 높았다. 이와 반대로 화학, 생명과학 계열은 현재는 오로지 변별만을 목적으로 하여 학문적으로는 어떠한 가치도 의미도 없는 이상한 숫자놀음 문제로 도배되고 있는데, 워낙 또 그 훈련만 받은 고인물들이 많아졌다 보니까 그래도 1등급컷이 만점에 가깝게 나오기 때문에 갈수록 악순환은 심해질 수밖에 없다.
2.1. 관계 1 - 문항 수
음의 상관관계다. 문항 수가 많을수록 굳이 킬러 문제를 등장시키지 않아도 알아서 변별되므로 안정적인 수준으로 낼 수 있다. 예컨대, 아무리 평이한 문제라 할지라도 문항 수가 수백 개라면 정답률 0%를 내는 일도 예삿일이 아니다(불포화 상태). 그런데 여기서 난도를 유지한 채 문항 수를 낮추게 되면 정답률이 100%에 근접해질 수 있으므로 이와 동시에 문제 수준들을 전반적으로 높이는 방법을 채택한다(포화 상태 또는 적정 상태). 이 과정에서 문항 수가 필요 이하로 줄어들 경우 상대평가의 특성상 킬러 문제를 늘리거나 킬러의 수준을 매우 높인다(과포화 상태). (괄호는 킬러 문항에 대한 상태)- 사례 1) 가장 극단적인 경우가 논술이다. 문항 수는 한 손에 꼽을 만큼 적지만[5] 그만큼 엄청나게 어려운 난도를 선보인다.
- 사례 2) 반대로 TOEIC이나 JPT와 같이 LC 100문, RC 100문, 합계 200문처럼 문제수가 많은 시험은 평이한 난도 만으로 저절로 변별력이 갖춰지게 되어있다.
- 사례 3) 대학수학능력시험 국어 영역과 영어 영역이 초창기 각각 65문항, 50문항이었으나 2014 수능부터 각각 45문항으로 줄어들었다. 이에 맞춰 배점 폭도 커져 변별력이 예전보다 많이 떨어졌고 등급 커트라인도 올라갔다.
- 사례 4) 대학수학능력시험 ' 상대평가 총 문항 수'가 점점 떨어짐에 따라 킬러 문제의 출현 빈도가 그만큼 높아졌다. 대표적으로 수능 사회탐구 영역, 과학탐구 영역에서는 선택 과목 상한선이 줄자(4과목 선택→2과목 선택) 킬러 문제의 수가 늘었고, 국어 영역은 2018 수능부터 영어 영역이 절대평가(즉, 상대평가 45문항 삭제)로 전환되자 당해 문제 난도를 상당 수준으로 높였고 그 다음해 절정에 달했다.
| 대학수학능력시험 상대평가 문항수 연혁[6] | ||||||
| 수능 시행 학년도 | 국어 | 수학 | 영어 | 탐구 | 합계 | 직전과 비교 |
| 1994 | 60 | 20 | 50 | 60 | 190 | - |
| 1995 ~ 1996 | 60 | 30 | 50 | 60 | 200 | 수학 영역 10문제 증가 |
| 1997 ~ 2000 | 65 | 30 | 55 | 80 | 230 |
국어·영어 영역 5문제씩 증가 탐구 영역 20문제 증가 |
| 2001 ~ 2007 | 60 | 30 | 50 | 80 | 220 | 국어·영어 영역 5문제씩 재감소 |
| 2008 ~ 2011 | 50 | 30 | 50 | 80 | 210 | 국어 영역 10문제 감소 |
| 2012 ~ 2013 | 50 | 30 | 50 | 60 | 190 | 탐구 영역 20문제 재감소 |
| 2014 ~ 2017 | 45 | 30 | 45 | 40 | 160 |
국어·영어 영역 5문제씩 감소 탐구 영역 20문제 감소 |
| 2018 ~ 현재 | 45 | 30 | - | 40 | 115 |
영어 영역 절대평가 전환으로 45문제 감소 가장 많은 문항 수 시절의 절반 |
- 사례 5) 김상곤 전 교육부장관 임기 시절 교육부에서는 아예 국어, 수학, 영어를 25문항으로 줄이려는 방안을 검토 단계까지 갔었다고 한다. 만약 이것이 반영됐다면 상대평가 문항 수는 90 문항으로 줄어 거의 모든 문제가 킬러화되었을 것이다.
- 사례 6) 초기 수능 당시 '킬러 문제 특강' 같은 사교육 콘텐츠조차 매우 적거나 인기가 없었다. [7]
앞서 예시들로 보아 킬러 문제는 사교육에서 상관관계를 찾을 게 아니라 상대평가 문항 수와 사교육 지출이 반비례한다는 결론을 내야 타당하다.
2.2. 관계 2 - 응시자 수와 실력
응시자 수와 킬러 문항 수의 상관관계는 모호하나 확실한 건 응시자 수가 적어지면 통계적 방법에 한계가 생긴다. 일단 인원 수가 많으면 큰 수의 법칙에 의해 상위권, 중상위권, 중위권, 중하위권, 하위권이 골고루 분포할 가능성이 크다. 반대로, 응시 인원 수가 필요 이하로 적어지게 된다면 실력 분포(응시자 간 편차)를 가늠하기 힘들어져, 시험을 아예 어렵게 출제해버린다든지 혹은 아예 쉽게 출제해버리는 극단적 양상을 띤다.| 선택 과목 |
2011 수능 (4과목 선택) |
2014 수능 (2과목 선택) |
2018 수능 (영어영역 절대평가 전환) |
2022 수능 (문 · 이과 구분 폐지) |
응시 인원 증감률 (2011 → 2018) |
| 응시 인원(2011) | 응시 인원(2014) | 응시 인원(2018) | 응시 인원(2022) | ||
| 물리학Ⅰ | 121,564명 | 52,692명 | 57,797명 | 62,509명 | -52.46% |
| 화학Ⅰ | 182,809명 | 136,761명 | 99,657명 | 73,582명 | -45.49% |
| 생명과학Ⅰ | 196,289명 | 137,375명 | 149,773명 | 134,726명 | -23.70% |
| 지구과학Ⅰ | 150,292명 | 78,836명 | 156,206명 | 136,541명 | +3.94% |
| 물리학Ⅱ | 25,228명 | 5,758명 | 2,839명 | 3,006명 | -88.75% |
| 화학Ⅱ | 56,232명 | 10,200명 | 3,340명 | 3,317명 | -94.06% |
| 생명과학Ⅱ | 92,918명 | 39,676명 | 9,140명 | 6,515명 | -90.16% |
| 지구과학Ⅱ | 30,498명 | 10,422명 | 10,424명 | 3,570명 | -65.82% |
| (사회탐구는 폐지·생성된 과목이 있어 예시 생략) | |||||
- 사례 1) 수능 탐구 영역에서 시행하는 '선택 과목 제도'처럼 과목 간 유·불리를 유발하는 경우(근거 2014 수능 경제·화학Ⅱ 선택 학생들, 국·영·수 성적 높았다).[8] '특정 공통 응시 과목'을 비교준거로 두어, 특정 선택 과목에 상위권이 몰렸으면 킬러 문제가 다수 출제되고, 하위권이 몰렸다면 킬러 문제가 소수 출제되는 경향을 보인다. ' 수능 제2외국어/한문 (아랍어Ⅰ)'는 국·수·영 평균 최하위권들만 집중적으로 모여들어 매우 쉽게 출제되지만(2018 수능 기준), ' 수능 화학Ⅱ'는 최상위권이 포진하여 거의 모든 문항이 킬러 문제로 출제된다.
- 사례 2) 대학수학능력시험 경제와 물리학Ⅱ의 경우, 응시자 수가 극도로 적어 통계적 방법에 한계를 대표적으로 보여준다. 실제로 6월 모의평가까지는 응시자들의 국어·수학 실력 케이스가 최상위권, 중하위권 딱 두 가지로 극단화되어있기 때문에 표준편차가 매우 높다. 이러한 성적 통계를 본 출제위원 입장에서는 응시자 분포가 최상위권, 중하위권뿐이기 때문에 최상위권만을 위한 킬러 문제를 단 1개를 출제하는 게 낫다는 판단을 내린다. 그리고 실제로 이 성적 분포가 9월 모의평가까지 이어지게 된다면 수능 당일 킬러 문제 수는 아예 없거나 1개 내지 2개를 출제한다. 하지만 이렇게 응시자 수가 적다보니 변수가 커지게 된다. 실제 수능 당일엔 상당한 미응시자가 생기고, 이 미응시자들이 대부분 하위권으로 예상되기 때문에 상위권끼리의 대결이 이루어지는 상황이 연출된다. 결국 2016 수능 물리Ⅱ 2등급 증발 사태, 2018 수능 경제 2등급 증발 사태, 2021 수능 물리학Ⅱ 2등급 증발 사태가 일어나게 된 적이 있고, 이후 한국교육과정평가원 입장에서는 응시자 변수에 대한 갈피를 전혀 못 잡게 되자 '아예 어렵게' 혹은 '아예 쉽게'라는 두 가지 패턴을 골고루 보이고 있다.
-
사례 3)
▲ 당시 오답률 TOP5 안에 들었던 킬러 문제. 두 문제의 오답률은 60% 후반대로 비슷하다.[참고]
화학Ⅱ에서 2011 수능 대비 응시자 수가 -92%p로 급감한 2019 수능 문제를 보면 알겠지만, 4과목 선택 폐지로 중하위권 응시자 수가 대거 빠져나가고 상위권 학생만 일부 남은 탓에 문제 수준이 비교적 어려워졌음에도 불구하고 두 문항의 정답률이 비슷한 양상이 나타났다. - 사례 4) 수능 수학 영역의 경우, 2009 개정 교육과정이 적용된 시험(2016~2018 수능)에서 이전보다 고난도 문제 수를 줄여 얼핏 부담 완화 정책처럼 보이겠으나 이는 조삼모사에 불과하다. 쉬운 문항과 어려운 문항의 편차를 극도로 높인 것. 안 그래도 킬러 문제라 100명 중에 10명도 채 못 맞히는 문제였던 30번 문항의 수준을 이전보다 훨씬 더 극악으로 높였다. 그러나 2019 수능부터는 킬러 문제의 난이도를 낮추고 준킬러 문제의 난이도를 높이는 방향으로 가더니, 2022수능부터 킬러 문제를 거의 준킬러 수준으로 더 내리고 일반적인 준킬러 7개를 출제하여 난이도를 조절했다. 자세한 내용은 5문단 참조.
2.3. 관계 3 - 교과 내용, 범위
- 자세한 건 대학수학능력시험/문제점 및 해결 방안 문서를 참조하자.
- 한 가지 일러둘 게 있다면, '교과 내용 부담'이 '학습량 부담'과 무조건 일치되는 것이 아니다. 오히려 교과 내용과 시험 범위가 줄어들면 출제자 입장에서는 한정된 범위 내에서 변별력 유지를 위해 킬러 문제가 그만큼 많아지기 때문에 오히려 '학습량' 자체는 늘어날 수도 있다.[10] 이는 시험 범위나 교과 학습 수준이 줄어들수록 학생들의 공부 투자 시간에 여유성을 갖게 되자 다같이 '실력 상향평준화'를 이루게 되고, 이윽고 내용적인 부분만으로 변별하기가 어려워져 킬러 문제가 증가하게 되는 것이다.
2.4. 관계 4 - 교육 컨텐츠, 대중성
요즘은 스마트폰의 발달로 정보 교류가 활발해지고, 입시3대포탈만 며칠 기웃거려도 킬러 문제의 존재와 기출문제의 중요성을 각인시킬 수 있게 되었다. 시험 고득점과 당락을 좌우하는 게 킬러 문제라는 사실만 각인해도 당장 어떤 방향으로 공부해야 할지 갈피가 잡히는 요즘이지만, 2010년 이전의 옛 수능 시대만 해도 이러한 콘텐츠나 정보의 존재가 전혀 대중화되어있지 않았으며 시험 과목 또한 지금보다 훨씬 많았다. 따라서 킬러 문제를 풀이할 수 있는 응시자도 한정되어 있었고, 표준화 시험의 목적을 충실히 따를 수 있어 '실력대로 대학간다'는 말이 현재보다 더 통설로 자리매김할 때였다.지금은 예전과 다르게 시험 과목수도 많이 줄어들고 입시 정보 및 콘텐츠 교류가 활발해지면서 응시자 실력이 다같이 상향되어 킬러 문제의 수준이나 그 수를 늘리게 되어온 게 현재의 수능이다. 이로써 '실력대로 대학간다'라는 말은 퇴색되었고 사실상 '고인대로 대학간다'로 변질된 지 오래이다. 특히 수학, 영어, 화학, 생명과학, 경제의 경우 이미 본래의 평가 목적은 틀어지고 그 상태가 과포화에 이르러 무슨 고인물이냐며 비아냥거리기도 한다. 그런데 교육부는 문제 수와 시험 범위와 과목 수를 늘리기는커녕 오히려 줄여버리는 등 이러한 상황을 개선할 기미도 보이지 않는다.
수능뿐만 아니라 다른 시험도 마찬가지일 것이다. 만약 심리학과 같은 비주류 특정 과목에 상대평가 및 필수화를 걸어둔다면, 온갖 학생, 교사, 강사 등 교육 이해 관계자들의 관심이 대폭 쏠리면서 심리학 관련 콘텐츠나 사교육이 우후죽순으로 쏟아져나오고 응시자들의 수준 또한 상향평준화되어 언젠가 킬러 문제가 등장하게 될 것이다.
- 사례1) 수능 지구과학Ⅰ의 경우, 교육과정 개정 전 + 3픽시절인 2012년까지만 해도 응시자 수(14만명)에 비해 인기가 낮은 편인데다 상위권도 별로 없어 등급 따기가 유리했었으나, 2013년 수능 이후 쉽고 등급 따기에 유리하다는 소문이 퍼지면서, 2017년 수능에서는 2픽인데도 3픽시절인 2012년보다 응시자 수가 늘어서 (15만 6천명) 응시자 수 1위라는 타이틀을 거머쥐게 되었다. 관련 콘텐츠도 쏟아져나오면서 (킬러 문항까진 아니어도) 어려운 문항이 많아졌다.
- 사례2) 지구과학Ⅱ 역시 그 인기가 8과목 중 꼴찌, Ⅱ과목 중에서도 단연 꼴찌였다. 그러나 위와 같이 지구과학 열풍이 불면서 2018학년도 수능에서는 Ⅱ과목 응시 비율 1위를 달성하게 되었다. 하지만 응시자 수가 여전히 적어 고인물 현상이 급속화되었고, 2017년 6모와 수능으로 킬러 문제가 계속 쏟아져나올 거란 것을 예감했는지 이듬해 생명과학Ⅱ에 밀려 곧바로 2위로 내려앉게 된다. 그리고 교육과정이 한번 더 개정된 2020년부터는 이전과는 아예 다른 과목으로 탈바꿈함에 따라 문제가 굉장히 빡세졌고, 때문에 2023학년도 수능에서 화학Ⅱ에게 추월당했다.
3. 킬러 문제 양산화의 배경과 진실
언론이 수능 시즌만 되면 킬러 문제 관련으로 컴플레인을 자주 거는 경우가 있는데, 이 킬러 문제는 위에서 언급했듯이 시험 범위나 교과 학습 수준이 떨어질수록 학생들의 공부 투자 시간에 여유성을 갖게 되자 다같이 '실력 상향평준화'를 이루게 되고, 이윽고 내용적인 부분만으로 변별하기가 어려워져 (킬러 문제가) 증가하게 되는 것이다. 극초기 수능을 제외하면 수능의 시험 범위는 교육과정이 바뀔 때마다 크게 줄었고, 이 상황에서 변별력을 유지하려다 보니 어렵고 복잡한 문제가 출제될 수밖에 없었다. 이쯤 되면 솔직히 교육 당국에서 킬러 문항 증가를 바라는 게 아닌가 싶을 정도.과거 1990~ 2000년대 수능에선 '킬러 문제'로 인한 걱정은 매우 적었으며, 시험 범위와 문항 수도 많아 충분한 내용만으로 변별이 가능했었던 점을 보았을 때 수능 자체 시스템에 문제가 있는 것이 아니라 지속적인 개편 과정을 거듭하면서 문제점이 생겼다고 보는 게 타당하다. 현재 탐구 영역은 2개 과목 선택이지만 5차 교육과정 당시엔 거의 12개 과목 선택에 해당하는 분량이었으며, 수학 또한 고교 전과정이 시험 범위였다. 당시에는 시험 범위가 워낙 방대했기 때문에 '개념을 아느냐' 여부로 변별 잣대가 갈리게끔 출제 유형을 유도할 수도 있으며, 문항 수를 늘려 배점을 좁혀 변별을 면밀히 할 수도 있다. 특히 당시 시절엔 킬러 문제를 지금처럼 풀 수 있어야만 SKY 대학에 입학할 수 있는 성적을 보유하던 시대가 아니었다. 오히려 몇 십 개를 틀려도 명문대나 의대 진학이 가능했던 시대다.
저 몇십개라는 말에 의아해 할 수 있겠지만 저건 전혀 과장이 섞인 말이 아니다. 6차 교육과정 400점 만점 시대의 수능은 총 문항수가 언어65, 수학30, 사회과학탐구 80, 외국어55문항이었는데 한참 수능이 어려워서 그 대비 모의고사도 만만치 않았던 시절인 1996,97년도 모의고사 기준으로 언어영역 65개 중 7문제 틀리면 대략 13점 감점, 수리영역 30문제 중3문제 틀리면 대략 10점 감점, 탐구영역 80문제 중 12문제 틀리면 대략 18점 감점, 외국어영역 55문제 중 2문제 틀리면 대략 3점 감점으로 총 24문제 틀려 45점 전후 감점으로 총점이 350점대 중반이 된다는 이야기가 되는데, 이 당시 350점대 중반 점수는 쉬운 모의고사 기준으로도 상위 0.5프로 안에 무난하게 드는 점수였고 보통 수준의 모의고사 기준으로는 0.1프로 컷 정도였다. 그리고 그 당시 서울대 상위권 학과 합격선이 상위 0.5프로 정도 그리고 극상위권 학과인 법대나 의대가 0.1프로를 좀 넘기는 정도였다는 걸 감안하면 24문제 정도를 틀려도 그냥 명문대나 의대 정도가 아닌 서울대 극상위권 학과를 갈 실력이 있었다는 이야기... 그리고 극악한 수준이었던 1997학년도 수능에서는 정도가 더 심해서 언어 7개에 13점 전후 감점, 수리 5개에 17점 전후 감점, 탐구 16개에 24점 전후 감점, 외국어 2개에 3점 전후 감점이면 대략 30여개 틀리면 340점대 초,중반의 점수가 나온다는 이야기인데, 참고로 저 해 서울대 의대와 법대 합격자의 컷트라인이 아닌 수능 평균 점수가 345점이었다. 말이 좋아 합격자 평균이지 저 극상위권 학과들은 전형적인 하후상박형 분포를 보이는 과들이라 평균점수로 합격하면 실제 등수는 상위권이었으니, 30개 틀리고 서울대 의대나 법대같은 최상위 대학의 최상위권 학과를 상위권으로 들어갈 수 있었다는 이야기가 된다. 그런 이유로 후술하는 것 같이 저 시대에는 문제풀이 스킬 이상으로 중요한 것이 개념을 제대로 배우고 가는 것이었다. 괴팍한 문제들이 많기는 했지만 그 정도는 정 안되면 그냥 틀려도 서울대의 최상위권 학과를 들어가는 데에는 아무 지장이 없었으니 저 넓은 범위들을 교과서적으로 제대로 이해하는 능력이 더 중요했던 것...
지금처럼 시험범위를 턱없이 줄여 그 속에서 작은 실수로 변별이 갈리게끔 상대평가 범위를 줄여온 정책은 공교육 강화는커녕 사교육과 교육과정 파행만 조장할 뿐이다.
이런 식으로 지속적인 교과 내용 축소에 입김을 불어넣어 킬러 문제의 양산화를 야기한 사교육걱정없는세상 등의 교육단체[11]들은 본인들 때문에 킬러 문제가 늘어났다곤 전혀 생각지도 않은 채 2019 수능 국어 31번 문항에 손배소송을 내는 웃지 못 할 상황이 연출됐으며, 2021년 9월 28일에는 열린민주당 강민정 의원과 사교육걱정없는세상이 소위 수능 킬러문항 금지법을 발의했다. 국회 의안정보시스템 사교육걱정없는세상 블로그 한 마디로 이들의 행보가 자가당착에 빠진 것. 그저 '수능 무력화'와 '수능 여론 악화'를 위해 야금야금 큰그림을 그려왔던 게 아니었냐는 의혹까지 있다. 달리 말하면 킬러 문제의 원인을 파악하지는 못하고(사실상 지금으로선 교과 분량을 줄이고 수능 제도의 팔다리를 자르려고 의도적으로 무시하는 게 정설이다) 본인들 뒤통수나 때리는 주장을 하고 있으니 학부모와 학생 등 당사자들의 여론 반응은 좋지 않다.
4. 2022학년도 이후의 문제 수준 재조정
2022 수능이 치러진 이후의 분석으로는, 수학 영역의 극강의 킬러 문제를 거의 준킬러 수준으로 내리고, 대신 준킬러 문항 자체를 3~4개나 더 늘려서 난이도를 조절했다는 평이다.[12] 2021학년도 대학수학능력시험에 적용되는 현행 체제와 새로운 체제가 섞인 과도기 수능과 2022학년도 대학수학능력시험부터 2015 개정 교육과정이 반영된 새 수능에 맞춰서 기하와 벡터 파트의 문제를 자제하고 미적분에서 정석적인 문제들이 다수 흘러나왔다는 의견이 많다.그해 수능 수학 영역에서는 6월, 9월부터 차례대로 준킬러가 어려워져 수능에서는 고난도 문항이 7개 정도에 육박하게 되었으며, 이에 따라 최고난도 문항인 15번, 22번, 30번의 난이도는 크게 약화되었다. 이후에도 이러한 기조가 유지될 것으로 예측된다. 실제로 이후 수능이나 모의평가에서도 준킬러가 12~14번, 20~21번 등에 배치되는 등 구성이 좀 더 빡빡해졌으며 비킬러 4점 역시 두터워졌다. 또한 문항 번호와 난이도를 뒤섞어 오히려 앞번호가 더 어렵게 나오는 등 다양한 변칙을 주었다.[13] 즉, 번호대에 얽매이지 말고 버릴 건 버리고 풀 건 풀어야 한다. 예를 들어 뜬금없이 12번, 혹은 10번 등 4점 초반 내지 중반 부분에서 막힌다면 '어, 이 번호대 문제가 왜 안 풀려?' 하면서 붙잡다가 시험을 말아먹기보다는 다음 문제로 넘어가는 게 더 낫다. 이 시험부터 영어 영역도 직접연계 폐지를 감안했는지 이전처럼 극악한 빈칸 문제는 출제하지 않고, 전체적으로 준킬러를 빡세게 내는 수학 영역과 같은 출제기조를 가지고 가고 있다.
다만 수학 영역의 킬러가 약화되고 문이과 통합 수능으로 가/나형 구분이 폐지된 그해 시험부터 과학탐구 영역의 킬러는 더욱 더 극악해졌다. 위에서 언급된 화학Ⅰ의 중화반응이나 화학Ⅱ의 평형, 생명과학Ⅰ의 유전, 생명과학Ⅱ의 코돈표 문제, 물리학Ⅱ의 돌림힘, 포물선 운동[14]이나 지구과학Ⅱ의 천문학 문제 등.
마찬가지로 영어 영역이 절대평가로 전환되고 직접연계가 폐지된 그 해부터 국어 영역의 킬러도 더욱 더 극악해졌다. LEET 언어이해 영역과 크게 다르지 않을 정도로 추론이 많아지고 어려워진 것.
5. 2023년 정부의 킬러 문항 배제 지침
2023년 6월 19일, 대통령실에서 킬러문항을 배제하겠다는 의견[15]을 밝혔다.
교육부는 킬러 문항을 '공교육 과정에서 다루지 않는 내용으로, 사교육에서 문제 풀이 기술을 익히고 반복적으로 훈련한 학생들에게 유리한 문항'이라고 정의했는데, 기존의 학생들의 정의[16] 와는 상당히 다른 정의라고 할 수 있다.
2023년 6월 26일, 교육부에서 26문제의 킬러문항을 선정하여 발표했다.
다만 이전에 기존 교육부 입장을 뒤집어가며 " 6월 모의고사에 교육과정으로 도저히 풀 수 없는 킬러문제가 나왔다"라며 관련자들을 경질하고 감사한 것과는 달리 #, 그런 문제는 많이 찾지 못했는지 킬러 예시로는 '높은 수준의 추론이 필요한 문제'등 다소 추상적인 기준을 적용했다. 심지어 대학 과정인 벡터의 외적을 통해 풀 수도 있다며 킬러문항이라고 지적된 문제도 있는데, 그 문제는 외적을 이용해 풀면 더 어려워진다.
이러한 추상적인 기준 때문인지, 선정된 문제들 중에서 수험생들이 선정 사유를 공감하기가 어려운 문제들이 많았다. 예를 들어, 2024학년도 6월 모의평가 수학영역 21번, 국어영역 14번. 수학 21번의 경우 새로운 유형이었지만 준킬러 풀이가 가능한 중상위권 학생들 중 해당 문제에서 교육부의 발표대로 '실수가 유발될' 학생은 없었다. 또한, 국어 14번의 경우, 3학년 독서 모의고사 중 손에 꼽힐 정도로 쉬웠던 시험에서 킬러 문제를 발표했다는 것은 너무나 추상적인 선정 기준과 교육부의 수험생에 대한 낮은 이해도를 방증한다.
교육부는 이를 발표하며 "추가로 변별력을 어떻게 확보할지는 9월 모의평가를 통해 짐작할 수 있을 것"이라고 덧붙혔다. 성적 산출, 공통과목과 선택과목의 도입 등 변화가 있었던 2022 대학수학능력시험에서 추가적인 예시문항 제공을 통해 수험생들의 혼란을 완화했던 조치와 대비된다.
2023년 9월 6일, 논란 이후 첫 모의평가인 2024학년도 9월 모평이 시행되었는데, 해당 모의평가에서는 킬러문항이 다소 약화된 상태로 출제되었다. 국어 영역에서 비문학의 난이도가 하락하고 대신 문학과 선택과목의 난이도가 상승하였다. 수학 영역에서도 15번, 22번, 30번의 난이도가 매우 쉬워졌고, 일부 4점 문항의 변별력이 높아졌다. 탐구 영역 역시 킬러 문항이 약화되었다.
2023년 11월 16일, 킬러 배제 방침에 따른 첫 수능[17]이 시행되었다. 난이도가 하락할 것이라는 대다수의 예상과 달리 국어, 수학, 영어가 매우 어렵게 출제되었다.
5.1. 교육부가 선정한 킬러 문항 목록
|
|
아래 문항들은 교육부가 공식적으로 킬러 문항으로 선정한 문항들과 선정한 사유들이다. 교육부 공식 발표 [전문] 도전해 보시겠습니까, 정부가 지목한 '킬러 문항' 26개 (조선일보)
====# 국어 #====
====# 수학 #====
|
|
|
| 2021학년도 대학수학능력시험 나형 30번[18] | 2022학년도 대학수학능력시험 미적분 29번[19] |
|
|
|
| 2022학년도 대학수학능력시험 기하 30번[20] | 2023학년도 대학수학능력시험 22번[21] |
|
|
|
| 2023학년도 대학수학능력시험 확률과 통계 30번[22] | 2023학년도 대학수학능력시험 미적분 30번[23] |
|
|
|
| 2024학년도 6월 모의평가 21번[24] | 2024학년도 6월 모의평가 22번[25] |
|
|
|
| 2024학년도 6월 모의평가 미적분 30번[26] |
|
|
|
| 2022학년도 대학수학능력시험 영어 21번[27] | 2022학년도 대학수학능력시험 영어 38번[28] |
|
|
|
| 2023학년도 대학수학능력시험 영어 34번[29] | 2023학년도 대학수학능력시험 영어 37번[30] |
|
|
|
| 2024학년도 6월 모의평가 영어 33번[31] | 2024학년도 6월 모의평가 영어 34번[32] |
|
|
|
| 2022학년도 대학수학능력시험 물리학Ⅱ 18번[33] | 2023학년도 대학수학능력시험 화학Ⅱ 20번[34] |
|
|
|
| 2024학년도 6월 모의평가 생명과학Ⅱ 17번[35] | 2022학년도 대학수학능력시험 지구과학Ⅱ 20번[36] |
6. 정말 교육과정을 벗어난 문제들인가?
기존에 킬러 문항이라는 것은 학생들 사이에서 단순히 아주 어려운 문제를 말하는 것이었으나, 2023년 윤석열 정부 수능 출제 방침 지시 관련 파문 당시 교육부에서 '킬러문항=교과 외 문항'이라 재정의했다.그러나 수능은 그 어떤 시험보다도 교육과정을 철저히 지켜서 출제하는 것으로 정평이 나 있기에, 대부분의 이러한 '교육과정을 벗어났다' 식 주장은 문제를 제대로 살펴보지도 않고 억지를 부리는 것에 불과하다. 수능 킬러 문제의 대부분은 교육과정의 여러 부분을 끌어와 복합적인 사고를 하도록 요구하며, 이러한 고차원적 사고를 필요로 하는 것은 교육과정 이탈과는 완전 무관하다.
교육과정이 축소되며 변별력을 위해 '문제를 위한 문제'가 나오는 것은 사실이나, 이 역시 교육과정 이탈과는 큰 관련이 없으며 '킬러 문제' 중에서 개념이해나 응용력, 사고력을 측정하는 좋은 문제도 많다. 오히려 지적된 '사교육을 통한 반복적인 기술 학습'을 통해 쉽게 풀 수 있는 문제는 쉬운 비킬러 문제에 더 많다.
실제로 이후 교육부에서도 과거 수능 킬러문제 사례를 공개하며, 교육과정 위반 문항을 못 찾았는지 다시 '고차원적', '복잡함' 등을 킬러 문제의 사례로 제시했다.
7. 참고 문서
[1]
수리나형,
수리가형,
사회탐구,
과학탐구 등 가리지 않고 사용되었다.
[2]
이는 응시자 수준이 매우 높은 사람들끼리 모인 시험에서는 의미가 없기 때문이다. 가령, 한국
영재들을 모두 불러모아 수능 정도의 시험을 응시하도록 시킨다면 정답률이 킬러 문제에 갖는 척도는 떨어진다. 또 수학 영역에서 "번호"가 주는 의미가 낮은 정답률을 만들기도 한다. 2012학년도부터 수능 수학 영역에서 객관식 마지막 문제(문이과 통합형 수학 개편 이전에 21번, 문이과 통합형 수학 개편 후 15번과 28번)와 주관식 마지막 두 문제(29번과 30번)가 어렵게 나오는 경향을 띠었기 때문에 이 문제들을 처음부터 풀 생각을 하지 않고 다른 문제들에 집중해 안정적 등급을 받으려는 전략을 세우는 수험생도 은근히 생겼기 때문. 하지만 2020~2021학년도 수능 이후에는 초고난도 킬러문항이 나오는 경향이 약화되고 준킬러 문항이 강화되는 경향이 생겼기 때문에 문제의 실 난이도와 정답률에 괴리가 크게 나는 경우가 발생했기 때문에 "번호"가 정답률을 만들기도 하는 것이다.
[3]
이는 보통 아래 3가지 중 어느 한 가지 경우를 만족하는 경우에 킬러 문제에 2점을 부여한다. 1. 킬러 문제이지만 기존 기출문제의 동일한 유형(단원)의 문제들과 비교하였을 때 현격히 그 수준이 떨어지는 경우. 2. 기존 기출문제를 응용하거나 활용하여 출제한 경우(특히 당해 6월 모의평가나 9월 모의평가를 활용한 경우가 그러하다.) 3. 지나치게 수준이 높아 대다수의 학생이 시간 내로 풀지 못하고 찍을 것이라 예상되는 문제. 그럼 왜 낸거야
[4]
특히 수능의 국어 영역과 영어 영역은 킬러 문제가 멀쩡한 문제들 사이에 끼어있기 때문에 앞장에서라도 조금 모르겠다 싶으면 미련없이 넘길 수 있어야 한다. 바꿔 말하면 수학 영역이 국어·영어에 비해
메타인지 능력이 상대적으로 덜 중요하다고 볼 수 있다.
[5]
심지어 단
한 문제일 수도 있다.
[6]
일반계 고등학교 출신 응시생이
제2외국어/한문 영역을 제외하고 응시할 수 있는 최대치를 응시했을 때 기준이다. 또한 영역 명칭은 편의를 위해 현재의 명칭으로 통일한다.
[7]
당장 1996학년도 수능을 치르고
서울대학교
물리교육과에 입학한 강사
배기범은 본인의 수험생활을 이야기하면서 "탐구 과목의 경우는 워낙 공부해야 할 범위가 넓었기에, 역설적이게도 별다른 컨텐츠 없이 교과서에 제시된 흐름 위주로만 공부해도 성적을 잘 받을 수 있었다." 라고 언급하기도 했다.
[8]
인문계열의 경우 '경제'를 선택한 응시자들의 국수영 백분위 합 평균은 181점이고, '생활과 윤리'를 선택한 응시자들은 134점으로 두 과목의 수준이 47점 차이가 난다. 자연계열의 경우에도 '화학Ⅱ'를 선택한 응시자들의 백분위 합 평균은 205점이고, '지구과학Ⅰ'을 선택한 백분위 합은 135점으로 무려 70점 차이다.
[참고]
참고로 2023년 현재 화학2의 킬러는
문서 하단의 2023 수능 문제를 보면 알 수 있듯 저 두 문제 따위와는 비교가 되지 않는 수준으로 올라갔다. 전자와 같은 수준의 화학 평형 문제는 사실상 거저주는 문제가 된 지 오래고, 후자와 같은 산화환원 계수 맞추기 문제는 아예 화학1로 내려갔다. 심지어 2019 수준이면 현 화학1에 내도 평이한 수준으로 취급받고, 2011은 그냥 1페이지 1~3번에 박혀서 9등급 방지용으로 취급당해도 할 말이 없다.
[10]
지금보다 범위가 넓던 과거에도 킬러 문제가 있었다 하더라도 과목의 본질에서 벗어나거나 학문적으로 전혀 의미 없을 정도의 극도의 추론을 요구하는 수준은 전혀 아니었다. 반면 지금은 상대평가 수능의 특성상 범위가 축소된 만큼 변별력 유지를 위해 킬러 문제의 난이도를 더더욱 높이고 '대학 수학 능력'이라는 본래 취지와 전혀 맞지 않을 정도의 극악의 추론을 요구하는 문제가 계속 나오는 것.
[11]
전교조는 조금 애매하다. 전교조는 노동 운동의 목적으로 결성된 노동조합이다. 反경쟁, 反수능 성향이기는 하지만(그래서
일제고사 반대 운동을 벌이기는 했다.) 전교조는 입시 정책이나 시험의 유형 및 형태에 직접적으로 관여하지는 않았다.
[12]
다만
2023 수능에서는 22번이 킬러 수준으로 난이도가 올라가고 준킬러 문항의 난이도가 낮아졌다.
[13]
예를 들어 2024학년도 6월 모의평가는 12번, 13번이 14번보다 더 어려웠고 9월 모의평가 역시 13, 14번이 15번보다 훨씬 어려웠다. 심지어 학력평가의 경우 2023년 4월, 7월, 2024년 5월, 7월에는 11번부터 준킬러를 다량 투하하였다.
[14]
과거에는 2차원 충돌과 열역학이 계산량의 끝판왕을 자랑해 이 2~3개의 문제만으로도 상위권 변별이 가능했다. 그러나 2015 개정 교육과정이 적용된 이후 이러한 개념들이 몽땅 증발해 버려서(...) 변별을 할 소재가 없어지자 2021학년도 수능 이후부터 아예 2,3페이지부터 무게있게 출제하고 계산량을 늘리는 방법을 사용하고 있다. 단편적인 예시가 이
돌림힘 문항으로, 2021학년도 6월 평가원 모의평가부터 2022학년도 수능 이전까지의 5번의 평가원 시험과는 같은 데서 낸 문제가 맞나 싶을 정도로 스타일이 달라졌다.
[15]
발표 당시 대통령실은 9월 모평부터 시행하겠다는 의사를 보였다.
[16]
단순히 '어려운 문항'을 의미하는 것
[17]
2024학년도 대학수학능력시험
[18]
미분계수의 기하학적 의미, 미분 가능성과 연속성의 관계, 함수의 그래프 등 다수의 수학적 개념이 결합되어 문제해결 과정이 복잡함. 구간별로 정의된 함수(piecewise defined function)와 절댓값이 포함된 함수가 결합된 형태 등 일반적으로 공교육에서 다루는 수준보다 복잡한 형태의 함수를 다루고 있어, 주로
인문계열로 진학하는 나형 응시생의 수준을 고려할 때 문제해결의 어려움이 있을 수 있음
[19]
삼각함수, 사인법칙 및 함수의 극한이 결합된 형태의 문항으로 공교육에서 다루는 수준보다 다소 복잡한 형태의 함수를 다루고 있어 수험생의 심리적 부담을 유발할 수 있음. 또한 미적분 문항으로 출제되었으나, 일반적으로 대학에서 배우는 ‘테일러 정리’ 개념을 활용하여 해결할 수도 있음. 따라서 고등학교 수준 이상으로 심화학습을 한 학생은 출제자가 기대하는 풀이 방법 외 다른 방법으로도 문제를 해결할 수 있어, 학생별 유불리 및 과도한 심화학습과 선행학습을 유발할 수 있음
[20]
기하 문항으로 출제되었으나, 일반적으로 대학에서 배우는 ‘벡터의 외적’ 개념을 활용하여 해결할 수도 있음. 따라서 고등학교 수준 이상으로 심화학습을 한 학생은 출제자가 기대하는 풀이 방법 외 다른 방법으로도 문제를 해결할 수 있어, 학생별 유불리 및 과도한 심화학습과 선행학습을 유발할 수 있음
[21]
합성함수, 연속함수의 성질, 미분계수, 함수의 평균값 정리, 함수의 그래프 등 다수의 수학적 개념이 결합되어 문제해결 과정이 복잡함. 선택과목으로 미적분을 응시한 수험생은 해당 문항의 출제자가 기대하는 풀이 방법 외 미적분에서 학습한 ‘변곡점’의 개념과 성질을 활용하여 문제를 해결할 수 있어 다른 학생보다 유리할 수 있음
[22]
[math(f(3))]인 경우에 대하여 각각 2번씩의 풀이 과정이 필요한 등 문제해결 과정에서 경우를 나누는 상황이 과도하여 풀이에 상당한 시간이 요구되며, 수험생의 실수를 유발할 수 있음
[23]
함수의 증감과 극대·극소, 합성함수의 미분, 함수의 그래프 등 다수의 수학적 개념이 결합되어 문제해결 과정이 복잡함. 또한 지수함수와 삼각합수, 합성함수가 결합 된 형태의 문항으로 공교육에서 다루는 수준보다 다소 복잡한 형태의 함수를 다루고 있어 수험생의 심리적 부담을 유발할 수 있음
[24]
정답률을 낮추기 위해 일반적으로 ㄱ, ㄴ, ㄷ 중 옳은 것을 모두 찾는 객관식 유형의문제를 단답형 주관식 문항으로 제시하였으며, 이 과정에서 불필요하게 명제의 개념을 도입하여 수험생의 실수를 유발할 수 있음
[25]
다항함수의 도함수, 함수의 극대·극소, 함수의 그래프 등 3가지 이상의 수학적 개념이 결합되어 문제해결 과정이 복잡하고 상당히 고차원적인 접근방식을 요구하며, 일반적인 공교육 학습만으로 이러한 풀이 방법을 생각해내기에는 어려움이 있을 수 있음
[26]
등비수열 등 여러 가지 수열의 일반항 및 합, 등비급수 등 다수의 수학적 개념이 결합되어 문제해결 과정이 복잡하고 상당히 고차원적인 접근방식을 요구하며, 일반적인 공교육 학습만으로 이러한 풀이 방법을 생각해내기에는 어려움이 있을 수 있음
[27]
‘과학자에 대한 맹목적 신뢰는 지양하되 어느 정도의 신뢰는 필요하다’는 추상적이고 학생들이 이해하기에 다소 난해한 내용이며, 공교육에서 다루는 일반적인 수준보다 복잡한 문장구조로 되어 있음. 정답 도출을 위해 의미 파악이 가장 중요한 밑줄 친 부분을 포함한 문장이 길고, 이중부정문(without, not knowing)이 포함된 복잡한 문장구조를 사용함. \[지문 출처\] Merchants of Doubt(Naomi Oreskes and Erik M Conway, Bloomsbury Press, 2010, pp.273-27
[28]
문장 내 단서로 문제를 풀 수는 있으나, 문장 간의 연결이 논리적으로 치밀하지 않고 단절이 다소 있어 글의 논리적 관계 및 흐름을 파악하여 정답을 찾는 데 영향을 줌. 의미 및 논리적 흐름을 파악하는 것보다 단어 등 단서를 활용한 풀이법 등 ‘기술’을 활용할 경우, 더 쉽게 풀릴 수 있는 문항으로 보임. \[지문 출처\] Robot Ethics: The Ethical and Social Implications of Robotics(Patrick Lin, Keith Abney and George A. Bakey., The MIT Press, 2012, pp.20-21
[29]
‘시간 흐름에 대한 이해’라는 추상적인 개념과 ‘기후 변화’라는 일반적 소재를 동시에 활용하여 학생들이 구문을 해석하더라도 내용을 이해하기 어려울 수 있음. 지문이 전반적으로 공교육에서 다루는 일반적인 수준보다 어려운 어휘 및 복잡한 문장구조가 사용된 긴 문장으로 구성됨. \[지문 출처\] The Pivotal Generation: Why We Have a Moral Responsibility to SlowClimate Change Right Now (Henry Shue, Princeton UP, 2021, p.26
[30]
‘변호사 수임료 체계’라는 생소한 소재가 사용되어, 공교육에서 학습하는 일반적인 의미가 아닌 법률 분야에 적합한 의미로 어휘를 파악해야 글 전체의 내용을 이해할 수 있음. 문항을 풀기 위해 글의 논리적 흐름을 파악할 수 있는 단서들이 부족함. \[지문 출처\] Services Marketing: Integrating Customer Focus Across the Firm(Valarie A.Zeithaml 외 2명, MacGraw-Hill Education, 2018, p.468
[31]
글의 내용이 다소 추상적이며, 문항을 풀기 위해서는 “과학자와 예술가의 현실을 추구하는 방법 차이”에 대한 이해를 바탕으로, 예술가의 현실 추구 방법을 추론해야 함. 빈칸이 학생들이 어려워하는 관계절 구문 뒤에 있고, 빈칸을 포함한 문장 구성도 다소 복잡하여 체감 난도가 높은 문항임. \[지문 출처\] The Routledge companion to popular music analysis Expanding Apporaches(Ciro Scotto, Taylor & Francis, 2019, p.23)
[32]
“감각적 인식과 이성적 지식의 차이”라는 생소한 서양 철학의 추상적 개념과 내용을 이해하여야 빈칸 추론이 가능함. 빈칸을 포함한 문장이 공교육에서 다루는 일반적인 수준보다 어려운 문장구조로 구성되어있어 체감 난도가 높은 문항임. \[지문 출처\] How Photography Changed Philosophy(Daniel Rubinstein, Routledge, 2023, p.23
[33]
물체(구조물)의 평형조건에 대한 문항으로, 힘, 운동, 무게중심 및 돌림힘 등 다양한 요소를종합적으로 고려해야 하는 복잡한 상황을 제시하고 있음. 복잡한 추론과 계산을 요구하고 있어 풀이하는데 많은 시간이 소요됨
[34]
화학 평형(르 샤틀리에 원리)에 관한 문항으로, 다수의 변인(몰수, 부피, 온도)이 동시에 변하는 복잡한 상황을 제시하고 있음. 복잡한 추론과 계산을 요구하고 있어 풀이하는데 많은 시간이 소요됨
[35]
추상적인 개념(이중가닥 DNA의 복제 과정)의 이해를 바탕으로 다양한 경우를 조합해야만 정답을 추론할 수 있으므로 문제 풀이 시간이 상당히 많이 소요됨. 생명현상 관련 주요 개념이나 원리보다는 주어진 단서를 활용하여 빠른 시간(생명과학Ⅱ의 시험시간은 30분)에 논리적으로 추론하는 능력이 주로 요구되는 문항임
[36]
지구자기요소에 관한 내용 이해(지구자기력, 복각, 편각 등) 및 측정 원리에 수학 개념(공간벡터의 성질과 분해 등)을 더해 묻고 있으나, 실제 문제풀이를 위해서는 복각･편각 등 지구과학 학습내용의 성취 정도 보다는 벡터 관련 학습여부가 중요함. 즉, 문제의 형태는 지구과학 내용 요소이나 문제풀이에는 수학(벡터 성분 분해)학습 내용이 핵심인 문항임. 따라서, 벡터 합성, 분해 등 수학 학습 수준이 확보되지 않은 경우 매우 어렵다고 인식되었을 것이며, 이는 학생의 수학 교과의 선택과목 이수 여부에 영향을 받음