23 수능 국어 상위 5%에 도달한 인공지능
안녕하세요, 오르비 여러분.
오픈소스 한국어 문서 기반 질의응답 AI 시스템을 탐구하는 프로젝트 팀 NomaDamas입니다.
23 수능 국어에서 상위 5%를 인공지능으로 달성하여 뉴스 기사가 나왔습니다!
수험생시절 오르비에서 도움을 많이 받았던 기억이 나
혹시 저희 프로젝트가 수험생 여러분들께 조금이나마 도움이 될까 싶어 공유합니다!
세 줄 요약
- 기존 3등급(86점, 상위 22%)이던 GPT-4의 수능 국어 성적을, 프롬프트 엔지니어링으로 2등급(94점, 상위 5%)로 향상시켰습니다.
- 문제 유형에 특화된 프롬프트를 사용하면 1등급(96점, 상위4%)까지 달성할 수 있습니다.
- 사용한 프롬프트 전문과 소스코드, 수능 국어 데이터셋을 오픈소스로 공개했습니다.
1. 프롬프트 엔지니어링?
긴 글을 시작하기에 앞서, 많은 분들의 이해를 돕기 위해 저희가 사용한 프롬프트 엔지니어링에 대한 간단히 설명 드리겠습니다.
프롬프트 엔지니어링은 대화형 인공지능 (예: Chat-GPT)에 들어가는 입력 프롬프트를 신중하게 작성하고 개선하여, 원하는 고품질의 응답을 생성하는 과정입니다.
간단히, 어떻게 인공지능에 ‘잘’ 질문 하는지 연구하는 것입니다.
‘수험공부를 하면서 얻은 나름의 노하우들을 프롬프트에 적용하면, 인공지능의 수능 점수가 어디까지 올라갈까?’ 라는 의문이 들었고, 프롬프트 엔지니어링을 통해 적용해 보았습니다.
2. 사용한 프롬프트
어떤 프롬프트를 사용했는지 궁금하시죠?
핵심부터 말씀 드리자면, 지문 속에서 정답과 관련이 있는 문장을 찾도록 한 것입니다.
수험생 시절에 지문에서 ‘1+1=3’ 이라고 한다면 그냥 받아들이고 풀겠다는 마음가짐으로
지문 속에서 근거를 찾는 연습을 하며 기출 문제 분석을 많이 했었는데요,
그 경험을 프롬프트에 반영해 보았습니다.
그 결과 인공지능의 점수가 8점 상승하여 94점이 되었습니다.
지문에서 근거를 찾는 능력의 중요성을 다시 한번 느낄 수 있었고, 수험생분들에게도 공유하고 싶었습니다.
[실제 사용 프롬프트]
위의 프롬프트는 <보기> 가 없는 경우에 사용한 프롬프트 입니다.
저희는 <보기>가 있는 경우와, 없는 경우를 구분하여 프롬프트를 사용하였습니다.
본문이 너무 길어질 것 같아 <보기>가 있을 때 프롬프트는 더 궁금하신 분들이 참고하실 수 있도록
자세한 설명이 있는 링크를 함께 달아두겠습니다 :)
3. 빈출 유형 대응 프롬프트
위의 프롬프트로는 13번, 15번, 40번 문제를 제외하고 모두 풀 수 있었습니다.
GPT-4가 ‘동음이의어’, ‘다의어’ 관련 문제를 못 푸는 것을 확인했습니다.
이에 수험생들이 기출문제로 문제 해결의 방향을 잡는 것처럼,
인공지능에게도 문제를 푸는 방법을 알려주는 13번 문제 맞춤 프롬프트를 제작하기로 했습니다.
[실제 사용한 13번 전용 프롬프트]
(프롬프트에 사용된 표현이 정확한 표현인지는 잘 모르겠습니다..)
제가 이 문제를 실제 시험장에서 만났다면 다음 프롬프트와 같이 행동했을 것이라고 생각하고 작성해보았는데요,
저의 수험생활경험으로 만들어진, 13번 유형의 문제들만 해결할 수 있는 맞춤형 프롬프트 입니다.
오직 ‘지문 속 근거가 된 문장’만으로는 인공지능이 해결하기 어렵다고 판단하여 맞춤형 프롬프트를 제작하였고,
그리하여 13번 문제까지 정답을 맞춰 96점, 1등급에 도달할 수 있었습니다.
하지만 이 프롬프트는 같은 유형의 문제가 나왔을 때에만 재사용 가능한 프롬프트라는 점에 있어서,
완벽한 1등급에는 도달하지 못했습니다.
오지랖일지는 모르겠지만,,,
그래도 인공지능처럼 많은 수험생분들이 시험장에서 만나게 될 다양한 예상 문제들에 대해 나름의 ‘행동 매뉴얼’을 만들어 시험장에 들어가시면,
훨씬 빠르고 정확하게 문제를 해결할 수 있다는 것을 증명한 사례라고 생각하여 가져와 보았습니다 :)
4. 실제 예시
- 17번 문제 (오답률 84.9%)
5. 오답 풀이
23 수능 국어(화법과 작문)에서 15번(비문학)과 40번(화법과 작문) 문제를 GPT-4가 풀지 못했습니다.
왜 오답을 뱉어냈는지 나름대로 설명 해보는 섹션입니다.
- 15번
- 15번 문제의 핵심은 지문으로부터 '100^0.75'와 '1^0.75'를 유도해 무엇이 더 큰지를 구해야 합니다. 이는 GPT-4의 수학 능력 부족으로 두 숫자 중 더 큰 수 찾기를 힘들어 합니다.
- 또한, 지문만 보고 해당 식을 유도하는 것 조차도 힘들어 합니다. 수학적 수식을 이해하고 그것을 선택지에 응용하는 능력이 떨어지기 때문입니다.
- 비슷한 문제로, 문제의 19년도 수능 31번 문제도 '만유인력 공식'을 이해하고 활용해야 풀 수 있는데, 해당 문제 역시 GPT-4는 못 풀었습니다.
- 40번
- 40번에서는 학생 1과 학생 3 '모두' 상대의 발화 내용을 잘못 이해했는지 파악하는 것이 핵심입니다.
- 실제로 해당 부분에서 학생 1은 상대의 발화 내용을 잘못 이해하고 있으나, 학생 3은 그렇지 않습니다.
- 그래서 3번 선지를 정답으로 골랐어야 했지만,
GPT-4는 학생 1이 상대의 발화를 잘못 이해했다고 잘 파악하였으나,
학생 3은 상대의 발화 내용을 이해하고 있다고 파악하여 오답을 고르게 되었습니다. - 비교적 수험생분들에게는 익숙할 수 있는 평가원의 함정 입니다만, 아직 평가원의 함정을 수월하게 빠져나가지 못하는 인공지능입니다
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
-
아수라일지라도 2
승리t 아수라일지라도는 언제 나오나요?
-
사탐 해야하는데 2
선거구 도표 마스터 해야하는데 국어 수학만 파고있네.... 근데 못해서 눈물나
-
전형적으로 과학 잘하는 애들 9명중에 7명이 무난하게 1등급 먹고 그중에 어디...
-
간만에 큐브 마스터 하려니까 확통을 못풀겠네ㅋㅋㅋㅋㅋ
-
내 기분이랑 상관 없이 항상 겉으론 일관된 행동, 말투 굳이 내 생각이나 기분같은거...
-
어떤 순간에도 너를찾을수읶게
-
너까지 가면 망해
-
님들 모바일에서는 교재구매 안됌? 컴퓨터에서는 결제 된거같았는데 모바일에서는 결제...
-
고등학교에서 장학금 20
받아보신 분? 아무래도 학교 시험 성적 기반으로 주는 지라 (모고 성적으로도 주는...
-
심찬우 현강 0
이번주도 내신휴강인가요????
-
러셀 위클리 문제점 11
1. 강사마다 난이도 편차가 너무 심함 2. 수학 선택은 왜 냈다 말았다 하는거...
-
공부가 끝났어요 8
저도 대학이 가고싶어요 저도 연고전 가고싶어요 저도 뱃지달고싶어요
-
아시발 2
다때려쳐 나안해 ㅅㅂ
-
문제에 차교론 뒤르켐 낙인 중 하나라고 줬는데 머튼이라고 생각하고 문제풀어서 틀렸네 하..
-
아빠한테 말했는데 안 들어주네
-
나쁜거라고 생각해요
-
예 이유는 없고요 그냥 달아봐요 심심하네
-
작년 러셀 위클리 국어를 보시면…
-
에필로그 1
심찬우쌤 독서커리만 타고 있는데 에필로그 다 사야할까요? 문학이랑 섞여있는 것...
-
스카에서 공부하다가 잠시 인스타켜서 애들 놀러간스토리보면 공부하기 싫어지고 급...
-
확실히 집에서 하니까 잘안되네요.. 낼부터 스카에서 하겠습니다 글구 이제 수학 진도...
-
댓글에 몇 학년도(2023년 기출=2024학년도 기출)몇 월 문제인지 써주시면 매일...
-
궁금함.. 혹시 학원측에서 막 혼내거나 그럴려나
-
재수생 같은 반수생이고,, 고려대에서 메디컬 목표 반수 하고 있습니다. 작수는...
-
난 티 안낸다 생각했는데 아니었나봄 친구가 나한테 이유 모를 거리감이 느껴진대
-
여러분들도 잘 마무리 하셨길 바라요 ㅎㅅㅎ 더위 조심하시구요 !!
-
지금 독서실에... 제가 느끼기에 빌런이 너무 많아요 ㅠ 계속 한숨소리 내시거나...
-
인문계 전교 몇등임 8학군 말고 일반적인 보통의 일반고에서요
-
ㅈㄱㄴ ㅈㄱㄴ ㅈㄱㄴ
-
あなたが好き! 2
あゝ私の恋は南の風に乗って走るわ
-
동아리 나왔네 21
오늘 하루 고생한 나에게 해피타임을 줘야지..
-
그니까 문제 틀리는 건 오히려 배운거임 아무튼 그럼
-
리트 본시험이 약 2주일 앞으로 다가왔는데, 앞으로 일주일 간 4개의 지문을 풀고...
-
하니랑 통화중임~~~ 11
햄볶해
-
정석민 문상추 1
인강 꼭 있어야하는 강의인가요? 그냥 n제처럼 쓰면 안되는건가욥??
-
안될 거 있나 싶긴 한데 또 좀 뭔가 음 그래
-
어쨌든 그렇게 더럽고 지엽적인 문제도 1등급을 받는 사람들이 있다는 거잖음 그런...
-
공부안하다보니까 독서에서 이상한데서틀리고 독서는 한 지문 제대로 못읽음.. 공부 진짜잘해야겠네요
-
~
-
1등급 1명 2등급 1명이라 내신 개빡셀 듯 한데 여름방학 커리 어떻게 짜면 좋을까요 도와주세요ㅠㅠ
-
나랑 스껄할래? 7
나랑 수능볼래? 나랑 수시원서 접수할래? 나랑 휴학하고 반수할래? 나랑 현강 같이 다닐래?
-
내가의대에가겠다
-
❤ 4
-
진짜 뉴스대로 단체 휴학ing 이라 계속 학교수업 못듣고 그냥 지내시는건가요 그럼?!?!
-
히히 똥 발싸 2
히히
-
특히 얘가 졸귀임
-
작년에 강민철 독서 문학 풀커리를 타고 백분위 90 받은 재수생입니다. 올해 독서...
-
공부하다가 모르는거 물어보면 ㄹㅇ 친절하게 대답해줌 영어도 끝까지 물고늘어졌는데...
-
구해서 풀어볼까
우와… 너무 신기해요…
휴 ai 이겼다
이건 제작자가 천재다