우리 오르비 Fait팀은 Fait의 추정치에 대해 막연히 퍼져있는 편견, 가령 Fait은 지나치게 낙관적으로 추정치를 제시하는 경향이 있다거나 연세대 경영학과에 대한 추정은 믿을 수 없다는 것과 같은 편견이 설득력이 있는지를 통계학적으로 판단해 보고자, Fait의 합격 가능성 추정치의 타당성을 검증해 보기로 하였습니다.

그 방법으로서, 오르비 Fait 팀은, 전년도 Fait 보고서에서 어떤 학과에 대해 합격률 80%가 표시되었을 때 실제로 합격이 가능했는지, 그렇다면 75%가 표시되었을 때나 70%가 표시되었을 때는 어떠했는지를 Fait이 추정 대상으로 삼은 270개 학과에 대해 일일이 조사하였습니다.

합격률 80%로 표시되는 지점에서 시작해, 5%p 간격으로, 20%로 표시되는 지점까지 실제 합격률을 조사하였습니다.

그 결과, 합격률이 80%로 예측된 지점에서 실제로 합격할 확률은 86%였으며,

합격률이 70%로 예측된 지점에서 실제로 합격할 확률은 75%였고,

합격률이 60%로 예측된 지점에서 실제로 합격할 확률은 59%,

합격률이 50%로 예측된 지점에서 실제로 합격할 확률은 46%,

합격률이 40%로 예측된 지점에서 실제로 합격할 확률은 33% 등이었습니다.

대학별로 예상 합격률과 실제 합격률을 비교하면 다음과 같았습니다.

전년도의 경우 연세대 인문계가 가장 정교하게 예측되었으며, 서울대 인문계와 서강대 인문계는 다소 보수적으로 예측되었습니다. 반면 성균관대 자연계는 지나치게 낙관적으로 예측되었습니다.

이러한 예측 성과는 Fait 13 보고서 제작 과정에 피드백되어 예측 정확도를 높이기 위해 활용됩니다.

즉, 전년도에 지나치게 보수적으로 예측된 서울대 인문계 혹은 서강대 인문계는 상대적으로 더 과감한 예측이 이루어지도록 보정이 되고,

반대로 전년도에 지나치게 낙관적으로 예측된 성균관대 자연계의 경우 올해는 상대적으로 더 보수적인 예측이 이루어지도록 보정이 되어,

결과적으로는 연세대 인문계와 같이 정교하게 예측이 되는 방향으로 정확도를 올려갈 것입니다.

한편 재작년 Fait 11 의 예측 성과는 http://orbi.kr/0001417893 상에서 다운로드 받을 수 있는 보고서의 36~43페이지에 정리되어 있습니다. 해당 보고서를 살펴 보면 그 해(2011학년도) 고려대 자연계는 지나치게 보수적으로 예측이 되었는데, 그 점이 피드백되어 작년(2012학년도) 고려대 자연계는 예측의 정확도와 변별도가 훨씬 개선된 점을 확인할 수 있습니다.

한편 각 대학의 학과별, 예상합격률 지점별로 실제 합불 여부를 정리해 보면 다음과 같습니다.

이것은 전년도 입시에 대한 정리이며, 전년도에 보수적으로 예측되거나 낙관적으로 예측되어 정확도가 떨어졌던 대학 혹은 계열은 올해 그 점이 보정되었으므로, 이러한 편향이 올해 Fait 13 보고서에도 그대로 방치되었을 것이라 판단하셔서는 곤란합니다.

가령, 전년도 Fait 상품에서 서울대 인문계 학과들에 대한 합격 가능성이 보수적으로 측정되어 추정 합격률이 60%만 되어도 전체 학과에서 합격 가능했었는데, 그렇다고 해서 그것이 올해 Fait 13 서울대 인문계 판에서 60%의 합격 가능성이 표시된 점수가 100% 합격 가능하다는 뜻은 아닙니다. 전년도의 보수적인 편향은 올해에 보정되었으므로, 서울대 인문계 판에서 60%의 합격 가능성이 표시된 점수에서 합격 가능할 확률은 60%(가 되는 것을 목표로 하고 추정되었다고 해야 할 것)입니다.