문제중심학습과 평가(채수진)(PBL에서 학생평가는 신뢰할 수 있는가?)에 대한 요약과 메모

PBL에서 학생평가는 신뢰할 수 있는가?

문제중심학습과 평가(채수진)

 

<책 머리에>

- 4년간의 시행경험을 토대로 볼 때, 문제중심학습 운영과정에서 부딪치는 가장 큰 어려움은 학생평가였다. 즉, 문제중심학습에서의 평가는 평가자의 주관이 개입됨으로서 신뢰롭지 못하며, 학습 과정에서 측정하고자 하는 능력을 충실하게 측정하는지 의심스럽다는 것이었다.

- 튜터 간의 관대함의 차이는 평가 결과에 많은 영향을 미치기 때문에 상대적으로 엄격한 튜터에 의해 평가된 학생은 다른 집단의 학생보다 낮은 점수를 받게 되어 채점의 공정성이 의심스럽다는 것이었다.

- 연구목적은 문제중심학습의 평가주체와 평가방법의 다양한 시도들에 대한 평가점수를 비교하여 평가의 타당성과 신뢰성을 검증하는데에 있었다.

 

I.서론

1.연구의 필요성 및 목적

- 정의: 문제줌심학습은 복잡한 실제 세계의 맥락 속에서 비구조화 된 문제를 제시하여 의미 있는 해결방법을 찾아내게 함으로써 교과 지식과 기술뿐만 아니라 문제해결전략을 동시에 가르치는 교육과정이며 교수전략이다.

- 구성주의 학습관에 의하면 학습이란 학습자의 인지구조의 계속적인 변화이며, 이 변화에는 단순한 양적변화뿐만 아니라 질적 변화도 포함된다. 경우에 따라서는 문제의 답을 가르치기보다는 문제를 해결하는 방법을 가르치는 것이 더욱 강조된다. 구성주의 입장에서 교수-학습의 목적은 전통적으로 중시되어 왔던 지식을 가르치고 배우는 것이 아니라, 개별 학습자가 좀 더 조직적이고 체계적인 인지구조를 가질 수 있도록 도와주고 격려하는 것이다.

어쩌면 학생들에게 가상의 직업이나 역사적인 인물의 입장이 되어보게 하고 그 상황에서의 윤리적 해결책을 모색하게 하는 것도 의미가 있을 수 있겠다.

 

문제 상황이 꼭 반드시 한 사람 내부에서 탄생하여, 그 내부에서 해결될 필요는 없다. 장래희망으로서의 직업을 선택하고 직업 간의 협업이 이루어지면 멋질 것이다. 해결책 모색을 위해 어떤 친구와 협업을 할지 고민하는 과정 속에서 문제해결력이 빛날 것이다.

 

도움을 청하는 능력도 하나의 능력이며, 실질적으로 정말 중요한 능력이다. 우리가 살아가는 현실이야 말로 정말로 다양한 분야들이 얽혀있는 곳이니까

장차 의사가 될 의과대학생들에게 요구되는 능력은 매우 다양하다. 예컨대, 실질적인 임상수기뿐만 아니라 여러 학과목에서 얻은 다양한 지식과 정보를 종합하고 응용할 수 있는 능력과 또한 다른 여러 분야의 사람들과 협동하여 문제를 해결하는 능력이 그것이다.

어쩌면 학생들에게 가상의 직업이나 역사적인 인물의 입장이 되어보게 하고 그 상황에서의 윤리적 해결책을 모색하게 하는 것도 의미가 있을 수 있겠다.

 

문제 상황이 꼭 반드시 한 사람 내부에서 탄생하여, 그 내부에서 해결될 필요는 없다. 장래희망으로서의 직업을 선택하고 직업 간의 협업이 이루어지면 멋질 것이다. 해결책 모색을 위해 어떤 친구와 협업을 할지 고민하는 과정 속에서 문제해결력이 빛날 것이다.

 

도움을 청하는 능력도 하나의 능력이며, 실질적으로 정말 중요한 능력이다. 우리가 살아가는 현실이야 말로 정말로 다양한 분야들이 얽혀있는 곳이니까

장차 의사가 될 의과대학생들에게 요구되는 능력은 매우 다양하다. 예컨대, 실질적인 임상수기뿐만 아니라 여러 학과목에서 얻은 다양한 지식과 정보를 종합하고 응용할 수 있는 능력과 또한 다른 여러 분야의 사람들과 협동하여 문제를 해결하는 능력이 그것이다.

어쩌면 학생들에게 가상의 직업이나 역사적인 인물의 입장이 되어보게 하고 그 상황에서의 윤리적 해결책을 모색하게 하는 것도 의미가 있을 수 있겠다.

 

문제 상황이 꼭 반드시 한 사람 내부에서 탄생하여, 그 내부에서 해결될 필요는 없다. 장래희망으로서의 직업을 선택하고 직업 간의 협업이 이루어지면 멋질 것이다. 해결책 모색을 위해 어떤 친구와 협업을 할지 고민하는 과정 속에서 문제해결력이 빛날 것이다.

 

도움을 청하는 능력도 하나의 능력이며, 실질적으로 정말 중요한 능력이다. 우리가 살아가는 현실이야 말로 정말로 다양한 분야들이 얽혀있는 곳이니까

장차 의사가 될 의과대학생들에게 요구되는 능력은 매우 다양하다. 예컨대, 실질적인 임상수기뿐만 아니라 여러 학과목에서 얻은 다양한 지식과 정보를 종합하고 응용할 수 있는 능력과 또한 다른 여러 분야의 사람들과 협동하여 문제를 해결하는 능력이 그것이다.

- 이러한 선다형 평가방식의 문제점을 극복하기 위한 하나의 대안으로 제시될 수 있는 것이 문제중심학습에서의 평가라고 말할 수 있따. 문제중심학습에서는 학생 개개인이 주어진 문제를 어떻게 인식하고 있으며 문제해결을 위하여 어떤 전략을 선택하는지 등을 평가한다. 또한 지식을 측정할 때에도 사실들 간의 관계, 원리, 절차, 신념 등을 종합적으로 사정해야 한다고 본다.

- 특히 문제중심학습이 제대로 활성화되지 못하는 여러 가지 이유 중에서 가장 큰 문제로 지적할 수 있는 것은 평가의 타당성과 신뢰성 문제이다.

따라서 문제중심학습의 성공 여부는 평가점수가 평가자의 주관적인 성향에 따라 부당하게 높거나 낮아지지 않고 시험에서 원래 측정하려고 의도했던 능력의 차이에 의해서만 결정될 수 있도록 타당하고 신뢰할 수 있느냐에 달렸다고 해도 과언이 아니다.

러닝매이트와 1차, 2차, 3차 정도에 걸친 문제해결을 하도록 하고 여기에 문제인식 – 후기 – 가치관 정립 – 개선결과 등의 요소를 넣어 각 회차를 하나의 모듈로 만들어 수행평가 영역으로 하면 어떤가?

 

성찰일기는 훌륭한 평가대상이 될 수 있다. 하지만 평가지표를 어떻게 구성할 것인가?

 

II.이론적 배경

1.문제중심학습의 개념

1)정의 및 특징

애당초 문제설정을 못하면 이후의 과제 진행 자체가 불가능하기에 교사가 도와주는 한이 있더라도 문제설정은 어떻게든 하게 만들고 다만 문제설정은 평가하지 않는 것이 좋을 것 같다.

 

문제설정을 비롯한 과제수행 매뉴얼을 만들고, 또 이를 설명하는 영상을 준비하여 균일하고 공정한 안내를 제공해야 할 것이다.

- Barrows와 Tamblyn(1980)은 문제중심학습을 ‘문제에 대한 이해나 해결책을 향한 활동의 과정으로 초래된 학습’으로 정의한다. 문제중심학습은 문제를 이해하거나 해결하려는 일련의 노력의 결과로 발생하는 학습으로서 학습자들은 학습과정의 처음부터 문제에 직면하고 이 때 학습과정에 제시되는 문제는 문제해결력이나 추론능력의 적용과 문제해결에 필요한 지식 습득을 위한 자극으로서의 역할을 한다. Schmidt(1994)는 문제중심학습은 ‘학생들이 튜터의 관리 하에 소집단으로 문제를 다루는 교수-학습 접근’이라고 정의한다. 대부분의 경우, 문제는 현실에서 관찰되는 일련의 현상이나 사건에 관한 기술로 구성되며 튜터리얼 집단은 이 현상이나 사건을 저변의 원리 또는 과정에 근거하여 ㅂ누석하고 해석해야 한다.

- Levin(2000)은 학습자가 실제 생활에서 접하는 문제에 대해서 내용지식, 비판적 사고, 문제해결력을 적용하도록 장려하는 교수방법이라고 정의한다. Eggen과 Kauchak(2001)은 문제중심학습은 문제해결력과 내용을 가르치고 자기주도적 학습을 위하여 설계된 교수전략이라고 정의하고 있다.

종래에 답습해 오던 해결방식을 효과적으로 비판했다면 가산점을 줄 수 있지 않나.

윤리학적 지식은 교과서를 중심으로 습득하고, 문제해결과 관련된 지식은 추가 문헌 연구를 통해 해결하는 방식을 채택하면 어떤가? 그렇다면 윤리학적 지식도 챙기고, 학생이 지향하는 진로전공과 관련된 전문적 지식도 습득할 수 있지 않을까?

문제중심학습의 목적: 정보수집 및 처리능력, 학습에의 동기 지속, 문제해결력 및 의사결정력, 자기주도 학습능력, 비판적 사고능력, 협동학습능력, 지식습득, 보유, 사용능력, 사회 환경에의 적응력, 실생활에의 전이력, 긍정적 학습태도, 메타인지

- 학생자신이 자기의 인식과정과 그 과정에서 나타난 결과를 총괄적으로 고찰할 수 있는 능력을 메타인지라고 한다.

- 문제중심학습에서 요구되는 능력이라는 것은 ‘새로운 상황에 직면했을 떄 단순한 암기나 과거에 자기가 행동했떤 방법을 넘어서서 독창적으로 문제를 해결하려고 하는 정신작용 즉, 새로운 상황이라는 다원적인 문제에 당면했을 때 이를 해결하기 위한 제반 정신적 작용’을 말한다.

어차피 문제설정은 평가하지 않기 때문에 맞춤형 활동을 하기 위해서는 학생에게 전부 위임할 수도 있고, 설정 못하고 헤매는 아이들을 막기 위해 다 정해줄 수도 있고, 분야 정도만 정해줄 수도 있다. 정치/사회/치안/경제/외교/국방/교육/복지

문제중심학습은 첫째, 학습자를 중심으로 둘째, 소집단 내에서 일어나며 셋째, 튜터는 촉진자 또는 안내자의 역할을 하고 넷째, 학습의 자극제로 문제가 사용되며 다섯째, 자기주도 학습이 강조된다는 특징을 가진다.

문제인식 – 해결방안 모색을 위한 러닝메이트 탐색 – 관련이론 탐구 – 윤리적 고민 – 결과물(계획안 사례탐구 및 발전 확장)

훌륭한 교수는 일반적인 다른 교수들보다 상대적으로 말을 많이 하지 않는다.

 

 

2)진행과정

- 문제중심학습은 공통적으로 ➀문제방견 및 정의단계, ➁정보탐색단계, ➂평가단계의 세 단계로 진행된다.

- (1)학습 환경 조성

- ➀자기소개

- ➁의사 진행원칙 합의

- ➂학생 의무 확인

- (2)첫 번째 만남

- 이때 튜터는 소집단 활동과 문제해결 정도를 평가한다. 말하자면, 토론에의 적극성이라든지, 진행에 도움이 되는 발언을 했는지, 다른 학생들의 이야기를 예의바르게 경청했는지 등을 평가한다. 그리고 문제해결 측면에서 튜터는 학생들이 문제를 다각적으로 분석하는지, 논리적으로 가설을 도출하는지를 함께 평가한다.

이것을 직접 평가하기엔 모둠이 너무 많지 않은가? 이러한 평가를 시행하기 위해서는 한 모둠씩 진행을 하거나, 보고서로 평가하는 방식을 고려해야 할 것이다.

➀사실 및 문제 도출

- ➁가설 설정 및 수정

- ➂학습 목표 제시

그렇다면 튜터는 1차 문제상황을 제시하고, 학습자들은 자율적으로 구체적인 목표를 설정하도록 하자.

(3)자율학습

- 학생 개개인은 자신이 맡은 학습과제에 대한 ‘전문가’로서 동료들에게 양질의 정보를 제공할 수 있또록 책임감 있는 자세로 자율학습에 임해야 한다. 학습목표가 문제중심학습의 목적에 부합하는지를 확인하고 학습자원을 충분히 활용하여 자신이 맡은 학습과제를 조사한다. 학습자원의 종류로는 교과서, 단행본, 지침서, 의학잡지, CD, 인터넷, 모형이나 표번, 비디오, 전문가, 선배 등이 될 수 있다. 학생들은 정보를 얻는 과정에서 도서관 이용법과 전자저널 찾는 법, 인터넷 활용법 등을 익힐 수 있다. 이때 튜터는 학생들의 자기주도 학습능력을 평가한다 여기서 자기주도 학습능력은 수업 중에 결정된 학습과제를 충실하게 CUG에 게시했는지, 다양한 정보를 수집하고 활용했는지, CUG에서 활발한 토론을 하는지 등을 의미한다.

교사가 포함된 카카오 단톡방에서 토론을 하도록(하지만, 실질적으로는 네이버 카페를 사용해야 할 것 같다.)

(4)2~3번째 만남

- ➀학습과제 발표 및 학습자원의 비평

- ➁토의

 

2.문제중심학습에서의 평가

- 현재, 널리 사용되고 있는 수행평가 방법들 중에서 문제중심학습의 문제해결과정에 적합한 방법으로는 포트폴리오, 실제적 문제해결을 요구하는 주관적 지필검사, 튜터에 의한 관찰, 성찰일기 등이 알려져 있다.

- 문제중심핛브에서 중요한 것은 학습 문제를 발견하고 그 문제를 해결하기 위해서 시도하는 다양한 학습활동을 통한 학습자들의 학습능력 향상 및 발전 가능성이다. 또한 습득한 학습 능력을 통해 실제 세계에서 직면하게 되는 문제에 얼마나 유연하게 대처할 수 있을 것인가에 관련한 적용 능력의 향상 가능이다. 따라서 문제중심학습에서는 전통적 지필형식의 평가방법과는 다른 다양한 평가방법이 요구되는 것이다.

- 문제중심학습에서는 대부분 튜터가 학생들을 관찰하고 평가하는 튜터평가가 이루어지지만 수업의 주체가 학생이므로 학습자 스스로 하는 자기평가도 중요하게 취급되며 아울러 학생들끼리 평가하는 동료평가 또한 강조된다. 문제중심학습에서는 튜터에 의해서 일방적으로 이루어지는 평가는 바람직하지 못한 것으로 간주된다.

1)평가의 특징

- 넓은 의미에서 수행평가란 ‘교사가 학생이 학습과제를 수행하는 과정이나 그 결과를 보고, 그 학생의 지식이나 기능이나 태도 등에 대해 전문적으로 판단하는 평가 방식’을 말한다. 학생 자신의 지식이나 기능이나 태도 등을 드러내기 위해 말하거나, 듣거나, 읽거나, 쓰거나, 그리거나, 만들거나, 더 나아가 그것을 계획하고 준비하는 과정까지 포함하는 모든 활동을 평가하는 것이다.

- 첫째, 문제중심학습에서 학생들은 자기 자신이ㅡ 수행을 ‘채점준거’에 의해서 평가받는다. 채점준거는 학생의 산출물이나 행위 가운데 무엇을 평가할 것인지를 결정하고 예시하는 것이다. 즉 준거는 평가자에게 판단의 근거를 제공하다. 문제중심학습에서 미리 구체화된 채점준거는 학생들에게 공개된ㄷ. 전통적인 선택형 검사에서는 검사 문항이 학생들에게 미리 공개되어서는 곤란하다. 그러나 문제중심학습에서는 수업과 평가가 직접적으로 연결되고, 자신들에게 평가자가 무엇을 요구하고 바라는지를 미리 알아야만 적절한 수행을 할 수 있기 때문에 평가의 준거가 학생들에게 미리 공개되는 것이다. 문제중심학습에서 미리 공개되는 평가의 준거는 수업에서 학생들이 학습할 때 ‘방향성’의 역할을 할 뿐 수업내용을 직접적으로 다루지 않는 경우가 많다.

- 문제중심학습에서 학습목표는 수업 전에 미리 설정되어 있거나 튜터가 결정해주는 것이 아니라 소집단 나름대로 구성원간의 합의를 통하여 학생 스스로 결정하며, 평가자는 학생들이 합의하여 설정한 학습목표에 비추어 학습목표를 달성하였는지 또는 달성하지 못하였는지를 평가하면 된다.

- 문제중심학습에서 평가는 학생의 학습행동을 개선할 목적으로 평가 점수를 학업성적에 포함하지 않는 경우가 있따. 학습 활동 현장에서 학생들에게 학습목표를 설정하도록 하고 그 목표가 달성되면 칭찬하여 자신가믈 갖게 하며, 학습의 방향에 잘못이 있으면 이를 고치도록 권장하는 것도 문제중심학습 평가의 특징이다.

- 둘째, 문제중심학습은 구성주의 지식관에 토대를 두고 있기 때문에 평가 또한 지식의 맥락성이 강조된다. 문제중심학습에서 지식이 다루어지는 학습과정은 ‘문제 상황’으로부터 출발한다. 상황 맥락적인 문제 상황은 학습자가 상황을 어떻게 받아들이느냐에 따라 다르게 해결할 수 있으며 만일, 문제의 상황이 달라지면 그 해결 방식도 달라져야 한다. 그러므로 하나의 정답보다는 여러 개의 답이 가능하고 오히려 다양하고 창의적인 문제해결방법을 부추긴다. 정답이란 상황과 맥락에 따라 다를 수 있다. 문제중심학습에서는 정답과 오답이 있는 것이 아니라 서로 다른 의견이 있을 뿐이다. 따라서 객관적인 하나의 정답을 기억하는 것보다 상황과 맥락에 따라 적절한 답을 생산할 수 있는 능력이 더 중요하게 된다.

하지만 원리는 같겠지. - 즉 하나의 원리에서부터 다양한 해겨책이 나온다고 봐야겠지.

현대사회가 포함하고 있는 어떤 부분에 주목하고 있고, 그러한 특수한 상황적 요소를 이용하여 어떤 해결책을 도출할지를 보아야

문제중심학습 평가는 명제적 지식을 구체적 상황에 적용할 수 있는지에 관심을 둔다.

- 셋째, 문제중심학습에서 평가는 단순한 사실적 지식을 기계적으로 암기하여 재생하는 능력보다는 학생들의 창의성이나 문제해결력 등 고등정신능력을 평가한다.

- 넷째, 문제중심학습에서 평가는 단편적인 영역에 대해 일회적으로 평가하기 보다는 학생 개개인의 학습 변화를 종합적으로 평가하기 위해서 전체적이면서도 지속적으로 평가한다. 문제중심학습에서 평가는 교수-학습의 결과 뿐만 아니라 교수-학습의 과정도 함께 중시한다. 문제중심학습에서 평가는 수업과정의 마지막에 이루어지는 수업결과에 대한 활동이 아니라 수업의 전 과정에서 지속적으로 이루어지는 학습과정에 대한 활동이다.

결국 카페에 게시물별로 조별 프로젝트를 진행하도록 하고, 댓글로 그 발전 추이를 관찰할 수밖에 없을 것 같다.

 

2)평가유형

- (1)과정지향평가

- ➀튜터평가: 체크리스트, 평정척도, 일화기록법, 비디오 녹화

- ➁자기평가: 성찰일기

- ➂동료평가

- ➃우회측정: 도서관 이용률, 도서나 저널 대출률, 문헌검색 횟수

- ➄삼 단계 시험(구조화된 구두평가)

- (2)결과지향평가

- ➀개념도: 마인드맵

사상가들에 대한 정보와 개념들을 기재하고 각 요소들 사이의 흐름과 위계를 얼마나 잘 이해하고 있는가를 묻는 개념도를 생각해 볼 수 있지만 이것이 교과의 목표달성에 얼마나 의미가 있겠는가?

➁선다형 객관식 시험

- ➂변형 논술 문제

- ➃컴퓨터 임상 모의 시험

- ➄객관구조화진료시험

- ➅점진적 검사

 

3.문제중심학습 평가의 쟁점

- 첫째, 문제중심학습의 평가는 한 사람의 평가자의 관점을 통해서는 적절한 평가가 이루어지지 않는다고 보고 평가자의 다양화가 강조된다. 문제중심학습 수업에서 학생들의 다양한 관점이 허용되는 것과 마찬가지로 문제중심학습의 평가에서도 다양한 관점이 허용되어야 한다.

- 둘째, 문제중심학습의 평가는 다양한 평가 관점과 목적을 포함하고 있는 다양한 평가방법을 강조한다. 학생들이 진정으로 학습하고 있는 것을 평가하기 위해서 새로운 대안적인 평가방법이 요구되는 것이다.

 

그러고보면 윤리과에서 사용되는 윤리적 문제상황의 예시가 너무 후졌다는 지적은 참으로 부정하기 힘들고, 그래서 더욱 뼈아픈 것이다. 동서양 사상가들의 위대한 고민을 접하면서 그들에게 제시하는 문제가 고작 휴지줍기라든지, 지갑을 찾아준다든지 하는 아주 케케묵은 이야기들 뿐인 것이다. 특히 칸트/공리주의의 구조가 되었을 때 의무주의와 결과주의의 상이함을 드러내기 위해서라지만 정말이지 예시가 너무나도 후진 것이다.

1)평가방법에 대한 타당성 문제

- 수행평가로 행해지는 문제중심학습의 평가가 학생들이 단지 알고 있는 지식을 측정하는 것이 아니라 실제 상황에서 수행하는 것을 직접적으로 평가해야 한다는 인식에서 출발하는 것은 단순히 정보를 습득한다는 것이 아니라 그것을 해석하고 또한 이미 알고 있는 다른 지식에 그것을 관련짓는 것이다. 지식의 획득은 지식이 실제로 활용되는 상황과 같은 맥락에서 실제적인 과제에 의해 평가되어야 하며 평가는 학습이 일어나는 실제적인 상황과 분리될 수 없다. 결과로서의 지식이나 행동이 아니라 지식의 활용 및 발견과 인지전략과 같은 고등정신이 주요한 평가의 대상이 되어야 하며, 평가는 학습이 일어나는 맥락을 고려하지 않으면 안된다. 따라서 평가는 한 가지 이상의 해결안을 가지고 문제에 접근해야 하며 실제적인 적용 또는 개념들에 보다 많은 역점을 두어야 한다. 그러므로 학습에 대한 평가는 복합적이고도 도전적이며 보다 고차적인 사고기능과 문제해결과정을 학습자들로부터 요구해야 하며 학습자가 현실에서 직면하게 되는 다양한 실제적인 과제를 통하여 인지적 요구를 드러낼 수 있어야 한다. 이와 같이 다양한 능력을 평가하기 위해 한 가지 이상의 평가 방법을 동원할 때 타당성 활보 문제가 제시된다. 즉, 문제중심학습에서의 평가는 실제 진행과정에서 신뢰도를 어느 정도 희생하더라도 타당성 확보에 주력하는 것이 바람직하다는 것이다.

- 선다형 문항들이 사실적 지식과 잘 구조화된 비맥락적인 문제의 해결에 중심을 두는데 비하여 수행평가는 문제해결력, 비판적 사고력과 추론 등 고등정신능력을 더 중요시하는 장점이 있다고 수행평가 옹호자들은 말한다. 그러나 겉으로 보기에 복잡하고 고등정신능력을 요구하는 과제라고 하더라도 학생들이 그 과제를 수행함에 있어서 실제로 그러한 인지과정을 사용한다고 믿을 수는 없는 것이다. 경우에 따라서는 단순 기억에 의해 얼마든지 수행할 수 있기 때문이다. 따라서 수행평가가 어떤 사고과정이나 기능을 측정하는지에 대한 증거를 제시해야 한다.

특히 도덕과에서는 도덕적 지정행이 그러하다.

 

2)평가결과에 대한 일관성 문제

- <평가주체별 점수의 일관성 문제점 비교>

평가주체	문제점
튜터	- 평가자의 편견에 치우칠 우려가 있다. - 학생들의 원망을 들을까봐서 엄격하게 평가하기를 주저한다. - 평가기준의 차이에 의해 평가자간 신뢰도가 낮을 수 있다.
학생자신	- 자신의 수행을 과대평가 하는 경향이 있다. - 겸양효과로 인해 자신을 낮게 평가할 수도 있다.
동료	- 형성평가로 사용될 경우 건성으로 적당하게 평가할 수 있다. - 총괄평가로 사용될 경우 학생들끼리 담합할 가능성이 있다. - 우정으로 인해 실제능력보다 후한 점수를 부여할 수 있다.

- 동료평가는 객관적이지 못하다고 생각합니다. 평가의 기준이 너무 주관적인 것 같아요. 점수를 매기는 것보다 차라리 개개인에 대해서 코멘트를 해주는 형식으로 바뀌는 것이 더 나을 것 같아요.

- 개념도를 개인평가가 아닌 한 조에서 하나씩 그리는 집단평가로 해줬으면 좋겠어요.

- 조별간 튜터평가의 점수 차이가 크다는 것은 학생평가의 신뢰도에 문제가 될 수 있는 것이다. 이러한 문제는 조별 간 튜터평가 평균점수와 표준편차의 차이를 고려한 표준점수(T점수)를 활용하여 조별 간 튜터평가 점수의 차이에서 나타나는 문제를 해결할 수 있다.

- T점수는 조별 간 튜터의 차이에 따른 점수차를 등수에 따라 다시 산정한 점수로 비교가 불가능한 원점수의 한계를 극복하기 위해서 사용될 수 있다. 평균에 해당하는 점수를 받은 학생의 T점수는 항상 50점이고 표준편차는 10이 된다. 튜터평가의 원점수와 표준점수로 변환된 T점수 간의 차이를 학생들이 석차를 통해서 튜터 평가 간 점수의 차이를 어떻게 극복할 수 있는가를 보고자 하였다.

- 평균 40점, 표준편차는 10점으로 맞춘 T점수에 의해서 환산된 점수는 조별 간 튜터 점수의 차이에서 오는 문제를 해결해 줄 수 있다는 것을 입증하였다. 이러한 표준점수는 어디까지나 상대적 서열 정보만을 알려준다는 것을 명심해야 한다. 따라서 T점수는 학생들의 성적을 매기기 위해서 유용하게 사용될 수 있다.

- 결론적으로, 튜터가 부여한 원점수로는 조별 간 학생들의 등수를 비교하거나 직접적으로 성적에 반영하는 것은 불가능하다. 연구결과에서 알 수 있듯이, 이러한 튜터평가의 한계는 표준점수를 사용하여 극복할 수 있다.

하지만 오히려 낮은 수준의 그룹에 속해 이득을 보거나, 높은 수준의 그룹에 속해 이득을 보는 학생이 발생하지 않을까? 즉 우연성의 영향을 배제하지 못하지 않나? - 아니다 이 노력이 교정하고자 하는 것은 평가자의 관대함을 평균내는 것이다.