[CTL Teaching Tips #19] AI시대 대학수업 과제와 평가의 설계를 위한 제안
- 교육개발센터
- 조회수545
- 2023-05-26
교육개발센터-20230526
<출처 표기방법> 이상은, 김예진, 구민영(2023). AI시대 대학수업 과제와 평가의 설계를 위한 제안(CTL Teaching Tips #19). 서울: 성균관대학교 교육개발센터.
한학기의 시작을 맞이하던 때가 훌쩍 지나, 어느덧 학기를 마무리하는 기말고사 기간이 다가오고 있습니다. 매 학기 필수적으로 거치는 기말고사이지만, 어떻게 하면 공정하고 정확하게 학생들의 한학기 학습성과를 평가할지를 고심하실 것입니다. 특히 올 상반기 뜨거운 논란의 중심이었던 챗GPT는 학습을 공정하게 평가하는 방식에 대해 더욱 고민하게 만드는 것 같습니다. 이번 티칭팁은 챗GPT 등 생성 AI를 활용하는 시대에 대학 수업의 과제와 평가를 어떻게 설계할지를 제안하고자 합니다.
*본 티칭팁은 The University of British Columbia (UBC) Centre for Teaching, Learning and Technology 의 'Suggestions of assignment and assessment design' 를 주로 참조하였습니다.
URL : https://ctlt.ubc.ca/resources/assessment-design-in-an-era-of-generative-ai/suggestions-for-assignment-and-assessment-design/
1. 생성AI 글쓰기 도구를 덜 사용하도록 하는 과제의 설계
챗GPT는 유사성이 높은 데이터들을 학습하여 새로운 데이터를 만들어내는 생성 AI(Generative AI)에 해당합니다. 이러한 생성 AI는 사용자가 질문을 하면 그럴 듯한 답변을 제공할 수 있습니다. 학생들은 에세이, 보고서 작성 시 챗GPT 등 생성 AI에게 과제를 대신 하도록 시킬 수 있는데, 이를 줄일 수 있도록 하는 3가지의 과제 설계 방법 - 수업 중에 과제의 일부를 하기, 비텍스트 요소를 포함하여 과제하기, 개인적이고 상황적인 질문에 답하는 과제로 설계하기-를 소개합니다.
가. 수업 중에 과제의 일부를 수행하기
수업 중 과제를 수행할 경우, 교수님께서 학생들의 과제 수행 과정을 면밀히 살펴보실 수 있고, AI를 이용한 글쓰기 활동을 줄일 수 있습니다. 수업 중에 학생들은 과제의 진행에 대해 성찰하거나, 그룹을 만들어 개별과제의 어려움을 해결하기 위한 활동을 함께 할 수도 있습니다. 소규모 수업이라면, 학생이 작성 중인 글에 대하여 직접 설명하고, 교수님이나 다른 학생들의 피드백을 받도록 함으로써 자신의 생각을 발전시키도록 할 수 있습니다 . 이러한 방법은 학생들이 학습윤리를 지키면서 비판적인 사고와 글쓰기 능력을 개발하는데 도움이 될 것입니다 .
과제 일부를 수업 중에 하는 또 다른 대표적인 방법은 학생이 글쓰기 과제를 위해 개요를 작성하거나 초안을 짜고, 학생들끼리 협력하도록 만드는 것입니다. UBC의 철학입문 수업을 진행한 Christina Hendricks 교수는 학생들이 서로의 에세이 개요를 공유하고 피드백을 나누도록 하였습니다. 학생들이 서로의 글쓰기 과정을 검토하고 피드백을 제공하는 것은 비판적 사고 능력을 향상시킬 수 있으며, 피드백 수용에 익숙해지고 적극적으로 수업에 참여하는 효과도 얻을 수 있습니다. 또한 수업에서 작성된 에세이 초안이 최종 제출물과 유사점을 지니고 있는지를 확인하여, 학생의 AI 사용 여부를 검토할 수 있습니다. 학생의 AI 사용이 의심될 경우, 과제의 내용을 설명하도록 하거나, 글을 다시 써 보게 하면 교수님께서 부정행위에 대한 판단을 내리실 때에 도움이 될 것입니다.
출처: https://tlhub.stanford.edu/docs/teaching-in-the-ai-era/
나. 비텍스트 요소를 포함하여 과제하기
대부분의 AI는 텍스트에 기반하여 답변을 제공하고 있습니다. 학생들에게 이미지, 다이어그램, 비디오 등 비텍스트 자료에 대하여 에세이를 작성하도록 하면 글쓰기 과제 수행 시 AI 사용을 방지할 수 있습니다. 만일 학생이 AI를 이용하려고 하더라도, 프롬프트를 제시하려면 이미지, 영상 등의 미디어를 자세히 기술해야 하므로 미디어를 감상할 수밖에 없습니다. 또한 AI는 해당 미디어에서 나타나는 세부사항을 일일이 짚어낼 수 없기 때문에, 글쓰기 주제와 개요를 학생이 깊게 고민하도록 유도할 수 있습니다.
마인드맵, 인포그래픽, 비디오를 제작하도록 하는 등 작문 이외의 과제를 수행하도록 만드는 방법도 있습니다. 발표 과제 역시 이러한 방법 중 하나입니다. 학생들이 AI를 이용하여 발표문을 작성하거나 발표 내용의 일부를 만들 수는 있을 지라도, 발표 후의 질의응답에 원활히 답변하기 위해서는 사전에 발표 내용을 숙지하고 관련 자료를 충분히 이해해야 하기 때문입니다.
출처:https://criticalai.org/2023/01/17/critical-ai-adapting-college-writing-for-the-age-of-large-language-models-such-as-chatgpt-some-next-steps-for-educators/
다. 개인적이고 상황적인 질문에 답하는 과제로 설계하기
작문 과제에서 AI를 사용하는 것을 방지하는 마지막 방법은 학생 개인의 이야기나 AI가 알기 어려운 특정한 상황과 관한 글을 작성하도록 하는 것입니다. 구체적으로, 학생 개인의 경험이나 견해를 포함해 글을 쓰도록 하는 방법이 있습니다. 대부분의 AI는 개인적 관점을 포함하여 답변을 생성하지 않습니다. 설령 개인적 관점이 담긴 글을 AI가 작성하더라도, 개인의 경험이 담긴 글을 쓰도록 과제를 하는 것은 학생이 삶을 성찰하고 스스로 글을 쓰도록 동기를 부여할 수 있습니다.
또 다른 구체적인 방법으로, 수업 중이나, 토론 게시판에서 논의한 사항에 대한 글을 작성하도록 할 수도 있습니다. 예를 들어, '5주차 강의노트의 질문과 관련하여 관점 중 하나를 택해 글을 작성하세요' 라는 식으로 작문 과제를 제시할 수 있습니다. UBC의 Sarika Bose 교수는 온라인 토론의 응답과 함께 수업 중 할당된 특정 학술 논문에 대한 글을 작성하는 최종 시험으로 학생 수행을 평가하였습니다. 학생들이 제출하는 최종 결과물에 기존에 동료들로부터 받았던 피드백을 반영하였음을 증명하도록 하였습니다. 동료들에게서 받은 피드백 중 채택한 것은 무엇인지, 해당 피드백으로 인해 어떤 변화가 있었는지에 대해 글을 쓰도록 한 것입니다. 기말 시험은 짧은 객관식과 긴 에세이 두 가지로 구성하였는데, 수업 중 할당된 최소 1개 이상의 학술 논문 아이디어를 포함하여 문제에 답변하도록 하였습니다.
출처:https://telblog.unic.ac.cy/two-simple-things-to-change-in-your-assignments-to-make-it-harder-for-ai-writers-specific-prompts-and-personal-experience-prompts/
2. 과제에 AI를 활용하도록 설계하기
앞서 언급한 3가지 방법을 통해 챗GPT 등 생성 AI의 사용을 줄임으로써 공정한 평가가 되도록 할 수도 있지만, AI 시대에 효율적으로 과제를 설계하고 평가하는 방법은 AI를 사용하는 것입니다. 학생들이 AI를 실제로 사용해봄으로써 인공지능에 대해 이해하고 강점과 약점을 파악해 앞으로 생산적으로 사용하게 하는 것이 올바른 교수법일 수 있습니다.
가. 실천방안
AI를 적용하는 첫번째 방법은 학생들이 AI가 생성한 텍스트를 분석하고 비판하도록 하는 것입니다. 예를 들어, AI가 생성한 텍스트에서 더 보충해야할 부분을 찾도록 하거나, 요약본이 원본을 잘 담아냈는지 확인하도록 하고, 인용 자료의 신뢰성을 검토하도록 하는 등의 과제를 제시할 수 있습니다. 또한, AI가 생성한 응답에 대해 교수님, 동료학생들과 토론을 통해 서로의 의견을 공유하면서 학문적 논의를 심화할 수 있는 기회를 가질 수 있습니다.
나. 사례
UBC에서 교육공학기초 과목을 가르치는 Jennifer Jenson 교수는 학생들에게 AI와 기계학습에 대한 몇가지 질문을 하고 그 답변을 동일한 질문에 대한 챗GPT의 답변과 비교하도록 했습니다. 학생들이 질문에 답을 준비할 수 있도록 참고할 수 있는 자료를 먼저 제공했습니다. 학생들은 영상자료 및 문서자료를 통해 해당 영역의 정보를 찾고 탐색합니다. 이후 자신이 이해한 만큼을 꼼꼼한 글쓰기 방식으로 아래 5가지 질문에 응답하도록 했습니다. 1~4번 문항 응답을 학생 본인의 글과 챗GPT 응답의 요약을 함께 제시하도록 했습니다.
1. (학생 본인의 글로) 자료 속 사람들은 누구였으며, 각각 인공지능의 발전에 어떻게 기여했습니까? 각각은 지능이 어떻게 식별될 수 있다고 했습니까? (50단어 내외) / (AI를 활용해) ChatGPT에게 똑같은 질문을 하고 응답을 50단어로 요약해보십시오. 차트를 만드는 등의 추가적인 표현 방식도 허용합니다.
2. 기계언어는 인간의 언어와 어떻게 다릅니까? (100단어 내외)
3. 기계의 지능은 인간의 지능과 어떻게 다릅니까? (100단어 내외)
4. 머신러닝은 인간의 학습과 어떻게 다릅니까? (100단어 내외)
5. 위 문항을 작성하면서 학생 본인의 답변과 기계가 생성할 수 있는 응답이 어떤 차이가 있었습니까? (200단어 내외)
이러한 사례와 같이 내 답변과 AI의 답변을 비교하도록 하면 직접 쓴 글과 AI의 응답이 다르다는 것을 증명해야 하기에 표절 의혹을 줄일 수 있습니다. 또한, 비판적 사고 능력을 기를 뿐만 아니라 과제 내용에 대해 더 깊이 있게 이해할 것입니다. 나아가, 인공지능의 강점과 약점을 잘 파악할 수 있을 것입니다.
3. 과제를 제시할 때, AI를 활용하는 방법을 함께 제안하기
학생들이 생성 AI를 통해 과제나 시험을 작성하는 것에 대해 걱정이 있으시다면, 오히려 AI 활용 방법을 먼저 제안해주시는 것이 대안일 수 있습니다. 아이디어 생성, 브레인 스토밍과 초기 연구에 AI를 활용하는 것을 권장하되, 이 범위를 넘어 AI에 의존한 과제를 제출하면 평가기준에서 몇 퍼센트 감점을 할 것인지 제시해주신다면, 학생들이 더욱 경각심을 가질 것입니다. 나아가, AI 생성 결과물의 캡처본을 제출하고, 그 결과물을 바탕으로 본인은 어떻게 수정했는지를 설명하도록 한다면 AI 활용 후 스스로 개선하도록 유도할 수 있습니다. 또한, 학생들과 평가 방식에 대해 이야기를 나누며 질의응답을 받아, 학생들의 의견을 수렴한 평가 기준을 세워보실 수도 있을 것입니다.
가. 아이디어 구상
브레인스토밍을 할 때, 학생들은 AI를 사용하여 연구 주제에 대한 초기 아이디어를 생성하고 이를 바탕으로 스스로 수정하며 발전시킬 수 있습니다. 광범위한 주제를 좁혀서 구체적인 사항으로 이동하는 데 도움을 줄 수 있습니다.
나. 초기 연구
학생들은 Bing AI, perplexity.ai 등의 AI 도구를 사용하여 연구 주제를 입력해 관련된 자료나 탐구를 시작하도록 돕는 주요 단어를 얻을 수 있습니다. 주제에 대한 개요를 파악하고 개념과 키워드를 통해 기초 연구를 수행할 수 있습니다.
다. 문법 및 글쓰기 측면의 개선
챗GPT와 같은 도구를 통해 일반적인 문법 오류를 발견하거나 어조를 수정할 수 있습니다.
*참고 자료 : https://www.scribbr.com/ai-tools/chatgpt-assignments/
AI 시대 수업과제의 설계와 제시, 그리고 평가방식
지난 티칭팁에서 챗GPT의 도입에 따른 수업 티칭 전략을 다루었습니다. 이번 티칭팁에서는 AI 시대 효과적인 과제 설계와 평가 방식에 집중하여 몇 가지 사례를 알아보았습니다. 먼저, 수업 중에 과제를 수행하도록 하고, 비텍스트 요소를 포함하여 평가를 하며, 개인적이고 상황적인 질문에 답하는 과제를 주어AI 사용을 방지하도록 설계하는 것을 알아보았습니다. 또한, 생성 AI 결과물을 분석하고 비판하게 하거나, 초기 아이디어 생성에 도움을 받게 하는 등AI를 과제에 활용하는 방법까지 살펴보았습니다. 이를 참고하시어 공정한 과제 및 기말평가의 설계에 반영하셔도 좋을 것 같습니다. 또한, 학생들과 생성 AI 활용 및 과제와 평가방식에 대해 논의하고 서로 이해하고 동의하는 방안을 도출하는 것도 중요할 것입니다.
< 참고자료 >
- Suggestions for assignment and assessment design https://ctlt.ubc.ca/resources/assessment-design-in-an-era-of-generative-ai/suggestions-for-assignment-and-assessment-design/
- Teaching in the AI Era https://tlhub.stanford.edu/docs/teaching-in-the-ai-era/
- Critical AI: Adapting College Writing for the Age of Large Language Models Such As ChatGPT https://criticalai.org/2023/01/17/critical-ai-adapting-college-writing-for-the-age-of-large-language-models-such-as-chatgpt-some-next-steps-for-educators/
- Make Your Assignments Harder For AI Writers: Add Specific Prompts And Personal Experience Prompts https://telblog.unic.ac.cy/two-simple-things-to-change-in-your-assignments-to-make-it-harder-for-ai-writers-specific-prompts-and-personal-experience-prompts/
- Using ChatGPT for Assignments | Tips & Examples https://www.scribbr.com/ai-tools/chatgpt-assignments