J.Kre - Kreano, Jurnal Matematika Kreatif-Inovatif - Vol. 15 Issue. 2 (2024)

The Role and Evaluation of ChatGPT as a Virtual Tutor in Improving Students' Creative and Critical Abilities Reviewed from Probing-Prompting Abilities

Syahrul Zein, Poppy Yaniawati, Achmad Mudrikah,

Abstract

This study reveals the potential of ChatGPT in supporting students' mathematics learning. However, the study's results also show challenges in utilising ChatGPT, such as inconsistent answer quality and potential student dependence on technology. This indicates the need for a more holistic approach to integrating ChatGPT into the learning process. This study aimed to analyse ChatGPT's ability to answer quantitative knowledge and mathematical reasoning questions, assess students' prompting abilities with ChatGPT, evaluate the use of ChatGPT, and measure the extent to which students' mathematical, creative and critical abilities have increased. This study uses an Embedded Design type of Mixed Method approach. The population in this study were all high school students who took the Tridaya Tutoring Program 2024/2025. The sampling technique used was purposive sampling, and the sample selected was all 20 students from class XII of Tridaya Tutoring High School. The research instruments used were written tests, namely multiple-choice questions and documentation studies of screenshots of ChatGPT answer results. The study results showed that the t value for measuring creative and critical abilities was 6.691 and 7.151. It was found that there was a significant difference between the test scores obtained before and after the treatment. This shows that the instructions given to students can improve their test scores. ChatGPT can help students in learning as a virtual tutor. However, it should also be noted that not all questions can be answered. Some even have different answers. This makes students dissatisfied with the results obtained. This is where students are trained in critical thinking why this can happen. In addition, the student's prompting technique for ChatGPT is also considered. There is a need for creativity in prompting so students can further explore the answers from ChatGPT. Although they can answer any question, guidance from the teacher and independent verification are needed regarding the answers given by ChatGPT so that the desired answer is by expectations.
Penelitian ini mengungkap potensi ChatGPT dalam mendukung pembelajaran matematika siswa. Namun, hasil penelitian juga menunjukkan tantangan dalam memanfaatkan ChatGPT, seperti kualitas jawaban yang tidak konsisten dan potensi ketergantungan siswa pada teknologi. Hal ini menunjukkan perlunya pendekatan yang lebih holistik untuk mengintegrasikan ChatGPT ke dalam proses pembelajaran. Penelitian ini bertujuan untuk menganalisis kemampuan ChatGPT dalam menjawab pertanyaan pengetahuan kuantitatif dan penalaran matematika, menilai kemampuan prompting siswa dengan ChatGPT, mengevaluasi penggunaan ChatGPT, dan mengukur sejauh mana kemampuan matematika, kreatif, dan kritis siswa meningkat. Penelitian ini menggunakan pendekatan Mixed Method tipe Embedded Design. Populasi dalam penelitian ini adalah seluruh siswa SMA yang mengikuti Program Bimbingan Belajar Tridaya 2024/2025. Teknik pengambilan sampel yang digunakan adalah purposive sampling, dan sampel yang dipilih adalah seluruh siswa kelas XII SMA Bimbingan Belajar Tridaya yang berjumlah 20 orang. Instrumen penelitian yang digunakan adalah tes tertulis, yaitu soal pilihan ganda dan studi dokumentasi berupa tangkapan layar hasil jawaban ChatGPT. Hasil penelitian menunjukkan bahwa nilai t untuk mengukur kemampuan kreatif dan kritis adalah 6,691 dan 7,151. Ditemukan bahwa terdapat perbedaan yang signifikan antara nilai tes yang diperoleh sebelum dan sesudah perlakuan. Hal ini menunjukkan bahwa petunjuk yang diberikan kepada siswa dapat meningkatkan nilai tes mereka. ChatGPT dapat membantu siswa dalam belajar sebagai tutor virtual. Namun, perlu diperhatikan juga bahwa tidak semua soal dapat dijawab. Bahkan ada yang jawabannya berbeda-beda. Hal ini membuat siswa tidak puas dengan hasil yang diperoleh. Di sinilah siswa dilatih untuk berpikir kritis tentang mengapa hal tersebut dapat terjadi. Selain itu, teknik prompting siswa untuk ChatGPT juga diperhatikan. Perlu adanya kreativitas dalam prompting agar siswa dapat lebih mengeksplorasi jawaban dari ChatGPT. Meskipun dapat menjawab soal apa saja, diperlukan arahan dari guru dan verifikasi mandiri terkait jawaban yang diberikan ChatGPT agar jawaban yang diinginkan sesuai dengan harapan.