Metopen Kuantitatif - Usulan Novelty Artikel Pertemuan 12

fqs November 22, 2025 #PFIS258005 #kuliah

Nama: Firman Qashdus Sabil
NIM: 250321830676

Geser untuk melihat kolom yang di kanan

Judul & _Link_ Review Tujuan Metode Variabel Instrumen/ Data Penelitian Hasil Gap
Post-Hoc Tests in One-Way ANOVA: The Case for Normal Distribution Atika Nur Fadhilah Membandingkan tingkat kesalahan Tipe-I (α) dari 10 uji post-hoc pada satu-way ANOVA di empat kondisi (homoscedastic/heteroscedastic × balanced/unbalanced) dan berbagai ukuran sampel. Metode: Monte-Carlo simulation: 28 dataset, tiap kondisi 10.000 resamples. Dimanipulasi: varians antar-grup dan keseimbangan ukuran grup; ukuran sampel N = {30,90,150,300,750,1500,3000}. Analisis: one-way ANOVA diikuti 10 post-hoc tests (7 untuk equal variances, 3 untuk unequal variances). Pengolahan di R / SPSS.

  • Independen (dimanipulasi dalam simulasi): kondisi varians (homoscedastic/heteroscedastic), keseimbangan ukuran grup (balanced/unbalanced), ukuran sampel total N.

  • Terikat: Type-I error rate (persentase penolakan H0 saat H0 benar).

 R (Rcmdr), IBM SPSS untuk perhitungan ANOVA dan uji-uji post-hoc. Implementasi algoritma simulasi Monte-Carlo. Tidak ada satu uji post-hoc tunggal yang konsisten paling akurat di semua kondisi; beberapa uji (Bonferroni, Šidák, Tamhane’s T2, Dunnett’s T3, Games-Howell dll.) tampil lebih baik pada kondisi tertentu. Variasi besar tergantung kondisi (terutama heteroscedastic/unbalanced). Rekomendasi: pilih post-hoc sesuai kondisi data, bukan asumsi tunggal.

  • Bagaimana pedoman pemilihan post-hoc dapat diotomasi/diintegrasi dalam pipeline analitik pendidikan (mis. toolkit R/GUI) sehingga peneliti pendidikan memilih uji yang sesuai secara otomatis?

  • Evaluasi perilaku post-hoc pada data non-normal praktis (bukan simulasi normal) dan untuk desain eksperimen pendidikan.
Working together or alone, near, or far: Social connections and communities of practice in in-person and remote physics laboratories Aurelia Apriliyani Menelaah pembentukan koneksi sosial dan komunitas praktik di laboratorium fisika tatap muka vs. remote selama pandemi, dan hubungan koneksi sosial dengan physics laboratory self-efficacy. Quasi-experimental, nonequivalent group design; survei kuantitatif pada mahasiswa laboratorium pengantar (N ≈ 697). Analisis: factor analysis (untuk subskala), ANOVA untuk perbandingan mean, korelasi (termasuk partial correlations).

  • Independen: jenis lingkungan lab (in-person vs remote), tingkat koneksi sosial (student-student, student-instructor).

  • Terikat: physics laboratory self-efficacy; ukuran engagement sosial (subfaktor dari survei).

 Survei yang dirancang penulis: item untuk student-student social learning perspectives, student-instructor perspectives, dan self-efficacy. Faktor diekstraksi via factor analysis; data demografis dan konteks lab dikumpulkan.

  • Remote students melaporkan level engagement sosial lebih lemah dibanding in-person.

  • Remote students yang terhubung dengan sesama remote students menunjukkan engagement lebih tinggi, tetapi self-efficacy mereka tetap lebih rendah dibandingkan in-person peers. Interaksi instruktur paling berkorelasi dengan pembentukan self-efficacy.

  • Intervensi konkret yang efektif membangun komunitas praktik remote (design eksperimen/intervensi).

  • Dampak jangka panjang (persistence / karir) dari decreased self-efficacy akibat remote lab.

  • Peran AI/alat generatif untuk mediasi hubungan sosial atau feedback yang membangun self-efficacy (kaitan ke editorial AI).
How do physics students evaluate artificial intelligence responses on comprehension questions? A study on the perceived scientific accuracy and linguistic quality of ChatGPT Firman Qashdus Sabil Menilai bagaimana mahasiswa fisika menilai kualitas linguistik dan akurasi ilmiah jawaban ChatGPT pada tiga soal mekanika berjenjang. Juga menguji pengaruh self-estimated expertise terhadap penilaian. Survei eksperimental: N = 102 mahasiswa tahun 1–2. Setiap pertanyaan (3 tingkat kesulitan) disajikan 4 jawaban (3 dari ChatGPT, 1 sample solution yang disamarkan sebagai ChatGPT). Responden menilai kualitas linguistik dan akurasi ilmiah, serta self-rated expected performance. Analisis statistik pada perbedaan rating dan pengaruh self-assessed knowledge. Instrumen online (LimeSurvey).

  • Independen: tipe jawaban (ChatGPT vs sample solution yang dimasking), tingkat soal (mudah→sulit), self-estimated expertise.

  • Terikat: rating scientific accuracy (skor), rating linguistic quality, self-assessed exam points.

 Kuesioner online (LimeSurvey) termasuk: demografi, sikap terhadap AI, tiga set soal + empat alternatif jawaban, skala Likert untuk penilaian. Lampiran instrumen tersedia dalam Appendix.

  • Semua respons ChatGPT yang diuji mengandung kesalahan/imprecision; namun student ratings untuk linguistic quality tidak jauh berbeda antara ChatGPT dan sample solution.

  • Untuk scientific accuracy, sample solution dinilai lebih baik pada soal mudah/menengah; pada soal paling sulit (yang kebanyakan siswa tidak tahu) ChatGPT dinilai setara.

  • Self-assessed knowledge memoderasi kemampuan menilai akurasi. → Risiko illusion of understanding.

  • Uji intervensi (mis. spot-the-bot training) untuk meningkatkan kemampuan evaluasi kritis siswa terhadap jawaban AI.

  • Pengaruh kegiatan kolaboratif (PBL) yang menggabungkan analisis jawaban AI pada prestasi belajar dan pemikiran kritis.
The Impact of Problem‑Based Learning on Students’ Achievement in Mechanical Waves in Secondary Schools Fikrul Menguji pengaruh Problem-Based Learning (PBL) terhadap prestasi siswa pada topik gelombang mekanik di sekolah menengah atas (Southwestern Uganda). Kuasi-eksperimental menggunakan Solomon four-group design (mengatasi sensitization dari pre-test). Sampel: 419 siswa dari 19 sekolah; randomisasi sekolah ke experimental (PBL) vs control (Traditional Instructional Methods, TIM). Durasi intervensi ≈ 3.5 bulan. Analisis: repeated-measures ANOVA, ANCOVA, post-hoc Bonferroni, Wilks’ lambda untuk multivariate.

  • Independen: metode pengajaran (PBL vs TIM).

  • Terikat: skor pada Mechanical Wave Conceptual Survey (MWCS) pre/post.

  • Kontrol/analisis tambahan: gender, usia, subject combination, status/ownership sekolah.

 Mechanical Wave Conceptual Survey (MWCS) (Tongchai et al., 2008) — dipakai sebagai pre/post test; reliabilitas Cronbach’s α ≈ 0.707 pada pilot. Observasi kelas dan pelatihan guru untuk PBL. PBL meningkatkan pencapaian siswa pada gelombang dibanding TIM (efek besar, learning gains tinggi). Hasil signifikan pada analisis post-test; faktor-faktor seperti gender, usia, subject combination tidak menunjukkan pengaruh signifikan.

  • Investigasi mengapa PBL efektif (proses kognitif/metakognitif) melalui analisis kualitatif/observasi mikro.

  • Gabungkan PBL dengan kegiatan-kegiatan yang melatih evaluasi kritis terhadap jawaban AI.
Permutation Tests Are a Useful Alternative Approach for Statistical Hypothesis Testing in Small Sample Sizes Mellly Yuni Anjani Mengevaluasi kinerja permutation tests sebagai alternatif non-parametrik untuk uji tradisional (t-test, ANOVA, log-rank, dsb.) pada kasus small sample (preclinical animal studies), fokus pada Type-I error, power, dan runtime. Aplikasi permutation test pada empat masalah analisis umum (two-sample, k-sample, contingency table, time-to-event) menggunakan real-world datasets + simulasi power dari distribusi normal, log-normal, eksponensial; perangkat: R (coin package), MCMC approximations bila perlu; juga simulasi power untuk n = 5 dan n = 10 per grup.

  • Situasi analisis (two-sample, k-sample, contingency, survival).

  • Outcome terikat: p-value, runtime, simulated statistical power, Type-I error rate.

 R (coin package) untuk permutation tests; R default packages untuk metode klasik; simulasi Monte-Carlo. Permutation tests umumnya menghasilkan p-value dan power yang sebanding dengan uji klasik; unggul terutama ketika asumsi distribusi dilanggar; runtime praktis (cepat) pada kasus yang diuji. Untuk time-to-event, log-rank masih menunjukkan advantage. Rekomendasi hati-hati: permutation tests berguna, terutama untuk small samples dan bila asumsi distribusi tidak dapat dicek.

  • Integrasi permutation tests ke pipeline analisis eksperimen pendidikan (ketika sample kecil atau distribusi meragukan).

  • Rekomendasi praktis untuk peneliti pendidikan: kapan harus pakai permutation vs parametric, dan bagaimana melaporkannya.

Berdasarkan lima artikel di atas, terdapat tema menarik berkaitan dengan: metode pembelajaran (PBL), interaksi sosial/komunitas praktik (remote vs in-person), kemampuan siswa mengevaluasi respons AI, serta isu metodologis statistik (pemilihan post-hoc / penggunaan permutation tests (lihat Artikel 3 untuk instrumen penilaian jawaban AI; Artikel 4 untuk desain pengajaran PBL; Artikel 2 untuk pentingnya komunitas sosial; Artikel 1 dan 5 untuk pedoman analisis statistik).

Usulan Judul:

Pengaruh Spot-the-Bot Berbasis Problem-Based Learning terhadap Kemampuan Evaluasi Kritis Jawaban AI dan pemahaman konsep Gelombang Mekanik

The Effect of Spot-the-Bot Based on Problem-Based Learning on the Critical Evaluation Ability of AI Answers and Conceptual Understanding of the Mechanical Wave

Metode

Quasi-eksperimental dengan Solomon four-group design (menghindari efek sensitization pre-test seperti pada Kanyesigye). Alokasi kelas ke 4 grup:

sampel

Treatment

Variabel yang diukur

  1. Pemahaman konsep gelombang mekanik dengan skor MWCS (Mechanical Wave Conceptual Survey) pre & post.
  2. Kemampuan evaluasi kritis jawaban AI yang diukur dengan skala/rubrik
  3. Kontrol: self-estimated content knowledge, demografi (gender, usia, subject combination).

Scholar Indonesia Scholar Inggris