Mendeteksi Teks AI dengan Hanya Melihatnya

Abstrak Makalah Penelitian yang ditulis menggunakan ChatGPT

ChatGPT sering kali menghasilkan kata-kata yang mungkin membutuhkan kamus untuk memahaminya, atau menghasilkan kata-kata yang terdengar ajaib. Hal ini tidak hanya terjadi pada ChatGPT, model bahasa sumber terbuka lainnya seperti Mistral juga melakukan hal yang sama. Tidak ada salahnya mencari bantuan dari AI untuk membuat konten, selama itu dilakukan secara etis, tetapi dalam sebuah kompetisi penulisan sains untuk anak usia 14-16 tahun, seorang juri merasa curiga saat melihat frasa "labirin labirin" dalam sebuah esai, yang tampaknya terlalu canggih untuk tulisan remaja. Jadi, dia menggunakan alat bantu AI untuk memeriksanya. Sayangnya, keempat alat tersebut memberikan hasil yang sama, hampir seluruh esai, sekitar 90-96%, tampaknya ditulis oleh AI, bukan manusia. Namun, tidak semua dari kita adalah profesional, Jika kita melihat kalimat di atas, kita mungkin telah melewatkannya karena kesadaran kita yang terbatas.

Diperlukan keterampilan berpikir kritis untuk mengidentifikasi apakah AI adalah penulisnya

Cara termudah untuk mengenali teks yang dihasilkan AI adalah dengan memeriksa kata-kata yang biasanya tidak Anda gunakan tetapi umum digunakan oleh ChatGPT. Pertimbangkan sebuah korpus besar berisi lebih dari 19 miliar kata dalam bahasa Inggris dari blog, artikel, berita, dan banyak lagi, yang diperbarui setiap hari dari tahun 2010 hingga sekarang. Saya mencari kata "delve" menggunakan algoritme pencarian string, dan kata ini muncul sebanyak 52.388 kali. Saya memplot pola tahunannya dan mengidentifikasi perilaku yang tidak biasa, yaitu pertumbuhan ~200% dalam kemunculannya di internet sejak tahun 2022, tahun yang sama ketika ChatGPT dirilis pada tanggal 30 November.

Tren kemunculan kata Delve di Korpus SEKARANG (oleh Fareed Khan)

Kata-kata lain, seperti "seluk-beluk" atau "tak tergoyahkan", juga menunjukkan peningkatan yang serupa, seperti halnya "menyelidiki". Kata-kata ini lebih sering digunakan akhir-akhir ini.

Tren kerumitan dan keteguhan dalam NOW Corpus (oleh Fareed Khan)

Pilihan kosakata ini belum tentu merupakan sesuatu yang secara eksklusif digunakan oleh AI, karena manusia juga menggunakan beragam kata. Meskipun, dalam penulisan akademis, kita sering menggunakan frasa seperti "jelajahi" atau "diskusikan secara lebih rinci" alih-alih "selami". Saya meminta ChatGPT untuk mengulang kata "bahas secara lebih rinci...", lima saran awal yang diberikannya biasanya mencakup frasa ini.

Mengulang menggunakan ChatGPT

Selain itu, saya mencoba menganalisis basis data arXiv, sebuah platform penerbitan makalah terkenal yang berisi lebih dari 2 juta makalah hingga tahun 2023. Saya mencoba mendeteksi kata "delve" dalam abstrak makalah dan memetakan pola tahunannya. Saya kagum melihat bahwa kata ini telah banyak digunakan dalam abstrak makalah pada tahun 2023, kata yang sama yang disarankan oleh ChatGPT dalam 5 saran teratasnya.

Tren kemunculan kata Delve dalam Basis Data arXiv (oleh Fareed Khan)

Hal ini mengindikasikan bahwa penulis akademis mungkin menggunakan ChatGPT, baik untuk menyusun ulang atau membuat konten. Kehadiran kata "delve" berfungsi sebagai petunjuk atau keraguan bahwa dokumen yang dikirimkan dari siswa atau blog online, baik paragraf atau bagian teks tersebut, telah disusun ulang atau disempurnakan menggunakan ChatGPT.

Dengan memanfaatkan keahlian penelitian saya dan dua tahun pengalaman bekerja dengan LLM, saya telah menyusun daftar 100 kata yang cukup lengkap yang dapat Anda perhatikan dalam sebuah teks untuk membantu Anda mengetahui apakah teks tersebut dibuat atau diparafrasekan menggunakan AI.

Namun, memeriksa jumlah kata sebanyak itu bukanlah pekerjaan yang mudah, jadi untuk mencapainya dengan cepat, saya membuat aplikasi web yang dapat memeriksa teks Anda dengan cepat. Cukup unggah file Anda atau tempelkan teks Anda, dan aplikasi ini akan melakukan sisanya. Mudah sekali!

Jika Anda penasaran, Anda dapat menemukan daftar lengkap kata-kata AI yang umum digunakan dan kode sumber untuk aplikasi web saya di repositori GitHub. Ini tautannya:

GitHub

Semoga Anda menikmati bacaannya!