Menambah Pengetahuan Bisa Memperburuk Kondisi Langka vs Lazim
Selama ini saya pegang asumsi yang kedengarannya masuk akal: kalau retrieval medcoder (asisten AI pengusul kode diagnosis ICD-10 dan tindakan ICD-9-CM dari catatan SOAP, jalan offline di server sendiri) diberi lebih banyak pengetahuan yang sudah dikurasi, hasilnya pasti membaik atau paling apes stagnan. Eksperimen terakhir membongkar asumsi itu, dan pola kegagalannya justru mengajarkan sesuatu yang lebih berguna daripada kalau eksperimennya sukses mulus.
757 Entri yang Sudah Divalidasi, Bukan Asal Comot
Percobaannya sederhana: menambah 757 entri kamus istilah ke basis pengetahuan retrieval. Ini bukan data mentah yang belum diperiksa — tiap entri sudah dikurasi dan divalidasi lebih dulu sebelum masuk. Ekspektasi saya, menambah cakupan istilah yang sudah bersih begini seharusnya cuma memperkuat sistem, paling buruk netral.
Hasil evaluasi berikutnya bikin saya kaget: salah satu kategori kasus malah turun 8,8 poin akurasi. Bukan angka kecil yang bisa dianggap noise pengukuran — ini penurunan yang cukup besar untuk data yang niatnya menambah kualitas, bukan mengurangi.
Ditelusuri Lebih Dalam: Bedanya Ada di Langka vs Lazim
Karena angka gabungan itu tidak cukup menjelaskan apa yang salah, saya pecah lagi berdasarkan jenis penambahan datanya, khususnya soal contoh (few-shot) yang disertakan untuk membantu model mengenali pola:
- Menambah contoh few-shot khusus untuk kondisi yang langka/jarang terjadi di praktik nyata → akurasi turun 1,6 poin.
- Menambah contoh few-shot untuk kondisi yang lazim/sering terjadi → akurasi justru naik, dan tidak ada satu pun metrik lain yang ikut turun sebagai efek samping.
Begitu dipisah seperti ini, polanya langsung kelihatan jelas. Bukan soal seberapa banyak pengetahuan yang ditambahkan, tapi soal seberapa relevan pengetahuan itu dengan apa yang benar-benar sering muncul di data riil.
Kenapa Data untuk Kasus Langka Justru Merugikan
Penjelasan yang paling masuk akal buat saya: retrieval bekerja dengan menyodorkan kandidat-kandidat mirip ke model berdasarkan kemiripan dengan catatan SOAP yang sedang dikode. Begitu kandidat untuk kondisi langka ikut nimbrung di ruang pencarian itu, mereka jadi semacam kebisingan pilihan — jarang benar-benar relevan untuk kasus yang sedang diproses, tapi tetap berpotensi menyita perhatian model dan menggeser keputusan menjauh dari pola yang sebenarnya jauh lebih sering benar.
Sebaliknya, data tambahan untuk kondisi yang memang lazim langsung memperkuat sinyal yang paling sering dibutuhkan sistem. Model lebih sering ketemu pola-pola itu saat pengodean berlangsung, jadi menambah contoh di area ini seperti mempertajam sesuatu yang sudah relevan, bukan menambah pilihan baru yang bersaing memperebutkan perhatian.
Godaan yang Perlu Diwaspadai
Yang bikin jebakan ini gampang terulang: menambah cakupan untuk kasus-kasus langka itu terasa seperti tindakan yang benar. Rasanya seperti sedang "melengkapi" sistem, menutup celah supaya kasus-kasus tidak umum juga bisa dikenali. Niatnya baik, dan datanya sendiri sudah tervalidasi — bukan sampah. Tapi efek nyatanya di angka justru kebalikan dari yang dibayangkan.
Data yang benar tidak otomatis jadi data yang membantu, kalau frekuensi kemunculannya di praktik nyata tidak sebanding dengan ruang perhatian yang direbutnya di sistem retrieval.
Pelajaran
Sebelum menambah pengetahuan atau data referensi baru ke sistem retrieval mana pun, saya sekarang selalu bertanya dulu: seberapa sering kasus yang mau diperkuat ini benar-benar muncul di data nyata? Kalau jawabannya jarang, saya tidak langsung menolak menambahkannya, tapi saya tidak lagi berasumsi penambahan itu otomatis aman apalagi menguntungkan — perlu diuji dulu dampaknya secara terpisah dari penambahan untuk kasus yang lazim, karena dua jenis penambahan ini terbukti bisa menarik hasil ke arah berlawanan sekaligus dalam satu eksperimen yang sama. Memperkuat kasus yang sudah sering terjadi memberi hasil yang jauh lebih konsisten positif; memperluas cakupan untuk kasus langka, sebaik apa pun niatnya, perlu perlakuan lebih hati-hati karena punya rekam jejak menjatuhkan akurasi alih-alih memperbaikinya. Proyek medcoder sendiri masih terus berjalan dan angka-angka ini adalah hasil benchmark internal, bukan klaim akurasi produksi final — tapi pelajaran soal relevansi versus volume data ini sudah cukup mantap untuk saya pegang ke eksperimen berikutnya.