Kolom Metrik yang Gampang Disalahartikan

Ini cerita yang bikin saya agak malu waktu menyadarinya, tapi menurut saya penting dibagikan karena jebakannya sepele dan sangat mudah terulang. Script yang saya pakai untuk menilai akurasi medcoder (asisten AI pengusul kode diagnosis ICD-10 dan tindakan ICD-9-CM) punya dua kolom hasil yang gampang tertukar kalau tidak hati-hati membaca definisinya.

Dua Kolom yang Kedengarannya Mirip, Maknanya Jauh Beda

• dx utama — kode yang benar (gold standard) muncul sebagai jawaban pertama yang diusulkan sistem. Ini ukuran mutu yang sebenarnya, karena di alur kerja nyata, koder rekam medis pada dasarnya cuma melihat usulan teratas.
• emas-ada — kode yang benar muncul di mana pun di daftar usulan, meski di urutan bawah. Koder tetap harus menyadari dan memilihnya sendiri secara manual dari daftar itu — sistem tidak benar-benar menjawab dengan benar di kasus ini, cuma menyediakan opsi yang benar di antara opsi lain.

Dulu kolom kedua ini malah diberi nama yang lebih menyesatkan lagi, semacam akurasi top-5 — padahal salah dua kali sekaligus: bukan benar-benar dibatasi top-5, dan sama sekali bukan ukuran ketepatan diagnosis utama.

Selisihnya Ternyata Besar

Begitu saya bandingkan dua angka ini berdampingan, selisihnya jauh lebih besar dari yang saya kira. Pada satu putaran evaluasi: kategori gigi 88,3% (dx utama) berbanding 95,0% (emas-ada); kategori rumah sakit 80,0% berbanding 91,1%. Beda 7-11 poin persentase, tergantung kategorinya — bukan selisih kecil yang bisa diabaikan.

Kenapa Ini Masalah Nyata, Bukan Cuma Soal Penamaan

Yang bikin saya betul-betul menyesal: saya sudah berulang kali melaporkan angka emas-ada yang lebih tinggi itu ke pemilik produk seolah-olah itu akurasi diagnosis utama — sesuatu yang sebenarnya bukan itu artinya sama sekali. Akibatnya, kualitas sistem yang sebenarnya terdengar 8-11 poin lebih bagus dari kenyataan, dan target internal semacam sudah mencapai 90% jadi terdengar tercapai, padahal metrik yang sesungguhnya penting itu belum sampai ke sana.

Ini bukan salah angkanya — kedua angka itu sama-sama valid dan berguna untuk konteksnya masing-masing. Masalahnya murni di komunikasi: saya mengutip angka yang salah sebagai jawaban untuk pertanyaan yang berbeda dari apa yang sebenarnya diukur angka itu.

Fix: Selalu Sebut yang Utama Duluan

Aturan yang sekarang saya pegang: setiap kali melaporkan akurasi medcoder, saya selalu sebut angka dx utama duluan sebagai angka yang benar-benar mewakili mutu sistem. Kalau angka emas-ada ikut disebut sama sekali, saya jelaskan eksplisit artinya, supaya tidak ada yang salah paham menganggapnya sebagai ukuran ketepatan diagnosis utama.

Satu kebiasaan pelaporan lain yang saya perbaiki bersamaan: sekarang saya selalu memisahkan angka akurasi untuk fasilitas baru (belum punya riwayat koding sendiri) dari fasilitas yang sudah berjalan lama. Bedanya juga besar dan gampang menyesatkan kalau dicampur — misalnya rumah sakit baru di angka 80,0% dibanding klinik yang sudah lama berjalan di angka 96,7%. Mencampur dua populasi yang beda karakteristik seperti ini jadi cara lain metrik bisa terlihat lebih baik atau lebih buruk dari kenyataan, tergantung campurannya.

Pelajaran

Nama kolom metrik yang ambigu itu bukan cuma masalah kosmetik — dia bisa bikin orang (termasuk saya sendiri yang membuat sistemnya) berulang kali salah mengutip angka ke pemangku kepentingan tanpa sadar sedang keliru. Kalau sebuah metrik punya lebih dari satu cara wajar untuk dihitung, beri nama kolom yang secara eksplisit menyebut apa yang diukur, bukan nama yang terdengar mentereng tapi ambigu — dan setiap kali melaporkan angka ke orang lain, tanya dulu ke diri sendiri: metrik mana persisnya yang sedang saya sebut ini?