Punya dataset bukan berarti datanya sudah siap dianalisis.

Sebelum membuat dashboard, melakukan exploratory data analysis, atau membangun model machine learning, ada satu tahap yang sebaiknya tidak dilewatkan: memeriksa kualitas data.

Data yang terlihat baik-baik saja bisa saja memiliki nilai kosong, baris duplikat, tipe data yang tidak sesuai, atau nilai yang tidak masuk akal. Masalah-masalah kecil seperti ini dapat memengaruhi hasil analisis dan akhirnya menghasilkan kesimpulan yang keliru.

Lalu, apa saja yang perlu diperiksa?

1. Periksa Missing Values

Missing value adalah kondisi ketika suatu kolom tidak memiliki nilai pada sebagian baris.

Contohnya:

customer_id	city	age
C001	Bandung	25
C002	Jakarta
C003		31

Pada contoh tersebut, terdapat nilai yang hilang pada kolom age dan city.

Missing value tidak selalu berarti datanya harus langsung dihapus. Penanganannya bergantung pada konteks.

Beberapa pilihan yang umum dilakukan antara lain:

• menghapus baris yang memiliki missing value;
• mengisi nilai berdasarkan mean, median, modus, atau metode lain;
• memberikan kategori khusus seperti Unknown;
• mempertahankannya jika nilai kosong memang memiliki arti tertentu.

Karena itu, langkah pertama bukan langsung membersihkannya, tetapi mengetahui seberapa banyak data yang hilang dan di kolom mana masalah tersebut terjadi.

2. Cari Duplicate Rows

Dataset juga dapat memiliki baris yang tercatat lebih dari satu kali.

Misalnya:

transaction_id	product	amount
TRX001	Product A	150000
TRX002	Product B	200000
TRX002	Product B	200000

Jika transaction_id seharusnya unik, dua baris TRX002 perlu diperiksa.

Duplikasi seperti ini bisa menyebabkan hasil agregasi menjadi lebih besar dari kondisi sebenarnya.

Bayangkan jika data tersebut digunakan untuk menghitung total penjualan. Satu transaksi yang tercatat dua kali akan ikut dihitung dua kali.

Namun, sama seperti missing value, baris yang terlihat sama belum tentu merupakan kesalahan. Kita tetap perlu memahami struktur dan konteks datanya.

3. Periksa Tipe Data

Tipe data menentukan bagaimana sebuah nilai dapat diproses.

Kolom tanggal, misalnya, seharusnya dikenali sebagai tanggal. Kolom jumlah transaksi biasanya berupa angka.

Masalah sering muncul ketika sebuah kolom numerik justru terbaca sebagai teks karena memiliki format yang tidak konsisten.

Contohnya:

100000

250000

Rp300.000

Ketiga nilai tersebut terlihat seperti nominal uang bagi manusia, tetapi komputer dapat memperlakukannya secara berbeda.

Masalah tipe data dapat membuat proses seperti sorting, filtering, agregasi, dan perhitungan statistik tidak bekerja sebagaimana mestinya.

4. Periksa Nilai yang Tidak Masuk Akal

Tidak semua masalah data dapat ditemukan hanya dengan mencari nilai kosong atau duplikat.

Kadang-kadang nilainya tersedia, tetapi tidak masuk akal.

Misalnya sebuah dataset pelanggan memiliki:

age = -5

atau:

age = 250

Secara teknis kolom tersebut tidak kosong dan tetap berupa angka. Namun, nilainya kemungkinan besar tidak valid.

Pemeriksaan minimum, maksimum, distribusi, dan nilai-nilai unik dapat membantu menemukan kasus seperti ini.

Konteks bisnis sangat penting pada tahap ini. Nilai yang terlihat aneh secara statistik belum tentu salah secara bisnis.

5. Lihat Distribusi Data

Statistik sederhana dapat memberi gambaran awal mengenai kondisi dataset.

Untuk kolom numerik, beberapa informasi yang berguna antara lain:

• minimum;
• maksimum;
• mean;
• median;
• jumlah nilai unik.

Sementara untuk kolom kategorikal, kita dapat melihat kategori yang paling sering muncul dan jumlah nilai uniknya.

Dari sini kita bisa mulai menemukan pola yang perlu diperiksa lebih lanjut.

Sebagai contoh, sebuah kolom status seharusnya hanya memiliki:

Active

Inactive

Tetapi ternyata terdapat:

active

ACTIVE

Inactive

Bagi manusia, dua nilai pertama mungkin memiliki arti yang sama. Bagi komputer, keduanya bisa dianggap sebagai kategori berbeda.

Tidak Mau Mengeceknya Satu per Satu?

Untuk dataset berukuran kecil, beberapa pemeriksaan di atas masih mudah dilakukan secara manual.

Namun, ketika jumlah kolom dan baris mulai bertambah, proses profiling dataset menjadi lebih merepotkan.

BikinDashboard menyediakan Data Quality Checker yang dapat digunakan untuk melakukan pemeriksaan awal file CSV atau Excel langsung dari browser.

Kamu bisa menggunakannya untuk melihat gambaran dataset, missing values, duplicate rows, tipe data, dan berbagai informasi awal lainnya sebelum mulai melakukan analisis.

Coba Data Quality Checker gratis di Tools BikinDashboard.

Pemeriksaan otomatis bukan pengganti pemahaman terhadap data. Tool dapat membantu menemukan indikasi masalah, tetapi keputusan apakah sebuah nilai benar, salah, perlu diperbaiki, atau justru harus dipertahankan tetap membutuhkan konteks.

Data yang Baik Membuat Analisis Lebih Bisa Dipercaya

Data cleaning sering dianggap sebagai pekerjaan yang kurang menarik dibanding membuat visualisasi atau membangun model.

Padahal kualitas output sangat bergantung pada kualitas input.

Sebelum mulai bertanya:

“Insight apa yang bisa saya dapatkan dari data ini?”

ada baiknya bertanya terlebih dahulu:

“Apakah data ini cukup baik untuk dianalisis?”

Pemeriksaan sederhana terhadap missing values, duplicate rows, tipe data, nilai yang tidak masuk akal, dan distribusi data dapat menjadi langkah awal untuk menjawab pertanyaan tersebut.