Cara Hitung RMSE , MSE, MAPE, dan MAE Dengan Excel

Assalamulaikum Wr. Wb - Salam Sejahtera dan Salam Budaya

Dalam sebuah metode pembelajaran machine learning penting untuk dilakukan. Hal itu disebabkan karena bertujuan untuk mengukur tingkat keakuratan kinerja metode yang digunakan. Untuk itu maka pada tahap ini salah satu metode yang perlu dilakukan untuk mengukur kinerja suatu algoritma, yaitu dengan menghitung Root Mean Square Error, Mean Square Error dan Mean Absolute Error.

Namun, sebelum itu perlu juga diketahui bahwa dalam pembelajaran machine learning terdapat dua kriteria yaitu Klasifikasi dan Regresi. Istilah Klasifikasi digunakan utnuk menetapkan objek-objek data ke dalam sejumlah kelas atau kategori yang terbatas (Suyanto, 2018). Misalnya kelas tersebut bernilai positif atau negatif. Dalam masalah klasifikasi, model algoritmik mencoba memprediksi kelas menggunakan data selama selama fase pelatihan,  hal ini biasa disebut dengan data latih.

Untuk menguji atau mengevaluasi kinerja algoritma klasfikasi adalah dengan menggunakan metode pengujian dengan confusion matrix. Ada dua tipe yaitu biner classification dan multi-class classfication.

Tapi sebelum kita masuk ke cara ngitung RMSE, MSE, dan MAE, ada baiknya kita sedikit flashback tentang konsep dasar dalam machine learning, khususnya tentang klasifikasi dan regresi. Karena beda jenis tugas, beda juga cara evaluasinya!

Klasifikasi vs Regresi: Beda Jalan, Beda Ukuran

Dalam machine learning, umumnya kita ketemu dua jenis masalah: Klasifikasi dan Regresi.

• Klasifikasi itu tentang membagi data ke dalam beberapa kelas atau kategori tertentu. Misalnya, menentukan apakah email itu "Spam" atau "Bukan Spam", atau mendiagnosis pasien itu "Sakit" atau "Sehat".
  Menurut Suyanto (2018), klasifikasi adalah proses mengategorikan objek-objek data ke dalam kelas-kelas terbatas. Biasanya model klasifikasi dilatih dengan data latih (training data) yang udah dikasih label.

• Regresi, di sisi lain, adalah tentang memprediksi nilai kontinu. Misalnya, prediksi harga rumah berdasarkan luas tanah dan jumlah kamar, atau memprediksi suhu udara besok.
  Regresi bertujuan mencari hubungan antar variabel dan membangun fungsi prediksi seakurat mungkin. Lagi-lagi mengutip Suyanto (2018), regresi berusaha meminimalkan error atau selisih antara hasil prediksi dengan nilai aslinya.

✨ Fun Fact: Kalau model kamu prediksinya angka (contoh: harga, jumlah, skor), itu berarti kamu lagi main di ranah regresi. Kalau prediksinya kategori (contoh: laki-laki/perempuan, lulus/gagal), itu klasifikasi.

Evaluasi Model: Kapan Pakai Confusion Matrix, Kapan Pakai RMSE/MSE/MAE?

Kalau kamu ngerjain klasifikasi, biasanya kamu evaluasi modelnya pakai Confusion Matrix. Dari situ kamu bisa hitung:

• Akurasi

• Precision

• Recall

• F1-Score

(Kalau mau lebih paham tentang Confusion Matrix, bisa baca: Pengujian Model dengan Confusion Matrix).

Tapi kalau model kamu adalah regresi, kamu butuh pendekatan lain. Nah, disinilah kita kenalan dengan:

• Root Mean Square Error (RMSE)

• Mean Square Error (MSE)

• Mean Absolute Error (MAE)

Semua ini adalah ukuran error untuk ngelihat seberapa "melenceng" prediksi model dari kenyataan. 

Kenalan Lebih Dekat: Apa Itu RMSE, MSE, dan MAE?

Root Mean Square Error (RMSE)

Root Mean Square Error (RMSE), adalah jumlah dari kesalahan kuadrat atau selisih antara nilai sebenarnya dengan nilai prediksi yang telah ditentukan. Rumus formula RMSE adalah sebagai berikut :

Y ' = Nilai Prediksi 

Y   = Nilai Sejati

n    = Jumlah Data

Contoh Penyelesaian

Pada gambar Tabel di atas, terlihat bahwa ada dua warna yang berbeda antara hijau dan kuning. Hijau menunjukkan data sebenarnya, sedangkan kuning adalah data niai prediksi yang dihasilkan.

Nah, sekarang untuk menghindari kebingungan dalam proses perhitungan, kita akan mencoba menghitung secara terpisah. Pertama, hitung dulu kuadratnya pada masing-masing nilai. Dengan rumus (Y'-Y)^2.  Contoh nilai yang pertama

• (1879.8 - 1866.30) ^ 2 = 182, 25

Selanjutnya, Rangkum semua hasil proses tersebut . Kemudian bentuk tabel seperti gambar Tabel dibawah ini 

Kemudian jumlah kan semua hasil tersebut, dan dibagi dengan jumlah total data yang diuji dan diakarkan. Jika dalam formula Excel akan tertulis seperti ini :

• =SQRT( 7925,8425 / 5 ) 

Maka hasil RMSE yang dihasilkan adalah 39,8142

Mean Square Error (MSE)

Untuk menghitung nilai MSE sama halnya dengan RMSE. Hanya saja tidak menggunakan proses akar. Pada tahap ini, jika nilai error nya semakin besar maka semakin besar nilai MSE yang dihasilkan.

Y ' = Nilai Prediksi 

Y   = Nilai Sebenarnya

n    = Jumlah Data

Dengan rumus (Y'-Y)^2.  (1879.8 - 1866.30) ^ 2 = 182, 25 . Kemudian jumlah dan dibagi jumlah data yang di uji

• ( 7925,8425 / 5 ) = 1585.1685 

Mean Absolute Error (MAE)

MAE atau Mean Absolute Error menunjukkan nilai kesalahan rata-rata yang error dari nilai sebenarnya dengan nilai prediksi. MAE sendiri secara umum digunakan untuk pengukuran prediksi error pada analisis time series.  Rumus dari MAE sendiri didefinisikan sebagai berikut :

Y ' = Nilai Prediksi 

Y   = Nilai Sebenarnya

n    = Jumlah Data

Berbeda dengan penyelesaian dari RMSE, pada Mean Absolute Error MAE ini cukup sederhana, yaitu dengan cara nilai prediksi dikurangi nilai sebenarnya |Y'-Y|

• |1879.8 - 1866.30| = 13.50

Tentukan pada setiap nilainya kemudian jumlah keseluruhan dan dibagi jumlah data uji. Jika divisualisasi dalam bentuk tabel akan terlihat seperti ini.

Mean Precentage Absolute Error (MAPE)

Sebenarnya nilai ini adalah lanjutan dari penentuan nilai MAE dengan menentukan nilai presentase yang dihasilkan. Formula dari rumus MAPE sendiri adalah sebagai berikut ;

Y ' = Nilai Sebenarnya 

Y   = Nilai Prediksi

Pertama, kita akan menghitung satu nilai pertama dengan (Y-Y') / Y. 

• (1879.8 - 1866.30) /  1866.30 = 0,00723 * 100
• = 0,723

Hasil diatas adalah hasil nilai pada kolom pertama. Untuk kolom selanjutnya lakukan perhitungan yang sama, kemudian hasil akhirnya adalah cari nilai rata-rata nya. Dengan cara jumlah seluruh hasil MAPE kemudian dibagi Jumlah total data uji. Atau jika dalam formula Excel, kamu bisa menggunakan rumus =AVERAGE( Kolom hasil MAPE ).

Baca Juga : Cara Menghitung Gini-Index Algoritma C4.5

Menurut  Lewis (1982), nilai MAPE dapat diinterpretasikan atau ditafsirkan ke dalam 4 kategori yaitu:

• < 10%    = "Sangat Baik"
• 10-20% = "Baik"
• 20-50% = "Wajar
• > 50%    = "Tidak Akurat" atau "Gagal".

Kesimpulan

Dalam model regresi, untuk mengetahui keakuratan kinerja model suatu algoritma, kita dapat mengambilnya dari nilai yang memiliki kesalahan kecil. Dengan kata lain, semakin kecil nilai error yang dihasilkan maka semakin dekat nilai atau jarak antara nilai aktual dengan nilai prediksi.

Nah itulah cara penyelesain masalah pada kasus atribut data numerik pada proses perhitungan Algoritma C4.5 dan jika kamu ingin belajar lebih dalam lagi, kamu bisa mendapatkan file excelnya.

FAQ Tentang RMSE, MSE, dan MAE

Q: Kenapa MSE lebih sensitif terhadap outlier dibanding MAE?
A: Karena MSE ngitung error dengan kuadrat. Jadi kalau ada error yang gede banget, kuadratnya jadi makin besar, bikin MSE membengkak.

Q: Antara RMSE dan MAE, mana yang lebih baik?
A: Tergantung kebutuhan. Kalau mau menghukum error besar lebih keras, pakai RMSE. Kalau mau error diperlakukan sama rata, pakai MAE.

Q: Apa RMSE dan MAE bisa digunakan bersamaan?
A: Bisa banget! Bahkan banyak penelitian pakai dua-duanya buat kasih gambaran lengkap tentang performa model.

Q: Gimana cara cepat ngitung RMSE, MSE, dan MAE di Python?
A: Kamu bisa pakai sklearn.metrics:

from sklearn.metrics import mean_squared_error, mean_absolute_error import numpy as np y_true = [80, 70, 90, 60] y_pred = [78, 75, 88, 65] mse = mean_squared_error(y_true, y_pred) rmse = np.sqrt(mse) mae = mean_absolute_error(y_true, y_pred) print(f"MSE: {mse}, RMSE: {rmse}, MAE: {mae}")

Q: Kalau RMSE gede, berarti modelnya jelek?
A: Belum tentu! Besar-kecilnya RMSE harus dibandingkan dengan skala data kamu. Kalau data skornya kisaran 0-100, RMSE 20 itu gede. Tapi kalau datanya kisaran 0-1000, RMSE 20 itu kecil.

Penutup

Nah, itu dia pembahasan lengkap tentang cara mengukur performa model regresi dengan RMSE, MSE, dan MAE. Evaluasi model itu kayak ngetes seberapa pintar "robot" yang kamu buat dalam menebak jawaban. Jadi jangan males buat ngecek dan analisis hasil evaluasi, ya!

Sekian, saya harap kamu dapat menemukan apa yang kamu cari. "Jangan lupa bernapas dan tetap bersyukur"

Wasslamulaikum Wr.Wb - See You Later

Sumber Referensi :

Lewis, C. D. 1982. Industrial and Business Forecasting Methods. London: Butterworths. 

[Google Scholar]

Suyanto, 2018. Machine Learning Tingkat Dasar dan Lanjut. INFORMATIKA. Bandung

Share :