Local Interpretable Model-agnostic Explanations(LIME) dapat digunakan untuk mengatasi masalah blackbox pada hasil model klasifikasi analisis sentimen. Penelitian ini menggunakan ulasan aplikasi pinjaman online di play store sebagai dataset. Masing-masing model klasifikasi memiliki kelemahan dan dapat ditingkatkan kinerjanya dengan menggunakan stacking ensemble terutama untuk mengatasi permasalahan kelas data yang tidak seimbang. Dataset yang sudah diperoleh, dilakukan pembersihan data, pre-processing serta dirubah menjadi vektor numerik menggunakan TF-IDF. Klasifikasi dilakukan dengan tiga model dasar yaitu random forest, naïve bayes dan support vector machine(SVM). Luaran dari model klasifikasi dasar dijadikan sebagai masukan bagi stacking ensemble logistic regression. Berdasarkan komparasi keempat model, stacking ensemble memiliki kinerja terbaik dengan akurasi 87,05%. Penerapan LIME untuk intrepretasi model klasifikasi dengan sampel data berhasil menjelaskan faktor-faktor yang berpengaruh terhadap keputusan model dengan probabilitas prediksi 95% dan sesuai dengan pengamatan manual. Hasil penelitian ini bisa digunakan sebagai wawasan dan edukasi kepada masyarakat tentang kemudahan pinjol dan bahayanya yang tercermin dari sentimen positif dan negatif pada sebuah ulasan.