Tanaman padi memegang peranan penting untuk ketersediaan pangan di indonesia. Namun, banyak faktor yang dapat mempengaruhi panen pada tanaman padi, salah satunya adalah penyakit dan hama pada tanaman padi. Keterlambatan penanganan pada penyakit dan hama tanaman padi bisanya terjadi karena keterlambatan diagnosis penyakit dan hama tanaman padi, apalagi pada daerah terpencil yang memiliki keterbatasan akses internet dan komputasi. Oleh karena itu proses klasifikasi penyakit dan hama pada tanaman padi secara otomatis yang dapat di implementasikan pada perangkat dengan daya sumber yang terbatas, seperti perangkat seluler sangat dibutuhkan. Penelitian ini membandingkan lima arsitektur Transfer Learning yaitu MobileNet V2, NasNet Mobile, EfficientNet B7, Inception V3, VGG 16 dan model dengan simple CNN. Penelitian ini menggunakan dataset Rahman yang berisikan 5 penyakit, 3 hama dan 1 tanaman padi sehat. Setiap data akan melewati tahap preprocessing dan augmentasi. MobileNet V2 memiliki jumlah parameter dan performa yang cukup baik dalam mengklasifikasi penyakit tanaman padi dengan jumlah parameter yaitu 2.269.513, accuracy sebesar 96%, precision sebesar96%, recall sebesar96%, specificity sebesar 99%, dan f1-score sebesar 96%.