Didakwa gagal terajui kementerian, Mat Sabu didesak letak jawatan