Dahulu setelah jaman kemerdekaan sekitar tahun 1950-an, di Jl. Aipda Satsui Tubun 17 Rt. 02/03 Kelurahan Kebonsari Kecamatan Sukun Kota Malang tersebutlah nama KH. Syifa’, seorang tua yang alim dalam hal agama.

Banyak penduduk sekitar yang belajar mengaji padanya, khususnya para pemuda-pemudi. Pada awalnya mereka mengaji berangkat dari rumah dan lama-kelamaan ada yang mulai bermukim. Dengan semakin bertambahnya santri, maka pada tahun 1967 Ibu Nyai Rohmah Nur, istri KH. Syifa’ berkeinginan untuk mendirikan sebuah pondok pesantren dengan tujuan menampung santri-santri yang datang dari daerah jauh.