Dahulu setelah jaman kemerdekaan sekitar tahun 1950-an, di Jl. Satsuitubun 17 tersebutlah nama KH. Syifa’, seorang tua yang alim dalam hal agama. Banyak penduduk sekitar yang belajar mengaji padanya, khususnya para pemuda-pemuda. Pada awalnya mereka mengaji berangkat dari rumah dan lama-kelamaan ada yang mulai bermukim. Sistem yang beliau gunakan pada saat itu adalah sistem sorogan dan bandongan. Dengan semakin bertambahnya santri, maka pada tahun 1967 Ibu Nyai Rohmah Nur, istri KH. Syifa’ berkeinginan untuk mendirikan sebuah pondok pesantren dengan tujuan menampung santri-santri yang datang dari daerah jauh.

Pondok tersebut di beri nama ‘Nurul Ulum yang berarti cahaya ilmu-ilmu. Pondok ini dibangun di atas tanah seluas 25 x 50 meter, milik beliau sendiri. Bangunan tersebut sangatlah sederhana dengan berupa dinding-dinding yang terbuat dari bambu (gubug). Pada saat itu pengajaran masih menggunakan sistem klasik yakni bandongan dan sorogan. Dan pada sekitar tahun 1977-an sistem tersebut baru berganti menjadi sistem Madrasah Diniyah yang mengenal kelas berjenjang (kelas 1 sampai kelas 3).

Karena di pondok tersebut khusus diajarkan pelajaran agama saja, sedangkan melihat situasi saat itu ilmu pengetahuan dan teknologi mulai digemari masyarakat, maka Ibu Nyai Rohmah Nur berinisiatif untuk membekali santri dengan ilmu pengetahuan umum. Untuk itu pada tahun 1986 beliau mendirikan Madrasah Tsanawiyah dengan kurikulum Depag RI. Dan sebagai wujud keberhasilan beliau dalam mendirikan lembaga ini, maka bangunan pondok yang dulunya hanya berbentuk bambu sudah berubah menjadi bangunan bertembok. Kemudian pada tahun 1988 Beliau mendirikan Madrasah Aliyah sebagai upaya agar santri bisa melanjutkan sekolah umum di PP. Nurul Ulum sekaligus nyantri di sana.

Untuk menguatkan status kepemilikan pondok tersebut, maka sekitar tahun 1990 Nyai Rohmah Nur memberi status waqof yang berarti pondok Nurul Ulum menjadi milik Allah dan dipakai semata-mata untuk kepentingan agama Islam.

Kemudian sekitar tahun 1994 pertengahan bulan Agustus, beliau terserang penyakit darah tinggi dan dirawat selama 1 bulan di RSI Aisyiah Malang. Dan atas takdir Allah pada tanggal 21 September 1994 pukul 03.30 beliau wafat dengan meninggalkan dua anak, yakni Kholifah az-Zahro dan Fauzi Syifa’.

Karena Hj. Rohmah Nur belum sampai berwasiat tentang siapa penggantinya dalam melanjutkan kepemimpinan pesantren selanjutnya, maka atas kebijaksanaan anggota keluarga, diangkatlah Gus H. A. Suyuti Dahlan sebagai pengasuhnya. Beliau dipilih disamping faktor ketuaan, juga karena beliau adalah menantu dari Ibu Nyai Rohmah Nur (suami ning Kholifah az-Zahro) yang terkenal alim dalam ilmu agama.