Masjid Syamsul Ulum didirikan pada tanggal 28 September 1994 di atas tanah Yayasan Pendidikan Telkom yang masih berada di dalam area kampus Institut Teknologi Telkom (IT Telkom).
Pembangunan Masjid Syamsul Ulum pada waktu itu dilakukan secara swadaya mahasiswa, ditandai dengan peletakkan batu pertama oleh Bpk. Wardiman Djojonegoro, Menteri Pendidikan dan Kebudayaan Republik Indonesia pada masa itu. Pembangunan masjid selesai dalam waktu 1.5 tahun, dan diresmikan pada tanggal 9 Mei 1996 oleh Bpk. BJ Habibie, Menteri Riset dan Teknologi Republik Indonesia.
Walaupun telah diresmikan, beberapa bangunan penunjang untuk mewujudkan visi “Masjid Syamsul Ulum sebagai Pusat Dakwah Bandung Selatan” terpaksa belum dapat dibangun karena kurangnya anggaran akibat krisis moneter yang mulai melanda Indonesia saat itu.
Peresmian Masjid Syamsul 'Ulum Oleh Prof. Dr. Ing. B.J. Habibie
Seiring berjalannya waktu, pada hari ini, peningkatan jumlah mahasiswa serta keikutsertaan masyarakat dalam menggunakan Masjid Syamsul Ulum sebagai sarana ibadah menyebabkan ruang dan fasilitas masjid yang ada tidak lagi mencukupi. Hal ini semakin dirasa tinggi kebutuhannya, dengan adanya pemindaahan lokasi dan penggabungan kampus Politeknik Telkom, Institut Manajemen Telkom (IM Telkom) dan STISI Telkom ke Kawasan Pendidikan Telkom menjadi kampus Telkom University, Dayeuhkolot tempat Masjid Syamsul ‘Ulum berada.
