Di pusat Kota Bandung, pada tahun 1812 Masjid Agung didirikan dengan bentuk bangunan panggung tradisional yang sederhana, bertiang kayu, berdinding anyaman bambu, beratap rumbia dan dilengkapi sebuah kolam besar sebagai tempat mengambil air wudhlu. Air kolam ini berfungsi juga sebagai sumber air untuk memadamkan kebakaran yang terjadi di daerah Alun-Alun Bandung pada tahun 1825.
Penglolaan Masjid Agung pada masa itu secara instansional dikelola oleh Bupati dan operasionalnya dilimpahkan kepada orang yang menjabat sebagai Penghulu Bandung.
Sejak didirikannya, Masjid Agung telah mengalami 8 kali perombakan pada abad ke-19, kemudian 5 kali pada abad 50.
