Zaman dulu ditempat ini berdiri sebuah Mesjid Kerajaan Aceh. Sewaktu Belanda menyerang kota Banda Aceh pada tahun 1873 Mesjid ini dibakar, kemudian pada tahun 1875 Belanda membangun kembali sebuah Mesjid sebagai penggantinya.

Mesjid ini berkubah tunggal dan dibangun pada tanggal 27 Desember 1883. Selanjutnya Mesjid ini diperluas menjadi 3 kubah pada tahun 1935. Terakhir diperluas lagi menjadi 5 kubah (1959 – 1968)