Masjid yang terletak tak Jauh dari Plaza Benteng Kuto Besak, di kota Palembang, Sumatera Selatan ini dibangun pada masa kepemimpinan Sultan Mahmud Badarudin I Jayo Wikramo, tepatnya tahun 1738.
Meski digarap oleh seorang arsitek Eropa, pengaruh Cina ikut muncul pada arsitektur mesjid ini. Hal itu ditandai oleh bentukan limas dan hiasan ornamen khas Cina pada sejumlah atapnya. Paduan dua budaya ini menjadi ciri khas Mesjid Agung Palembang dan membuat banyak pelancong terkagum-kagum pada keindahan mesjid ini.