Masjid ini pertama kali dibangun tanggal 3 Syawal 1355 Hijriah, atau pada tanggal 18 Desember 1936 Masehi. Data tertulis di atas meja yang terbuat dari batu marmar putih yang terletak di depan masjid. Dan bentuknya pun bukan seperti sekarang ini. Keadaan masjid saat itu masih menggunakan dinding papan, berlantai semen dan beratap genteng. Posisinya dulu terletak sekitar tempat wuduk dan menara masjid saat ini.
Sementara lantai kedua untuk menyimpan kitab-kitab, buku-buku agama, tikar dan alat perlengkapan masjid lainnya dan lantai atas digunakan untuk mengumandangkan azan. Masjid Jamik ini dibangun di atas tanah wakaf sebelah utara terdapat rawa-rawa dan banyak terdapat pohon rumbia.
Sumber: Metro Bangka Belitung dan persada nusantara
