Masjid ini pertama kali dibangun pada tanggal 3 Syawal 1355 Hijriah, atau pada tanggal 18 Desember 1936 Masehi. Data itu tertulis di atas meja yang terbuat dari batu marmar putih yang terletak di depan masjid. Dan bentuknya pun bukan seperti sekarang ini. Keadaan masjid saat itu masih menggunakan dinding papan, berlantai semen dan beratap genteng. Posisinya dulu terletak sekitar tempat wuduk dan menara masjid saat ini.

Sementara lantai kedua untuk menyimpan kitab-kitab, buku-buku agama, tikar dan alat perlengkapan masjid lainnya dan lantai atas digunakan untuk mengumandangkan azan. Masjid Jamik ini dibangun di atas tanah wakaf dengan sebelah utara terdapat rawa-rawa dan banyak terdapat pohon rumbia.

Sumber: Metro Bangka Belitung dan  persada nusantara