Pada awal berdirinya, sekitar tahun 1960an, MI Al Islam Gemawang (sebelum menjadi negeri) merupakan lembaga pendidikan yang pada saat itu lazim disebut dengan istilah Madrasah Wajib Belajar (MWB) dengan menitik beratkan pada pendidikan agama Islam bagi anak-anak. Jumlah kelas pada saat itu adalah tiga kelas.
Gedung sekolah masih menumpang pada rumah penduduk yang juga merupakan tokoh masyarakat, ulama, sekaligus pencetus didirikannya madrasah tersebut. Namanya Bapak Kyai Haji Thamrin, yang hingga saat ini masih hidup dan bisa menyaksikan perkembangan serta kemajuan madrasah yang dirintisnya.
Para pengajarnya berasal dari daerah sekitar yaitu Bedono, Secang, tetapi ada juga yang berasal dari Tingkir, Bringin, dan Salatiga. Di samping mengajar di madrasah, mereka juga belajar mengaji (mondok) pada KH Thamrin. Semuanya merupakan tenaga honorer yang berjuang dengan ikhlas. Berdasarkan informasi yang diperoleh dari tokoh setempat, nama para pengajar tadi adalah Yamahsari, Ghufron, Maskur, Dullah, dan Maskur.
Pada tahun 1969 MWB Gemawang mendapat tanah wakaf dari Ibu Hj. Siti Khotijah (mertua bapak KH Thamrin) seluas 300 meter persegi. Dari tanah tersebut didirikan ruang kelas sebanyak 4 buah. Diperkirakan saat itu setiap kelas berisi 25 anak yang berasal dari dusun-dusun di bawah pemerintahan desa Gemawang. Pada perkembangan berikutnya MWB berubah nama menjadi Madrasah Ibtidaiyah (MI).
Sebagai induk organisasi /lembaga yang menangani, pada tahun 1975 ditunjuklah yayasan Al Islam yang beralamat di kota Solo. Yayasan Al Islam dipilih karena pada saat itu beberapa orang guru yang bertugas di MI Gemawang mempunyai hubungan khusus dengan yayasan tersebut. Selain MI Gemawang, ikut bergabung pula MI Bedono dan MI Jerukwangi yang juga masih berada di wilayah kecamatan Jambu.
Kepala Madrasah yang memimpin MI Al Islam Gemawang hingga menjadi MI Negeri Jambu sampai dengan saat ini adalah :
1. Abadi (1969 – 1975)
2. Muh Trimo ( 1975 – 2001 )
3. H. Lapin, S.Pd ( 2001 – 2012 )
4. H. Dwi Mardiyanto,S.Pd. (2013)
Perkembangan MI Al Islam Gemawang mulai nampak sekitar tahun 2006. Setelah sebelumnya sempat gonjang- ganjing, berkat kegigihan dan usaha yang sungguh- sungguh dari Kepala Sekolah dan Komite, MI Al Islam Gemawang mengalami kemajuan yang cukup pesat. Dan pada tahun 2007 diusulkan untuk menjadi MI Negeri. Hingga tahun 2011 MI Al Islam Gemawang resmi menjadi MI Negeri Jambu dan sebagai satu-satunya MI Negeri di Kecamatan Jambu Kabupaten Semarang.
Letak Geografis
MI Negeri Jambu terletak di RT 02 RW 03 Dusun Banaran, Desa Gemawang, Kecamatan Jambu, Kabupaten Semarang. Dari jalan raya Ambarawa – Magelang berjarak 100 meter, sebelah kiri dari arah Semarang. Desa Gemawang merupakan desa yang terletak paling selatan dalam wilayah Kabupaten Semarang.