Secara historis, Kantor Kementerian Agama Kab. Semarang berdiri pada tahun 1974 dengan nama Kantor Perwakilan Depatemen Agama Kab. Semarang yang berlokasi di Salatiga. Pada saat itu Kepala Kantor Perwakilan Departemen Agama adalah Bp. M.Bakri Tolkhah.
Setahun kemudian, pada tahun 1975 hingga 1976 Kantor Perwakilan Departemen Agama berubah menjadi Kantor Departemen Agama Kab. Semarang. Kantor Departemen Agama ini masih berlokasi di Kota Salatiga dan masih dengan kepala yang sama yaitu M.Bakri Tolkhah.
Seiring dengan berkembangnya wilayah Kab. Semarang, pada tahun 1977 Kantor Departemen Agama Kab. Semarang memisahkan diri dengan Kantor Departemen Kota Salatiga. Pada saat itu pula Kantor Departeman Agama Kab. Semarang pindah dan berlokasi di Jl. Kauman Ungaran. Kantor ini menempati tanah dengan status Hak Milik No.12 Tgl 09 Agustus 1978. Dan karena kondisi geografis Kabupaten Semarang begitu luas, maka mulai rentang waktu tahun 1980 s/d 1995 berdirilah 17 Kantor Urusan Agama (KUA) di 17 (tujuh belas) kecamatan Se Kab. Semarang.
Karena pertimbangan kondisi bangunan serta sarana dan prasarana, pada tahun 2000 dan 2001 pihak kantor mengusulkan kepada pemerintah pusat untuk membangun gedung baru. Dan berkat kerjasama tim penggagas gedung baru, maka pada tahun 2002 hingga 2004 dibangunlah Gedung Kantor Departemen Agama Kab. Semarang. Gedung ini merupakan bantuan peminjaman lokasi oleh Pemerintah Kab. Semarang. Secara kenotarian gedung ini berdasarkan pada Surat Hak Pakai : 593.6/03694 Tanggal 24 Juli 2000. Kantor Departemen Agama yang baru ini didirikan di atas tanah seluas 1.968m² dibiayai sepenuhnya dengan menggunakan dana anggaran APBN Pusat. Dan pada tahun 2004 Kantor Departemen Agama Kab. Semarang resmi pindah di Jalan Candi Asri Ungaran.
Mengingat lokasi wilayah yang begitu luas, maka pada tahun 2009 dilakukan pemekaran wilayah oleh pemerintah setempat dengan menambah jumlah kecamatan, yang semula 17 kecamatan menjadi 19 kecamatan. Untuk melakukan efektifitas tugas pelayanan kepada masyarakat maka jumlah KUA pun disesuaikan dengan jumlah kecamatan yang ada. Atas dasar PMA RI No.91 Tahun 2009, maka jumlah Kantor Urusan Agama (KUA) menjadi 19 kecamatan, yaitu :
1.KUA Kecamatan Ungaran Barat
2.KUA Kecamatan Ungaran Timur
3.KUA Kecamatan Bergas
4.KUA Kecamatan Pringapus
5.KUA Kecamatan Bawen
6.KUA Kecamatan Tengaran
7.KUA Kecamatan Tuntang
8.KUA Kecamatan Ambarawa
9.KUA Kecamatan Bandungan
10.KUA Kecamatan Sumowono
11.KUA Kecamatan Banyubiru
12.KUA Kecamatan Bancak
13.KUA Kecamatan Bringin
14.KUA Kecamatan Pabelan
15.KUA Kecamatan Getasan
16.KUA Kecamatan Suruh
17.KUA Kecamatan Susukan
18.KUA Kecamatan Jambu
19.KUA Kecamatan Kaliwungu
Pada tanggal 28 Januari 2010, berdasarkan PMA No.1 Tahun 2010 Departemen Agama berubah menjadi Kementerian Agama. Hingga saat ini Kantor Kementerian Agama Kab. Semarang masih berlokasi di kompleks perkantoran Jl. Candi Asri Ungaran, berdampingan dengan Dinas Perdagangan,Perindustrian dan Penanaman Modal Kab. Semarang; Dinas Koperasi dan UKM Kab.Semarang; dan Badan Lingkungan Hidup Kab.Semarang.
Berikut ini adalah nama pejabat (Kepala Kantor) Kementerian Agama Kab.Semarang sejak 1974 hingga sekarang, yaitu :
1. M. Bakri Tolkhah (1974 – 1976)
2. Moch. Mashadi,AM (1976 – 1982)
3. Moch. Shoihin,BA (1982 – 1984)
4. Soekadi Yoewono (1984 – 1987)
5. Drs.KH.Moch.Amin Hambali (1987 – 1993)
6. Drs.H.Ahmad Mudatsir (1993 – 1995)
7. Drs.H.Mukhlis (1995 – 1998)
8. Drs.H.Muhammad Badrun (1998 – 2001)
9.Drs.H.Makhasin (2001 – 2006)
10. Drs.H.Wahuri Muchtar (2007 – 2009)
11. Drs.H. Bambang Sugito TH, M.Si (2009 -2011 )
12. Drs.H.Subadi.M.SI ( 2011 s/d 2017 )
13. Drs. H. Muhdi. M.Ag ( 2017 s/d 2020 )
14. Drs.H.Saefudin,M.Pd ( 2020 )
15. Drs.H.Nurudin,M.PdI (2021 s/d Sekarang)