MTs. Maarif 02 Kota Gajah berdiri pada tahun 1970. K. Aminan adalah orang yang berjuang mendirikan sekolah ini. Seperti yang diungkapkan oleh Wakil Kepala Sekolah (Drs. H. Muhibbin M.Pd.I) yang merupakan anak ke 4 dari K. Aminan. Sekolah ini didirikan untuk memenuhi kebutuhan masyarakat pada saat itu.
MTs. Ma’arif 02 ini berdiri di atas lahan 1800 M2 . Hingga saat ini, madrasah ini belum mengalami perluasan dikarenakan kendala pembelian tanah dengan tetangga disekitarnya. Akan tetapi pembangunan tetap berlangsung. Sekarang Madrasah ini menjadi gedung bertingkat 3 membentuk huruf “U” dengan 17 ruang kelas, 1 ruang guru, 2 ruang WK, 1 ruang Kepala Sekolah, 1 Ruang TU, 2 ruang Laboratorium, serta gudang dan pos satpam.
MTs. Ma’arif 02 saat ini mempunyai 650 siswa yang berasal dari daerah Kota Gajah dan sekitarnya. Pada Tahun 2011 siswa di Madrasah ini mencapai 950 siswa. Hal ini membuktikan bahwa kepercayaan Masyarakat terhadap pendidikan yang diberikan di Madrasah tinggi. Munculnya sekolah baru yang berjenjang SLTP tidak begitu mengusik eksistensi Madrasah ini. Seperti yang kita ketahui pendidikan yang diberikan di Madrasah tentu berbeda dengan pendidikan yang diberikan di sekolah umum. Madrasah lebih menekankan nilai-nilai agama yang terbentuk dalam prilaku manusia serta unggul pada akhlaknya. Ilmu pengetahuan juga diperhatikan di sini, sehingga terdapat 2 konsentrasi yang harus dikembangkan.
MTs. Ma’arif 02 memiliki 48 pegawai dengan berbagai profesi yaitu guru, staff, satpam dan petugas kebersihan. Kekompakan yang ditunjukkan para pegawai menjadi penyemangat antar satu sama lain untuk tetap menjaga keeksistensian Madrasah di tengah bermunculannya sekolah-sekolah unggul di bidang akademik. Hal ini adalah cita-cita pendiri MTs. Ma’arif 02 Kota Gajah yakni “Madrasah untuk Masyarakat”.