Berangkat dari kepedulian terhadap nasib bangsa, tiga tokoh K.H. Abdul Halim, K.H. Ahmad Sanusi, dan Mr. R. Syamsuddin berjuang melepaskan bangsa Indonesia dari belenggu penjajahan, ketertindasan, kebodohan, kemiskinan, dan politik belah bambu (devide et empire) yang dilakukan kaum penjajah. Maka dari itu mereka  membentuk perhimpunan yang diberi nama Persatuan Ummat Islam (PUI).

PUI dalam bentuknya kini adalah organisasi keagamaan kemasyarakatan yang bermula, berasal, dan berkembang dari dua perhimpunan.

Pertama, Jam’iyyah Hajatoel Qoeloeb yang berdiri di Majalengka  pada Senin, tanggal 17 Juli 1911 M/ 20 Rajab 1329 H sebagai perkumpulan. Tujuannya, mewadahi kegiatan taklim agama Islam yang sudah berlangsung sebelumnya dengan nama Madjlisoel ‘Ilmi, serta program pendidikan melalui madrasah I’anat al-Muta’allimin dan kegiatan sosial ekonomi melalui koperasi dan usaha pertanian.

Jam’iyah Hajatoel Qoeloeb melalui rapat pengurus pada Selasa 16 Mei 1916 M/13 Rajab 1334 H, diubah menjadi Jam’iyah I’anat al-Muta’allimin. Namun, ketika diurus izinnya ke pemerintah Hindia Belanda, atas saran Haji Oemar Said Tjokroaminoto, namanya diubah menjadi Persjarikatan Oelama (PO) yang ditetapkan melalui besluit pemerintah pada Jum’at 21 Desember 1917 M/06 Rabbi’ul Awwal 1336 H (gouvernments besluit No. 43 (ANRI) – besluit ini diperbarui pada Sabtu, 19 Januari 1924 M/12 Jumadil Akhir 1342 H dan pada Rabu 18 Agustus 1937 M/11 Jumadil Akhir 1356 H. Kegiatan utama PO adalah pendidikan, berupa Madrasah Muallimin yang didirikannya pada 1923 M/1342 H, dakwah, sosial ekonomi, serta dilengkapi sejumlah organisasi otonom.

Kemudian organisasi ini berubah nama menjadi Perikatan Oemmat Islam (POI) pada Senin, 15 Februari 1943 M/10 Safar 1362 H, dengan tujuan mengajak masyarakat kembali pada tuntunan Ilahi dan mengurangi pertentangan di antara umat Islam sebagai akibat politik devide et empira pemerintah Hindia Belanda.

Kedua, Al-Ittihadijatoel Islamijjah (AII) yang berdiri  pada Sabtu, 21 November 1931 M/11 Rajab 1350 H di Batavia Centrum (Jakarta dari tahun 1931-1934) dan selanjutnya berpusat di Sukabumi (1934-1952).

Kemudian, namanya diubah menjadi Persatuan Oemmat Islam Indonesia (POII) pada Selasa 01 Februari 1944 M/06 Shafar 1363 H.

Perhimpunan ini dibentuk asal mulanya untuk menjawab kegundahan hati dan pemikiran para alim ulama Priangan Barat yang mendapat serangan pemikiran secara bertubi-tubi dan membabi buta dari kelompok puritan Majelis Ahli Sunnah Cimalame (MASC) Garut yang disinyalir merupakan salah satu bagian strategi Pemerintah Kolonial Belanda dalam memecah belah ummat Islam dari dalam dengan politik devide et empira.

Dengan tujuan menggalang persatuan di kalangan bangsa Indonesia dan untuk mengurangi pertentangan di antara umat Islam, kedua perhimpunan tersebut selanjutnya mengadakan fusi di Bogor pada Sabtu, 09 Rajab 1371 Hijriyah bertepatan dengan 5 April 1952 Miladiyah.  Organisasi ini menjadi salah satu alat perjuangan bagi ummat untuk melakukan berbagai amaliyah dalam kerangka ikut serta mencerdaskan kehidupan berbangsa dan bernegara, mensejahtera-kan kehidupan masyarakat dan mewujudkan serta menjaga keutuhan Negara Kesatuan Republik Republik Indonesia.

Fusi kedia organisasi keagamaan dan kemasyarakatan tersebut dimungkinkan karena ketiga pendirinya merupakan tokoh dan bapak bangsa. KH. Abdul Halim, KH. Ahmad Sanusi, dan Mr. R. Syamsuddin terpilih sebagai wakil rakyat dalam Badan Penyelidik Usaha-usaha Persiapan Kemerdekaan Indonesia (BPUPKI).

Mereka dianugerahi Bintang Maha Putra Utama melalui Surat Keputusan Presiden No.048/TK/Tahun 1992 tertanggal 12 Agustus 1992. Dan pada 10 November 2008, KH. Abdul Halim dianugerahi gelar Pahlawan Nasional oleh Presiden Republik Indonesia.