Rumah Sakit Umum Haji Medan merupakan salah satu dari empat Rumah Sakit Haji di Indonesia yaitu Rumah Sakit Haji Jakarat, Rumah Sakit Haji Ujung Pandang, Rumah Sakit Haji Surabaya. Keempat Rumah Sakit Haji ini dibangun sebagai wujud dari gagasan masyarakat, khususnya para Hujjaj/Persaudaraan haji untuk mendirikan suatu "Monumen" untuk mengenang tragedi terowongan Al - Muaisin Mina yang menelan lebih dari 600 jemaah Haji indonesia pada tahun 1990/1410 H. Pembangunan keempat Rumah Sakit Haji di Indonesia merupakan bantuan dari Pemerintah Arab Saudi dalam upaya mengenang peristiwa terowongan Al-Muassin Mina.
Pada tanggal 28 Februari 1991 di Jakarta, Presiden Republik Indonesia menandatangani Prasasti untuk keempat Rumah Sakit Haji, yakni Jakarta, Surabaya, Ujung Pandang dan Medan.
Melalui Surat Keputusan Gubernur Propinsi Sumatera Utara No. 445.05/712.K/ 1991 tanggal 7 Maret 1991 maka dibentuk Panitia Pembangunan Rumah Sakit Haji Medan dan peletakkan batu pertama pembangunan Rumah Sakit Haji Medan oleh Bapak Menteri Agama Republik Indonesia dan Bapak Gubernur Provinsi Sumatera Utara pada tanggal 11 Maret 1991. Pada tanggal 4 Juni 1992, Bapak Presiden H.M. Soeharto meresmikan Rumah Sakit Haji Medan.
Pada tanggal 3 Juni 1998 status Rumah Sakit Haji Medan berbentuk Yayasan yaitu Yayasan Rumah Sakit Haji Medan. Untuk penyelenggaraan rumah sakit diperoleh dari Departemen Kesehatan RI berdasarkan Keputusan Menteri Kesehatan RI no.HK.07.06/III/1996/09 tanggal 28 Mei 2009.
RS Haji Medan terus mengedepankan pelayanan dengan status akreditasi dengan klasifikasi rumah sakit kelas B melalui SK Menteri Kesehatan RI dengan No.1476/MENKES/SK/X/2010.
Seiring perjalanan waktu dalam upaya meningkatkan pelayanan kesehatan, Rumah Sakit Umum Haji Medan terus mengedepankan pelayanan kesehatan.
Pada tahun 2011 pengalihan pengelolaan Yayasan Rumah Sakit Haji Medan resmi dibawah pengelolaan Pemerintah Provinsi Sumatera Utara sesuai dengan Peraturan Gubernur Sumatera Utara Nomor78 tahun 2011 tanggal13 Desenber 2011 tentang Pengaihan Pengeloaan Yayasan Rumah Sakit Haji Medan kepada Pemerintah Provinsi Sumatera Utara.
Secara kelembagaan sesuai peraturan Gubernur Sumatera Utara Nomor 25 Tahun 2012, tanggal 28 Juli 2012 tentang Pembentukan Organisasi, Tugas, Fungsi, Uraian Tugas dan Tata Kerja, RSU Haji Medan memiliki tugas yakni membantu Gubernur Sumatera Utara dalam menyelenggarakan urusan Pemerintahan Daerah dalam bidang pelayanan medis, perawatan, peningkatan, pemulihan dan rehabilitasi kesehatan masyarakat umum dan Jemaah haji, sedangkan fungsinya sebagai penyelenggara perumusan teknis di bidang rumah sakit dan kesehatan, penyelenggaraan pemberian dukungan atas penyelenggaaraan Pemerintah Daerah dibidang Rumah Sakit dan kesehatan, pembinaan dan pelaksanaan tugas di bidang pengelolaan rumah sakit dan kesehatan, penylenggaraan tugas lain yang diberikan Gubernur Sumatera Utara sesuai tugas dan fungsinya.
Dalam kurun waktu perjalanannya Rumah Sakit Haji terus mengupayakan penguatan kelembagaan baik segi organisasi dan tata kerja Rumah Sakit Umum Haji Medan, dan terbitlah peraturan Daerah Provinsi Sumatera Utara Nomor 11 tahun 2014 tentang Organisasi dan Tata Kerja Rumah Sakit Umum Haji Medan Provinsi Sumatera Utara tanggal 11 November2014.
Sebagai satu-satunya rumah sakit yang berada di Provinsi Sumatera Utara, RSU Haji Medan dituntut untuk terus meningkatkan kinerja dan pelayanan prima kepada masyarakat. Upaya untuk menjadikan RSUD sebagai sentra pelayanan terbaik bagi masyarakat, kini terus dilakukan, setidaknya dengan perubahan status pengelolaan RSUD menjadi Badan Layanan Umum Daerah (BLUD)
Peningkatan status RSUD menjadi BLUD merupakan keharusan setiap daerah sesuai Peraturan Menteri Dalam Negeri Nomor 61 Tahun 2007 tentang Pedoman teknis Pengelolaan Keuangan Badan Layanan Umum Daerah, serta diperkuat dengan Undang-Undang Nomor 44 Tahun 2009 tentang rumah sakit yang mengharuskan pemerintah daerah supaya manajemen rumah sakit menganut Pola PPK- BLUD (Pola Pengelolaan Keuangan – Badan layanan Umum Daerah).
Berdasarkan hal di atas maka pengelolaan RSU Haji Medan menjadi Rumah Sakit BLUD sesuai dengan Keputusan Gubernur No 188.44/365/KPTS/2014 tanggal 13 Mei 2014 tentang Penetapan RSU Haji Medan Provinsi Sumatera Utara sebagai BLUD.
Dan untuk terselenggaranya pelayanan rumah sakit baik pelayanan kesehatan, administrasi rumah sakit, pengelolaan RSU Haji Medan diatur dalam Peraturan Gubernur No. 20 Tahun 2014 Tanggal 24 April 2014 tentang Tata Kelola RSU. Haji Medan Provinsi Sumatera Utara.
Berdasarkan Peraturan Gubernur Sumatera Utara No. 61 tahun 2017 tanggal 7 Juli 2017 tentang Pembentukan Organisasi, Tugas, Fungsi, Uraian Tugas dan Tata Kerja RS Haji Medan.