Yunanlar bu şehre "Urima" adını vermişler, Süryaniler ise "Kal'a Rhomeyta" ve "Hesna d'Romaye" adlarını kullanmışlardır.
Roma İmparatorluğu döneminde, Güneydoğu Anadolu'nun Orshoene eyaletine dahil olan Halfeti, bu dönemde önemli bir şehir haline gelmiştir. Bizanslılar döneminde ise "Romaion Koyla" olarak anılmıştır. Şanlıurfa ve çevresi, İslam fetihleri sırasında fethedilmiş, ancak Rumkale gibi yerleşimler Müslüman devletlerin toprakları dışında kalmıştır.
Halfeti, 1116 yılında Urfa Haçlı Kontluğu'nu kuran Boudovin de Boulogne tarafından Ermeni Prensi Gog-Vasil'den alınmıştır. Daha sonra 1150 yılında Urfa kontesi Beatrice tarafından Ermeni Katolikosuna teslim edilmiştir. 1260 yılında İlhanlı hükümdarı Hülagu'nun orduları tarafından ele geçirilmiştir.
1292 yılında Memlük Sultanı Eşref tarafından ele geçirilen Rumkale, bu dönemde tamir edilmiş ve "Kal'at-ül Müslimin" adını almıştır. Yavuz Sultan Selim zamanında Osmanlılar tarafından fethedilen şehir, "Urumgala" ve "Rumkale" adlarını alarak Halep Eyaleti'ne bağlanmıştır. Ancak Osmanlı döneminde stratejik önemini kaybetmiş, nüfusu azalmış ve şehir harap olmuştur.
- yüzyılda nüfusunun 5-10 haneye kadar düşmesi ve Halfeti harap olması sonucunda yerleşim alanı Fırat Nehri'nin karşı sahiline taşınmış ve bugünkü Halfeti yerleşimi kurulmuştur. 1926 yılına kadar Birecik'e bağlı bir nahiye olan Halfeti, 1954 yılında ilçe statüsü kazanmıştır. Halfeti, tarih boyunca birçok medeniyetin izlerini taşıyan zengin bir tarihi mirasa sahiptir.