Bölgenin en dikkat çeken doğal oluşumlarından biri olan dağ, yalnızca eşsiz manzarasıyla değil, yüzyıllardır dilden dile aktarılan efsaneleriyle de ilgi görüyor. Bölge halkı arasında anlatılan rivayetlere göre, Hazreti Nuh'un gemisinin tufan sonrasında Bitlis topraklarından geçtiğine inanılıyor. ,
Anlatılan efsaneye göre Kalems Dağı, gemiye yol vermeyince gemi ilahi bir kudretle dağı yararak yoluna devam etti.
Dağın bugün ikiye ayrılmış gibi görünen yapısı ve ortasında bulunan geniş geçit de bu rivayetle ilişkilendiriliyor.