Asal Usul batu Hajar Aswad tidak bisa lepas dari sejarah Ka’bah itu sendiri. Pembangunan Ka’bah, menurut al-Qur’an pada surat al-Baqarah ayat 127 dilakukan oleh Ibrahim dan anaknya, Ismail. Diceritakan bahwa Allah telah menunjukkan pada Ibrahim dimana mereka harus melakukan pembangunan, yaitu tempat yang amat dekat dengan sumur Zamzam, akhirnya Ibrahim dan Ismail mulai mengerjakan konstruksi Ka’bah kira-kira pada tahun 2130 sebelum masehi. Ketika pembangunan ini tengah berlangsung, Ibrahim menyadari bahwa amat banyak komponen-komponen Ka’bah yang tidak mampu dibuat karena kurangnya bahan, sehingga akhirnya ia dan Ismail pergi menyusuri beberapa gunung untuk membawa bebatuan dengan tujuan menyelesaikan konstruksi Ka’bah tersebut.
