Setelah tidak lagi bergabung dengan tentang Muslimin, Amr bin Ash dipercaya Khalifah Umar bin Khattab menjadi gubernur Mesir. Menjadi pemimpin umat Islam di sana, serta berdakwah mengajak kepada siapa saja untuk beriman kepada Allah SWT.
Amr bin Ash menempati istana megah, lengkap dengan berbagai kenikmatan dan jaminan keamanan pada setiap waktu. Namun kemegahan istananya itu bertolak belakang dengan gubuk kecil dan reyot yang berada tidak jauh dari depan istananya. Dalam buku kisah keadilan para pemimpin Islam tulisan Nasiruddin dikatakan, suatu ketikaAmr berpikir untuk menggusur gubuk tersebut menggantinya dengan membangun sebuah masjid agung. Hal itu dimaksudkan supaya terjadi keseimbangan antara istana sebagai refleksi dari kehidupan dunia dan masjid sebagai upaya meraih kebahagiaan akhirat.
Kemudian Amr mengumpulkan seluruh pejabatnya untuk membahas kemungkinan pembangunan masjid impiannya. Dalam rapat tersebut, Amr mendapat informasi jika gubuk reyot di depan istananya adalah milik keluarga Yahudi miskin. Informasi tersebut justru semakin menguatkan keinginan Amr untuk segera meletakkan batu pertama pembangunan masjid.
Esok harinya, Amr memanggil orang Yahudi yang mendiami gubuk ke istana. Sesampainya di istana, Amr kemudian mengutarakan maksudnya ingin membangun masjid di atas tanah tempat gubuk milik orang Yahudi tersebut. Sebagai imbalannya, Amr bersedia membeli tanah dengan harga yang telah disepakati.
Mendengar rencana itu, orang Yahudi tidak mennyanggupi permintaan sang gubernur. Dengan lantang dia menolak untuk menyerahkan tanahnya walau dibayar berpuluh kali lipat. Sambil beralan meninggalkan istana, orang Yahudi tetap pada pendiriannya tidak menyerahkan harta satu-satunya yang dimiliki.
Sebagai gubernurm Amr tidak mengindahkan keputusah orang Yahudi yang tetap pada pada pendiriannya. Segera Amr menetapkan surat keputusan untuk membongkar paksa gubuk keluarga Yahudi miskin tersebut. Amr beralasan pembongkaran dilakukan untuk mewujudkan sebuah kemaslahatan yang lebih besar kepada kaum Muslimin Mesir.
Orang Yahudi yang sedang tidur santai di gubuknya kaget begitu melihat dari kejauhan, sejumlah tentara kerajaan berjalan menuju ke arahnya. “Atas perintah gubernur, kami ingin membongkar paksa gubuk kamu untuk dijadikan masjid”, kata salah satu prajurit dengan nada tinggi. Kelaurga Yahudi menangis tanpa henti, tanpa daya dia menyaksikan tempat tinggal satu-satunya yang mereka miliki harus dibongkar. Orang Yahudi membayangkan saat-saat bahagia melihat senyum anggota keluarganya akan berakhir hanya dalam hitungan menit.
Di tengah perasaan sedihnya tersebut, tib-tiba orang Yahudi teringat akan pemimpin tertinggi umat Islam, Khalifah Umar bin Khattab, yang berada di Madinah. Tanpa pikir panjang, segera dia berjalan menuju Madinah untuk meminta keadilan atas keputusan Gubernur Amr. Namun dalam perjalanan, orang Yahudi berkecil hati ketika membayangkan sosok Umar bin Khattab. Dia pesimis, dirinya yang lusuh dengan pakaian compang-camping akan disambut setibanya di Madinah, terlebih keluhannya didengarkan oleh seorang tokoh besar Muslimin. Dengan perasaan gundah, orang Yahudi tetap berjalan ke Madinah menjajal keberuntungan nasibnya.
Sesampainya di Madinah, semua yang dia takutkan tidak terjadi. Dengan ramah, Khalifah Umar bin Khattab menyambut orang Yahudi layaknya tamu kenegaraan. Suguhan aneka makanan dan minuman menjadi bentuk betapa hormatnya khalifah kepada tamu, meski dirinya menyadari bukan seorang muslim. Sambil menyantap hidangan, orang Yahudi menceritakan permasalahannya kepada Khalifah Umar. Di akhir pembicaraan, Umar meminta orang Yahudi untuk mengambil sepotong tulang busuk yang berada di tempat sampah tidak jauh dari tempat dia duduk. Dengan keraguan, orang Yahudi menuruti permintaan Umar.
Di tulang busuk itu, Umar kemudian mencabut pedang dari selongsongnya dan menggoreskan garis lurus pada tulang busuk. “Bawalah tulang busuk ini baik-baik ke Mesir dan berikan kepada gubernurmu, Amr bin Ash”, kata Umat sambil menyodorkan tulang busuk tersebut kepada orang Yahudi. Dengan perasaan bingung, orang Yahudi hanya menuruti permintaan Umar kemudian kembali ke Mesir.
Setibanya di Mesir, segera dia menyerahkan tulang busuk itu ke Gubernur Amr. Tidak disangka, setelah memegang tulang busuk tersebut dan melihat goresan lurus, tubuh Amr menggigil dan wajahnya berunah menjadi pucat ketakutan. Segera Amr bin Ash memerintahkan anak buahnya untuk menghentikan dan merobohkan masjid yang masih dalam tahap pembangunan.
Begitu herannya orang Yahudi, sebelum masjid dirobohkan, segera dia bertanya kepada Amr untuk menjelaskan maksud dari tulang busuk tersebut. “Tulang itu berisi ancaman Khalifah, yakni Amr bin Ash ingatlah kamu, siapapun kamu dan setinggi apapun jabatanmu, suatu saat nanti kamu menjadi tulang yang busuk/ karena itu bertindak adillah kamu seperti huruf alig yang tegak lurus, adil di atas dan adil di bawah. Sebab jika tidak, ku tebas batang lehermu”, kata Amr bin Ash.
Segera orang Yahudi tersebut bertunduk haru, ia kagum akan sikap kepemimpinan Khalifah Umar dan keadilannya yang tidak pandang bulu. Dengan perasaan ikhlas, orang Yahudi tersebut menginfakkan tanahnya untuk dibangun masjid, tidak lama kemudia, dia beriman dan menyatakan diri memeluk Islam.