Rivayete göre, Hızır adlı bir genç Pir Sultan’ın adını duyup ondan feyz almak için yanına giden köylülerden biridir. Hızır, Sivas’ın Hafik ilçesinin sofular köyündendir. Köyündeki insanların ve yaşamın bozulması nedeniyle gelip Banaz’a yerleşir; Pir Sultan Abdal’ın yanında kalır. Pir Sultan Abdal’a hizmeti ve müritliği yedi yıl sürer. Yedi yıl sonra Hızır, Pir Sultan Abdal’a “pirim bana himmet edin, ruhsat verin, büyük adam olayım” der.

Pir Sultan Abdal da “Ben sana ruhsatı da, himmeti de veririm Hızır, ama sen gidip büyük adam olunca, vezir, paşa olunca gelip beni asarsın” der ama duasını eksik etmeden İstanbul’a yolcu eder Hızır’ı.

Hızır. İstanbul’da saraya gider ilerler, paşa rütbesi alır ve Sivas Valiliği’ne gönderilir. Vali olunca tüm inanıcını, öğrendiği her şeyi unutur, yoksulları ezmeye, onlara zulmetmeye, haram yemeye başlar. Hak gözetmez, namus bilmez bir vali olur. Artık adı Hızır Paşa olan Hızır’ın Sivas’ta Kara Kadı ve Sarı Kadı adlı iki kadısı vardır. Bu iki kadı da aldıkları rüşvetlerle, haklıları haksız çıkarmakta, adaletsizlikleriyle ünlüdürler. Yoksul halkın bu iki kadıdan çekmediği kalmamıştır.

Yiğitliği ve cesurluğuyla bilinen Pir Sultan Abdal da iki köpeğine de şu adları verir; “Sarı Kadı” ve “Kara Kadı” …

Köpeklerini “Kara Kadı” ve “Sarı Kadı” diye çağırınca, düşmanları gidip iki kadıya söylerler. Adlarının köpeklere verildiğini duyan kadılar, kızıp küplere binerler. Hemen Pir Sultan Abdal’ı tutuklatıp Sivas’a, huzurlarına getirirler. Köpeklerinin adlarını sorarlar.

Pir Sultan Abdal gerçeği saklamaz. “Evet” der, “benim köpeklerimin adı Kara Kadı ve Sarı Kadı’dır. Ama onlar sizden daha iyidir, çünkü benim köpeklerim haram yemez.”

“Köpeklerinin haram yemeyeceğini nereden biliyorsun?” diye sorarlar.

Pir Sultan Abdal “isterseniz deneyin” diye yanıt verir.

Denemeye karar verirler. İlin ileri gelenleri toplanır ve bir kaba haram, bir kaba haram olmayan yemek hazırlarlar. Kapları gizlice işaretleyip kadıların huzuruna getirirler.

Kara Kadı ve Sarı Kadı önlerine konan haram yemeği bir güzel yerler.

Kadılar doyduktan sonra aynı şekilde köpekler için de iki kap yemek hazırlanır. Pir Sultan Abdal’ın Kara Kadısı ve Sarı Kadısı ise, içinde haram yemek olan kabı bir kez kokladıktan sonra yemeyip haram olmayan yemekten yerler.

Böylece ilin ileri gelenleri kadıların haram yediklerini öğrenirler.

Yaşanan bu ibretlik olayın üzerine Pir Sultan Abdal da “İyi köpek, kötü kadıdan efdaldır (yüksektir, faziletlidir, erdemlidir).” diyerek köpeklerin gözlerini öper. Sonra da sazını eline alıp şu eserini söyler;

Koca başlı koca kadı
Sende hiç din iman var mı
Haramı helali yedi
Sende hiç din iman var mı?

Fetva verir yalan yulan
Domuz gibi dağı dolan
Sırtına vururum palan
Senin gibi hayvan var mı?

İman eder amel etmez
Hakkın buyruğunda gitmez
Kadılar yaş yere yatmaz
Hiç böyle kör şeytan var mı?

Pir sultan’ım zatlarınız
Gerçektir şöhretleriniz
Haram yemez itlerimiz
Bu sözümde yalan var mı?