Fadhl war der älteste Sohn von Yahya ibn Chalid. Während des Kalifats von Harun al-Raschid diente er als Privatlehrer für seinen Erben, den zukünftigen Kalifen Amin und bekleidete in der Zeit 792–797 n. Chr. Gouverneursposten über Tabaristan und Ray und dazwischen in Chorasan (794/5–795/6). In diesen Ämtern zeichnete er sich aus. Er zerstritt sich jedoch mit Harun al-Raschid wegen seiner Versuche, das Kalifat mit den Anhängern der Ahl-ul-Bait (a.) zu versöhnen. Doch Harun al-Raschid war ein erbitterter Gegner der Anhängern der Ahl-ul-Bait (a.). Das führte dazu, dass er auch Al-Fadhl ibn Yahya im Jahr 803 entmachtete. Al-Fadhl wurde inhaftiert und starb in Raqqa in 808 n.Chr. Das war das Ende des Einflusses der Barmakiden.