Chalid nahm den Islam an in den 720er Jahren n.Chr. als er am Hof der Umayyaden tätig war. Er erkannte aber frühzeitig die Zeichen der Zeit und schloss sich der aufkeimenden abbasidischen  Umsturzbewegung in Chorasan an und spielte eine bedeutende Rolle. Nach dem Umsturz der Umayyaden unterhielt er enge Beziehungen zum ersten abbasidischen Kalien Abul-Abbas as-Saffah, fungierte als sein oberster Wesir und führte Innovationen in der Verwaltung ein. Unter as-Saffahs Nachfolger Mansur nahm Chalids Einfluss ab, aber er bekleidete immer noch bedeutende Posten als Provinzgouverneur in Fars, Tabaristan und Mosul. Als Verwalter zeichnete er sich vor allem in Steuerfragen Milde und Gerechtigkeit aus und war daher ein beliebter Gouverneur. Er scheint um 775 n.Chr. kurzzeitig in Ungnade gefallen zu sein, aber er schaffte es, sich zu erholen, unterstützt durch den schnellen Aufstieg seines Sohnes Yahya ibn Chalid. Der Einfluss der Barmakiden stieg beständig zu seinem Lebzeiten an. Chalid starb 781/2, kurz nachdem er von einem Feldzug gegen Byzanz zurückgekehrt war.