28 Mayıs'ta yapılan ikinci turu yapılan Cumhurbaşkanı Seçimi'nin ardından kurulan kabinede Cumhurbaşkanı Yardımcısı görevini üstlenen Yılmaz, 1967'de Bingöl'de dünyaya geldi.
ODTÜ Kamu Yönetimi Bölümü'nü birincilikle bitiren Yılmaz, yüksek lisansını ABD Denver Üniversitesi Uluslararası İlişkiler Bölümü'nde, doktorasını Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümü'nde tamamladı.
Başbakanlık Devlet Planlama Teşkilatı Müsteşarlığı, AB ile İlişkiler Genel Müdürlüğü görevlerini yürüten Cevdet Yılmaz, Ulusal Ajans, ATAUM ve Sümer Halı'da yönetim kurulu üyeliklerinde bulundu.
Yılmaz, 23, 24, 26 ve 27. Dönemlerde Bingöl, 25. Dönem'de Diyarbakır Milletvekili seçildi. Parlamentolararası Birlik Türk Grubu Başkanlığı da yapan Cevdet Yılmaz, 60. Hükümet'te Devlet Bakanı; 61, 62 ve 64. Hükümetlerde Kalkınma Bakanı, 63. Hükümet'te Başbakan Yardımcısı olarak görev aldı.
AK Parti MKYK Üyesi, Tanıtım ve Medya, Dış İlişkiler ve Ekonomi İşlerinden Sorumlu Genel Başkan Yardımcılığı da yapan Yılmaz, TBMM Plan ve Bütçe Komisyonu Başkanlığı görevini yürüttü.
Çok iyi düzeyde İngilizce bilen Yılmaz, evli ve 2 çocuk babasıdır.