1977 yılında Antalya’nın Gazipaşa ilçesinde doğdu. İlk ve orta öğrenimini Gazipaşa’da tamamladıktan sonra 1994 yılında AÜ. Siyasal Bilgiler Fakültesi Kamu Yönetimi bölümünü kazandı. 1999’da Mülkiye’den mezun oldu ve aynı yıl açılan kaymakamlık sınavını kazanarak mesleğe başladı. 2001-2002 yıllarında İngiltere’de “Kamu Yönetimi ve Polis” alanında, yine Türkiye’de AÜ Sosyal Bilimler Enstitüsü’nde Kamu Yönetimi ve Siyaset Bilimi Anabilim dalında Master yaptı. Halen TODAİE “Yönetim Bilimleri Doktora Programına” devam etmektedir. Daha önce Ankara-Evren(vekaleten), Kütahya-Altıntaş, Malatya-Yazıhan, Mardin-Mazıdağı, Karaman-Ermenek ilçelerinde Kaymakamlık yaptı; Ağustos 2008 Kararnamesiyle halen yürütmekte olduğu Eldivan Kaymakamlığına atandı. İyi derecede İngilizce bilen Ali Yılmaz, Hakim Muhlise Yılmaz ile evli olup bir kız babasıdır.