Akyazı Selçuklular zamanında kurulmuş bir Türk kasabasıdır. Selçuklu Devleti’nin sona ermesi ile merkezi Göynükte bulunan Umurhan Beyliği’nin eline geçmiştir. 1303 tarihinde Osmanlı Devleti’in kurucusu Osman bey’in komutanlarında Konuralp tarafından Osmanlı topraklarına katılmıştır. Bundan böyle sürekli Türk egemenliğinde kalan Akyazı, 1808’ yılında İstanbul ve 1845 yılında Üsküdar’a bağlanmıştır.
Kanuni Sultan Süleyman’ın oğulları Selim ve Beyazıt zamanında başlayan taht kavgaları yüzünden çıkan kanlı çatışmalar yöre halkı üzerinde derin izler bırakmıştır. Yine bu bölgede çıkan suhte (softa) ayaklanmaları yüzünden Akyazı ve çevresi halkı büyük zarar görmüştür.
Akyazı tarih çağları içinde Bitinya, Roma ve Bizans gibi büyük devletlerin egemenliği altında kalmıştır. Osmanlı Devletinin kurulması ile Bizanslıların egemenliği altında bulunan Akyazı ve çevresine yapılan seferler sonunda Osmanlı egemenliğine geçmiştir. 1944 yılında İlçe olan Akyazı önce Kocaeli iline, 1954 yılında da Sakarya’nın İl olması ile Sakarya’ya bağlanmıştır.