Η βιβλιοθήκη στεγάζεται στον αύλειο χώρο του ναού της Αγίας Βαρβάρας από το 1945.
Η πρώτη μεγάλη δωρεά βιβλίων έγινε το 1879, από το ρεθυμνιώτη λόγιο Εμμανουήλ Βιβυλάκη και αποτελούνταν από 700 τόμους αξιόλογων εκδόσεων. Σημαντική υπήρξε η προσφορά του Φιλεκπαιδευτικού Συλλόγου Ρεθύμνου. Από το 1953, αναγνωρίστηκε ως Δημόσια Κεντρική Βιβλιοθήκη Ρεθύμνου. Είναι μια από τις πλουσιότερες περιφερειακές βιβλιοθήκες της Ελλάδας. Διαθέτει πάνω από 130.000 τόμους βιβλίων, καθώς και πλούσιο αρχείο εφημερίδων. Εδώ και πολλά χρόνια αναζητείται κατάλληλος χώρος για τη μεταστέγασή της.