U gradu postoje mnoga kulturna i istorijska svedočanstva da je čistotom vode, vazduha i ljudi vekovima privlačio goste. Na gradskom trgu i danas dominira konak Serdara Jovana Mićića, kneza rujanskog i serdara užičke nahije, sagrađen 1823. godine. Ni serdar Mićić, politički velikan onoga vremena, diplomata i neustrašivi junak, nije bio imun na strast srpskih političara za atraktivnim lokacijama, pa je sagradio kuću u Arilju, jer je tu voleo da boravi zimi. Iz 1895. godine datira Narodna biblioteka, koja je danas savremeni kulturno-informativni centar, sa bioskopom i galerijom i fondom od 30.000 knjiga, među kojima su i sva izdanja danas najpoznatijeg Ariljca, Dobrila Nenadića, po čijem je romanu Dorotej, snimljen i film. Narodna biblioteka Arilje je organizator brojnih kulturnih manifestacija, među kojima su Majski dani kulture, Dečiji pozorišni festival, Smotra stvaralaštva amatera Zlatiborskog okruga.