Miejska Biblioteka Publiczna mieści się w dawnej, wybudowanej w 1856 roku willi Johanna Caspra właściciela wytwórni likierów i win. Budynek zachowany jest w stylu neoklasycystycznym. Elewacja budynku charakteryzuje się ryzalitem pozornym z korynckimi pilastrami, nad którymi znajduje się antyczny trójkątny front. Zachowały się witraże – m.in. ze odwzorowaniem herbu Lęborka oraz zabytkowa drewniana klatka schodowa.