Dvergasteinn, kirkjustaður frá 1200 fram um aldamótin 1900, prestssetur til 1940. Í fjöruborðinu neðan við bæinn stendur hinn sögufrægi steinn sem jörðin dregur nafn sitt af. Sagan segir að steinninn og kirkjan hafi staðið hlið við hlið sunnan fjarðar. Þegar kirkjan var svo flutt norður yfir, kom steinninn siglandi á eftir henni yfir fjörðinn.