In borgata Torre risulta che già nel 1200 esistesse un edificio fortificato, infatti il castello di Pej è ricordato nelle divisioni malaspiniane del 1221. Ora il fortilizio è scomparso e non ne restano che poche tracce nel fosso di Pej.
Attorno alla metà del secolo XVII il feudo apparteneva agli Spinola ed al duca Cesarini. Nel 1719 una grande frana distrusse interamente la chiesa e l'antico borgo medievale, non causando miracolosamente vittime.
Anche sull'origine della parrocchia dedicata a San Nicola, di cui ricorre la festa liturgica il 6 dicembre, non si hanno notizie precise. E' certo tuttavia che esistesse già nel 1523 e distrutta anch'essa nella frana del 1719, fu ricostruita dal Principe Doria nel 1730.