尾張二代藩主徳川光友公が、寛文6年（1669）に当時は馬走瀬といわれたところ（今の横須賀町）に、別荘を建てました。この横須賀の御殿は、臨江亭と言いました。臨江亭は、光友公が亡くなったあとの正徳5年（1715）に取り壊されてしまいましたが、その70年後の天明5年（1785）に、新しく代官屋敷が置かれました。このことを書いた石碑が、勤労センターの東方に建てられています。