社伝によると天智天皇の時代に、加賀国から移住した二見加賀之助重行らによってこの地方が開拓された際の鎮守社として創立されたとされている。1060年（康平3年）、五所神社の加護を受けた荒井実継は、源義家の奥州征
社伝によると天智天皇の時代に、加賀国から移住した二見加賀之助重行らによってこの地方が開拓された際の鎮守社として創立されたとされている。1060年（康平3年）、五所神社の加護を受けた荒井実継は、源義家の奥州征伐に従い戦功をあげたという話が伝わる。1180年（治承4年）8月における源頼朝挙兵にあっては、土肥実平がその佩刀を奉納したとされており、奉納した佩刀が現存しており社宝となっている。1621年（元和7年）、1636年（寛永13年）、1661年（寛文元年）および1740年（元文5年）に再建、修復の記録が残っている。1873年（明治6年）7月には村社、1915年（大正4年）11月には神饌幣帛料供進神社に指定された。
その後も改築や拡張を続け、1944年（昭和19年）7月22日付けで郷社となった。すぐそばを高架が通る新幹線の工事および県道の拡張工事は五所神社に影響をあたえ、敷地の面積は116坪ほど減少した。1968年（昭和43年）に神奈川県神社庁よりの献幣使参向神社となった。1995年（平成7年）2月14日付けで神奈川県指定有形文化財とされた本殿は歴史を室町時代後期にさかのぼるもので、三間社流造、瓦棒鉄板葺。
