元戸沢氏は上桧木内戸沢に居城を築いていたが、戸沢兼盛の時、下って現在の門屋城本丸に氏神として社を建立し崇敬して現在に至ると、言い伝えられている。