江戸時代には、四天王寺の乾の方向にあるので乾社と称し、毘沙門天を祀って「毘沙門堂」「如意山神宮寺」としてしられていた。別当は四天王寺の塔頭東光院で、その下に神職がおかれていた。もとは天王寺村の鎮守の一つである。下図は「摂津名所図会」から毘沙門祭の様子。
神仏分離以来、豊受大神など五柱の神を祭神とするようになった。