スルーしてかまいません。
わたしも過去に同じ疑問を持ち、いろいろ参照しましたが、
自分も、産土神なのにあまり拝する気がおきない神社があります。

合う合わないは理屈ではなく直感に由来しています。直感に従ったほうが良いです。
自分が「心地よい」と感じた社寺でかまわないそうです。
スルーしてかまいませんが、礼は尽くしてください。
たとえば前を通るときは一礼してください。