intervalId に setInterval の返り値を入れる際に、そもそもの if 文自体も含まれているので、循環参照みたいな感じになっている様な気がします。

実際に挙動としてはおかしくはなっていないのですが、そこらあたりがなんとなく引っかかります。