HTMLに出力する前に、PHP内で文字列を連結するなどの処理も行うかと思います。

そこで気になったのですが、
HTMLに出力する時だけエスケープするのでしょうか?
それとも文字列ならHTMLに出力しないタイミング(PHP内)でも、すべてエスケープ処理させたほうがよいのでしょうか?