ダブルクォーテーションとシングルクォーテーションはどのように使い分けるといいでしょうか？

ダブルクォーテーションだと変数の埋め込みができて、シングルクォーテーションだとできないということは、PHPにおいては常にダブルクォーテーションを使うように意識した方がよろしいのでしょうか？

それとも、場合に応じて使い分けた方がよろしいのでしょうか？