get はプロパティが呼び出されたとき、set はプロパティに値がセットされたときに呼び出されるもの、ということですが、
動画中にあるように、プロパティ名を score としてしまうと、get や set が呼び出されてしまうため、内部的なデータの扱いでは別の名前を使わなければいけません( _score )。

とすると、保持した値を返す役割として、必ず get で return してやる必要があると思いましたが、あっていますでしょうか？
また、どちらか他方だけで使われることはあるのでしょうか？

一応内部のデータが変わってしまってもかまわず、出力さえしなければよいのであれば、
今回 set に書かれた内容を get に書き、異常な値であれば出力できないようにする、ということ（ = set を使う必要がない）にはなると思いますが、わざわざそのような仕様にする必要はないですよね。