IEでは「start()」という名前の関数を使うと「このオブジェクトではサポートされていない操作です」というエラーが出てしまいます。

IEで動作させたい場合には、スタートボタンで使う関数名を別の名前に書き換えるようにしてください。

getTimeで得られるのは1970/1/1から現在までのミリ秒となります。多くのコンピューターシステムが1970/1/1を基準日として使いますので豆知識として覚えておきましょう。
なお、getTimeに関しては公式ドキュメントも参考にしてみてください。
https://developer.mozilla.org/en/JavaScript/Reference/Global_Objects/Date/getTime

ユーザーの方からもご指摘がありましたが、このプログラムでは「start」「stop」という名前で関数と変数の両方が定義されているため、2回以上実行するとエラーが発生してしまいます。

2回以上実行させたい場合は、関数と変数のどちらかの名前を重複しないように別の名前に書き換えてください。

なお、 #01 のレッスン http://dotinstall.com/lessons/just_five_js/3001 の補足情報にも記載しましたが、IEでは start という名前の関数を定義するとエラーになるようなので、関数名を書き換えるほうがいいかもしれません。

ユーザーの方からご指摘いただきました。このままでも動作しますが、

e.innerHTML = (diff / 1000) + '秒、遅い！';

は、

e.innerHTML = -(diff / 1000) + '秒、遅い！';

とすべきでした（「-1.25秒遅い！」より「1.25秒遅い！」の方がわかりやすいですよね…）。