setTimeoutにより定期的に加算する必要のない理由が分かりません。
どのタイミングで加算されているのでしょうか。

  stop.addEventListener('click', () => {
    if (stop.classList.contains('inactive') === true) {
      return;
    }
    setButtonStateStopped();
    clearTimeout(timeoutId);
    elapsedTime += Date.now() - startTime;
  });