題名通りなのですが、
INSERT INTO posts (message) VALUES
('new post');

INSERT INTO comments (post_id, comment) VALUES
(LAST_INSERT_ID(), 'comment-4-1');

これはpost_idに外部キー制約をつけているから、postsのIDがとれているのか、
それとも直前のINSERT文がpostsであるから、そのIDがとれているのかどちらでしょうか。