全キャッシュ削除を行うと表示速度に影響しますか？

影響は限定的です。全キャッシュ削除後も、条件により古いキャッシュを一時的に配信しながら新しいキャッシュへ更新するため、表示速度への影響を抑えられます。