Como deixar seu blog em WordPress mais rápido?

O que mais tenho visto são blogs que demoram 5, até 10 segundos (e as vezes mais) para carregar completamente. E o que conseguimos com isso...