Instalar o WordPress é muito simples! Comece baixando o arquivo compactado disponível em:

http://www.wordpress.org/download

Se quiser baixar a versão em Português, acesse:

http://br.wordpress.org/download

Descompacte o arquivo, transfira-o para o seu servidor e acesse o local aonde ele descompactado.

Renomeie o arquivo "wp-config-sample.php" (que se encontra no diretório raiz da pasta do seu WordPress) para "wp-config.php". Após isso, abra-o para edição e altere as configurações de banco de dados:

(...)
// ** MySQL settings - You can get this info from your web host ** //
/** The name of the database for WordPress */
define('DB_NAME', 'database_name_here');

/** MySQL database username */
define('DB_USER', 'username_here');

/** MySQL database password */
define('DB_PASSWORD', 'password_here');

/** MySQL hostname */
define('DB_HOST', 'localhost');
(...)

Colocando o nome do seu banco de dados em "database_name_here", colocando o seu login em "username_here" e sua senha em "password_here", não se esquecendo de indicar o hostname em "localhost" caso ele seja acessível por um hostname diferente.

Abra no seu navegador o endereço aonde você descompactou os arquivos de instalações do WordPress, caso suas configurações de banco de dados estejam certas, você deverá então cair na página de instalação.

Preencha as informações do site/blog que você estará criando (título, nome de usuário/senha/e-mail do usuário administrador) e deixe marcado o checkbox "Allow my site to appear in search engines like Google and Technorati" caso queira que seu site/blog seja automaticamente indexado por mecanismos de busca.

Feito isso, clique no botão para prosseguir na instalação e o WordPress já estará instalado e funcionando!

Agora basta fazer seu login na área administrativa (http://www.seusite.com/wp-admin) e "mandar ver"!

Extendendo seu WordPress

Você pode baixar plugins que adicionaram mais recursos ao seu WordPress em:

http://www.wordpress.org/extend/plugins

Ou você ainda baixar temas e mudar o visual do seu WordPress em:

http://www.wordpress.org/extend/themes

Veja ainda a documentação completa do WordPress em:

http://codex.wordpress.org