Como evitar que o seu e-mail caia no anti-spam?

Os filtros anti-spam hoje se tornaram muito eficientes, mas como eles funcionam? Geralmente eles avaliam todo o conteúdo de de um email:  conteúdo, links, imagens, formatação e até assunto....