Mas já investiguei e descobri a causa: os servidores estavam com o módulo pam_motd.so habilitados no /etc/pam.d/sshd e o gerador do arquivo motd rodava alguns scripts que faziam várias verificações (atualização de pacotes, FS montados, etc).

Foi só desabilitar o módulo pam_motd.so no /etc/pam.d/sshd e o problema foi resolvido.

Outra opção que pode trazer algum ganho de velocidade é a “UseDNS no” pra desligar o nslookup feito pelo servidor.