Creo que puede ser debido a una mala instalación. Comentas que es una instalación nueva, ¿por qué no intentas instalar nuevamente y esta vez omites configurar la cuenta FTP.
Por otro lado verifica que tu base de datos se haya creado correctamente y estén las tablas completas. También existen tutoriales que puedes resetear el user y pass de Joomla que en último caso podrías probar a hacer y ver si entras. Suponiendo que logres entrar entonces por aquí debería de andar el problema, es decir a la hora de crear la BD.
Pero como dije anteriormente intenta instalando de nuevo. Verifica que la BD esté limpia y que no hayas tablas creada previamente. Recuerda que en una instalación nueva de Joomla el usuario por defecto es admin + la contraseña que estableces previamente en la instalación que puede ser cualquiera.
Otra cosa: ¿por casualidad no es algún quickstart lo que intentas instalar? ó ¿es una instalación Joomla descargada de la página oficial a como dices?
Saludos y nos cuentas cómo vas.