Para acceder al administrador la url es DOMINIO.com/administrator . Entonces si intentas acceder y no te deja, dime que hace cuando intentas acceder ¿Te redirecciona a la pagina de inicio de la parte pública?
Para pasarlo de remoto a local, lo mejor es que hagas una copia de seguridad y te descargues esa copia, la descomprimes y la instalas, como si fuera un pack original, en local.
Saber Mas >
Copia de seguridad y Restauración de la copia Joomla!