Bueno, pues después de mucho trastear creo que he dado con una solución!
El problema residía en la url que da por defecto xmap para acceder al archivo sitemap.xml. Por defecto la url que genera xmap y que es la que yo añadía en google era ésta:
index.php?option=com_xmap&sitemap=1&view=xml
Pero rebuscando por el foro de joomla he visto que a esa url había que añadirle al final: &no_html=1
Quedando por tanto la url completa así:
index.php?option=com_xmap&sitemap=1&view=xml&no_html=1
La he añadido así, en la sección sitempas de google y ahora si que lo lee bien y no me da ningún aviso de error de sitemap vacío como ocurría antes.
Lo que tengo que comprobar ahora es si realmente al hacer cambios en la web, xmap actualiza automaticamente el sitemap y google lo detecta correctamente.
Porque redlo me has dejado con la duda de si lo actualiza o no!