Jomsocial es independiente de joomla en cuanto a mensajes. Una cosa es un formulario de contacto y otra es una comunidad creada con jomsocial, que ademas no esta totalmente integrado con el control de acceso de listas (Comunmente llamado ACL) de joomla.
Hasta la version 4.4 de jomsocial que ya se esta preparando, no estara totalmente integrado.
Si no te llegan los email a traves del formulario de contacto, debes ir a Sistema / Configuración Global de joomla e ir a la pestaña Servidor. En el apartado Configuración del correo electrónico mira como lo tienes, que seguramente este ahí el problema.