Попытайся серьезно на эту тему поговорить с мужем, найти какой-то компромисс (например, всю неделю он по вечерам находится рядом с тобой - итак же они видятся на работе, а в субботу - на весь день может быть свободен, ты занимаешься своими делами). Как-то так. Объясни, что он тебе нужен, что больше времени хочешь с ним проводить, что скучаешь.
Ни в коем случае не манипулируй "Или я, или брат!" - так ты только станешь врагом для него и для его семьи, а особенно для его мамы, и пиши - пропало:(