В соответствии с семейным законодательством воспитанием ребенка занимаются оба родителя по взаимному согласию. Споры в этом разрешает суд. О более конкретном, в том числе по Вашему вопросу закон ничего не говорит. Таким образом, объективно Вы не можете запретить мужу, что-то делать, поскольку Ваши запреты для него не будут иметь юридической силы и он легко может их нарушить. Однако, если Вы обратитесь в суд с этими требованиями, например время и частота посещений и пр., то это станет для него обязательным.