Du hast zugestimmt, dass die Katzen bei euch einziehen, also kannst du diese Entscheidung jetzt nicht mehr einfach zurückziehen.
Es wäre vollkommen zu akzeptieren, sofern du gesagt hättest "Nein, ich möchte nicht, dass hier Haustiere leben.", aber das hast du offensichtlich nicht. Jetzt musst du eben mit den Konsequenzen leben.
Meine Katzen verlassen die Wohnung nicht und belästigen auch keinen Nachbarn. Wenn mein Mitbewohner nun plötzlich sagen würde, dass die Katzen ihn nerven und weg sollen, weil er nicht in der Lage ist, sie aus seinem Zimmer zu scheuchen, würde ich das allerdings ziemlich lächerlich finden.
Ich würde die Verantwortung, die ich für andere Lebewesen übernommen habe, nicht einfach aufgeben, nur weil ein erwachsener Mann nicht fähig ist, mit einer kleinen Katze zurecht zu kommen.