Trasferirsi alla soglia dei 40 anni

Buongiorno, chiedo un vostro parere, raccontando brevemente la mia storia.
Innamorati nel 2011 viviamo per due anni una storia a distanza, io Milano (provincia) lui Napoli (città).. nel 2013 lui decide di trasferirsi a Milano per me, qui non ha nessuno, solo la sottoscritta. Andiamo subito a convivere e fortunatamente trova subito lavoro... Passano gli anni e tutto procede bene, fino a quando, nel 2016, per una serie di ragioni perde il lavoro e si ritrova disoccupato per diversi mesi, preso dallo sconforto decide di tornare a Napoli, ma senza lasciarci. Da li a poco scopro di essere incinta. Nel frattempo lui ha trovato lavoro a Napoli ma decide comunque di tornare a Milano, siamo a Settembre, la gravidanza procede ed a Gennaio 2017 nasce la nostra bimba. Fortunatamente trova un lavoro stabile. E la nostra vita procede tra alti e bassi. Decidiamo di vendere casa per comprarne una più grande, ci imbattiamo nel mercato immobiliare con prezzi esorbitanti.. Da li il panico, mille paure, mille ansie, inizia ad avere attacchi di panico, estranea la sua infelicità...Mi parla apertamente, non riesce più a stare qui, ci ha provato per 10 anni, ma non si è mai ambientato e vorrebbe tornare a Napoli, (chiedendo il trasferimento a lavoro) nel pacchetto siamo incluse anche io e la bimba che attualmente ha 6 anni.
Io non so cosa fare, premetto che amo Napoli, che amo i miei suoceri, e mi trovo benissimo con tutta la sua famiglia, qui a Milano ho un lavoro stabile da oltre 20 anni, ma le mie paure più grandi sono in primis il futuro di mia figlia ed i miei genitori che ahimè iniziano ad essere vecchietti... Voi cosa fareste??