Sākoties 2. Pasaules karam, daudzi briti, kas tolaik bija apmetušies uz dzīvi Rīgā, jau 1939. gadā pameta Latviju. Tā gada oktobrī Harolda sievas māte Lūcija Adisone savos memuāros bija rakstījusi: «…tādā gadījumā arī diplomātiskajām pārstāvniecībām un vēstniecībām būtu jādodas prom, un Lielbritānijas ministrs redzētu, ka mēs briti, kavējam laiku». Tā bija vēstules no Latvijas. Haroldam, kurš ar savu ģimeni bija cieši saistīts gan ar Lielbritānijas vēstniecību, gan slepeno dienestu, vajadzēja būt pilnīgai skaidrībai par politiskajām un ekonomiskajām sekām, kas nāca reizē ar padomju okupāciju.
Haroldam tobrīd Latvijā jau bija stipri izirušas ģimenes saites, jo meitas valsti jau bija pametušas 1939. gada vasarā, bet vecāki un sieva – miruši. Latvijā vēl bija palikuši pirmās sievas vecāki Lūsija un Viljams Adisoni, kuri nevēlējas doties tālo ceļu atpakaļ uz Lielbritāniju. Tajā laikā tas nozīmētu mērot ceļu cauri plašajai Krievzemei, tad pāri okeānam uz ASV un tikai tad – uz Lielbritāniju. Cienījamos gados esošiem ļaudīm šāds pārbrauciens būtu bijis par grūtu.
Vienīgais avots, kas raisa pārdomas par Harolda palikšanu Latvijā, ir Lūsijas dienasgrāmata. Tajā viņa paudusi, ka Harolds pilda kurjera pienākumus un ir tālu no mājām. Harolds bija ļoti labi pazīstams gan ar padomju nacionalizācijas politiku, gan sarkano teroru. Tātad – vajadzēja skaidri apzināties, kas viņu sagaida, ja nepametīs Latviju. No šī var secināt – vai nu Harolds pildīja pavēli palikt Latvijā, vai arī gaidīja oficiālu pavēli pamest Latviju, taču – tā arī nekad nesagaidīja.
Iespējams, mums nekad nebūs iespēja uzzināt iemeslus, kas pamudināja Haroldam palikt Latvijā. Viņš bija ļoti uzticams darbinieks un liels perfekcionists. Iespējams, atbildīgi līdz pēdējam gaidīja vēl kādu svarīgu uzdevumu, bet tā arī nesagaidīja. Un atrašanās Rīgā jau bija ieilgusi...
1940. gadā Harolda mājā Jūrmalā ievācās jaunais Iļģuciema fabrikas direktors Mailands – bijušais fabrikas meistars.
Nacistiskās Vācijas okupācijas pirmajos gados Harolds ar sievu Līnu vēl dzīvoja Jūrmalā, taču tad visiem britiem tika dots rīkojums no vācu komandantūras par Jūrmalas pamešanu 24 stundu laikā. Tas bija 1941. gada jūlija sākums. Holi šo rīkojumu izpildīja un pārcēlās uz Iļģuciema manufaktūras direktora māju, kas agrāk jau piederēja Holu ģimenei. Pēc mēneša uz turieni pārcēla arī pirmās sievas Īvas vecāki Viljams un Lūcija.
1942. gada 10. februārī Vācu drošības policija («The Sicherheitspolizei») ieradās Hola mājās un veica kratīšanu. Tika meklēti šaujamieroči un kompromitējoši dokumenti. Lai arī tos neatrada, Harolds tika arestēts. Četras dienas viņš pavadīja ieslodzījumā kopā ar vēl citiem britu pavalstniekiem. Vēlāk Haroldu pārveda uz Rīgas Centrālcietumu. Ar kāda ģimenes drauga, baltvācieša Krommera palīdzību, kurš dienēja Slepenpolicijā, radiniekiem izdevās piegādāt Haroldam drēbes un ēdienu.
1942. gada 16. jūnijā Harolds tika atbrīvots. Sievasmāte savos pierakstos minēja, ka 1943. gada 30. janvārī Harolds smagi saslima, un ārsti diagnosticēja meningītu, kā rezultātā tika pārvests no Iļģuciema uz slimnīcu. Kad 2. februārī Lūcija Adisone un Līna ieradās Haroldu apraudzīt, medicīnas personāls paziņoja, ka viņš ir miris.
Tomēr Harolda mazmeita Aijona atceras, kā matei ierodoties viņu apciemot Kanādā, stāstījusi par patiesajiem nāves iemesliem, kuri, visticamāk, bija saistīti ar viņa nodarbošanos. Vācieši Haroldu esot spīdzinājuši un vēlāk pametuši uz ielas, pēc kā viņš arī miris. Iespējams, tajā laikā Lūcija dienasgrāmatā baidījusies minēt patiesību, jo tā bija tapusi kara laikā.