Óriási sikerét és népszerűségét állítólagos rágalomhadjárattal igyekeztek befeketíteni természetesen „zsidó ellenségei”. Gróf Zichy Rafael felesége, Pallavicini Eduárdina (Edina) grófnő mély és meghitt barátságot ápolt a bárónővel. Mindketten a Magyar Haza és Nemzet ügyéért buzgólkodtak. Pallavicini Edina az 1920-as években magyarra fordította Mussolini több beszédét. Zichy Grófné alapította 1918-ban a Magyar Katolikus Nőegyesületek Országos Szövetségét, amúgy Tormay Bujdosó könyvének egyik „mélybarna szemű, olaszos szépségű” főszereplője. 1925-ben Gróf Zichy Rafael válókeresetet nyújtott be neje ellen, és az indoklásban kifejti, hogy Pallavicini Edina és Tormay Cecil szeretők. A bárónő és környezete szerint szervezett bosszúhadjárat áldozatai lettek, melynek személyesen Horthy Miklós kormányzó vetett véget. Uzdóczy Páter Zadravecz István ferences rendi szerzetes, akit 1907-ben X. Pius pápa szentelt pappá, és aki 1920 és 1927 között a Magyar Királyi Honvédség tábori püspöke volt, 1925 november 27-én titkos naplójában a következőkép­pen rögzítette mindazt, ami a Kormányzó szájából elhangzott: „Na, a mai napot a legfőbb triumfom napjának tartom, mert másfél évi börtönre ítélték el azt a gazember Zichy Rafaelt, felesége és Tormay Cecil megrágalmazásáért. Ez az ítélet egyedül az én erős közbelépésemre történt. Maga az igazságügy-miniszter is kételkedett, vajon egyáltalán hoznak legalább elmarasztaló ítéletet?  De én megszorítottam a dolgot. Különben itt nem kevesebbről van szó, mint a zsidó Vázsolyi bosszújától megmenteni Tormay Cecilt, akire haragudott a gyönyörű Bujdosó könyv megírása miatt. Az a hitvány nő pedig, akivel Zichy él, és akinek kedvéért eltaszította magától feleségét és gyermekeit, régi metresse volt Vázsolyinak.” 

Tormay tehát másodjára is győztesen került ki az „idegenlelkűek és bolsevikok” gyűlöletének össztüzéből. Kádár Judit irodalomtörténész Az antiszemitizmus jutalma című cikkében részletesen tárgyalja a Bujdosó könyv szövegét. Tormay gyűlölete a férfiak ellen, főként az izraelita származásúak tekintetében határtalan. Torznak, esetlennek, szörnyszülöttnek ábrázolja őket. Viszolygása az ellenkező nemtől majdnem ugyanolyan mértékben ölt testet szövegében, mint a bolsevizmustól való rettegése. Tormay sohasem volt férjnél, és állítása szerint nem érzett szerelmet, legalábbis férfi iránt nem. 1937-ben, sikere csúcsán Mátraházán hunyt el. Távol a világ zajától, egy apró villában hűséges barátnője, Ambrózy-Migázzi Lajosné volt támasza. Saját neméhez való viszonyával kapcsolatos titkát magával vitte a sírba, ahogyan a Napkelet másik kedvelt szerzője – Tormay Cecil levelezőpartnere – egy Bereg megyei bárónő, Czóbel Minka hatalmas kertjében közös sírban nyugszik Büttner Helénnel, „Bob” becenevű irredenta, festőművész barátnőjével. Az utókorra hagyott könyveikből sugárzik az erős asszony tettrekészsége, aki csak látszólag visel abroncsos szoknyát.