Qeydlərə görə, Tağıyev olduqca təvazökar adam idi, hətta özü haqda danışmağı belə sevmirdi. Dahi şəxsiyyətin özünəməxsus xüsusiyyətlərinə əcnəbi, əsasən də ingilis jurnalist və yazıçıların bələd olmasının səbəbi isə o vaxtlar Bakıya tez-tez qonaq gələn jurnalistləri Tağıyevin şəxsən özünün qonaq etməsi idi. Özü haqqında danışmağı sevməyən milyonçu peşəkar əcnəbi jurnalistlərin sözgəlişi atmacalarına cavab verməklə bəzi sirlərini etiraf etmək məcburiyyətində qalıb. İngilis jurnalistin suallarından yaxa qurtarmaq üçün "Mən şöhrətdən, puldan və gözəl qadınlardan heç vaxt korluq çəkməmişəm" deyən Hacı bir cümlə ilə özünü ifadə edib. "Onlardan hansı sizi birinci tapıb?" sualına, "qadınlar" - deyə cavab verib. "Bəs həyatda bu 3 nemətdən hansına daha çox üstünlük verirsiniz?" sualının cavabında isə yenə də "gözəl qadınlara" - deyib. "Mən sərvətimin miqdarına görə burjua nümayəndəsi, qəlbimə görə isə fəhləyəm. Fəhlə vicdanı isə məni həmişə sadə xalqa tərəf çəkir".
O vaxtlar Qafqaz canişini Vorontsovun arvadı Liza Qriqoryevna Tiflis şəhərindəki rəfiqələri ilə tez-tez görüşürmüş. Görüşlərin birində Tağıyevə yaxşı bələd olan gürcü xanımları Lizaya Hacının "kişilik" keyfiyyətlərindən o qədər danışırlar ki, xanımda ona qarşı istək yaranır. Rəfiqələrindən Tağıyevlə görüş yaratmaq imkanı xahiş edir. Hətta bu görüşün mütləq alınması üçün rəfiqələrinə yaxşıca pul da verir. Rəfiqələri Tağıyevlə Lizanı park gəzintisində görüşdürürlər. Görüş Liza xanımın təsəvvür etdiyindən də gözəl alınır. O, elə ilk söhbətdən Tağıyevə vurulur. Beləliklə, Tağıyev və Liza arasında qısa eşq macərası yaşanır...
Bu qısamüddətli eşq çar sarayına, III Aleksandrın xanımı Sofiya Avqustanın qulağına da çatır. Xatırladaq ki, Sofiya Avqusta Danimarka kralının qızı idi. O, əri III Aleksandrı Bakıya səfərə çıxmağa razı salır ki, gəlib Tağıyevi görsün. Sofiya xanımın ərinə bəhanəsi isə Bakıda tikilməsini istədiyi kilsə olur. 1888-ci ilin oktyabr ayında III Aleksandr Sofiya xanımla birlikdə Bakıya gəlib, sözügedən kilsə isə həqiqətən tikilib. Bundan sonra Tağıyevlə III Aleksandr və xanımı Sofiya arasında görüş də olub. Görüşdən sonra Sofiya ilə Hacı təkbətək söhbət edir. Sözə ilk başlayan Sofiya xanım "Mən sizi Herakl kimi nəhəng təsəvvür edirdim, lakın siz kübar xanımların mübaliğəli təriflərinin müqabilində olduqca adi adama oxşayırsınız" - deyir. Tağıyev isə "Bəli xanım, Allah hər kəsə bir cür qabiliyyət verir, kimisinin boyu ucadır, kimisinin də səsi" deməklə danimarkalıların ucaboylu olmasına, III Aleksandrın isə gur səsinə işarə edir. Beləliklə, həmin söhbətdən sonra A.Sofiya xanımla Tağıyev arasında III Aleksandrdan gizli "eşq" macərası yaşanır. H.Z.Tağıyev özünün nadir enerjisi və lütfkarlığı ilə yaşının bütün dövrlərində qadınların sevimlisi olub. Onu qadınlara sevdirən əsas xüsusiyyəti digər milyonçu kişilər kimi simic olmaması, əksinə son dərəcə diqqətçiliyi və əliaçıqlığı idi. Ona üz tutan qadınların heç birini heç vaxt (tanıdı-tanımadı) naümid qoymayıb. Onların istər maddi, istərsə də mənəvi tələbatlarını əsl kişi səxavəti ilə ödəyib. Bakıda milyonçuların çox olduğu bir vaxtda əksər milyonçular xaçpərəst xanımlarla, xüsusilə rus, erməni, gürcü, polyak, alman xanımları ilə vaxt keçirib, onları zinət içərisində saxlamağı özlərinə fəxr bilirdilər. Əcnəbi qadınları məst etməkdə bir-biriləri ilə yarışanlar da var idi. Lakin Tağıyev belələrindən deyildi.
Tağıyevin təkcə Bakıda deyil, Moskvada, Peterburqda, Berlində və Parisdə çoxlu qadın pərəstişkarları olub. Paris xanımları Tağıyevin Parisə gəlişini xüsusi qeyd edirdilər. Hacı da öz növbəsində elə sözügedən qadınlara qarşı münasibətdə laqeyd olmayıb. O, qadınların elədikləri hərəkətləri səmimi qəbul edərək onları yüksək dəyərləndirib. "Könülləri xoş olsun" deyə o vaxt Parisdə ən bahalı, ən gözəl fransız ətri olan "Eleqan De Parti"ni hədiyyə edərdi. O vaxtlar bir çox qadınlar mağazanı bəzəyən bu ətirə həsrətlə baxardılar. Tağıyev özü də o ətrin qoxusunu çox bəyənirdi. Hətta öz faytonçusuna belə bir tapşırıq da verir ki, səhər saat 9-da onun ardınca gələndə atların boyunlarına və quyruqlarına da sözügedən ətirdən vursun. Faytonçu da öz növbəsində verilən tapşırığa canla-başla əməl edirdi. Elə bu səbəbdən də Tağıyev keçən küçələrdən bir müddət məstedici "Eleqan De Parti" ətrinin xoş qoxusu gələrdi. Bu səbəbdən də hər bir adam Tağıyevin bu gün hansı küçələrdən keçib, hara gedib-gəldiyini bilirdi. Onu da xatırladaq ki, Tağıyev çox dəqiq adam olduğundan camaat saatını onun faytonunun gəlmə vaxtı ilə düzəldərmiş.
Mal-mülkünə və əsl kişiliyinə görə Tağıyev gözəl qadınlardan heç vaxt korluq çəkməyib. Amma milyonçunun başı qadınlara və puluna qarışdığından evlənmək yadına bir qədər gec düşür və 42 yaşında evlənmək qərarına gəlir. Tağıyevin ilk həyat yoldaşı öz doğma əmisi qızı Zeynəb olub. Bu izdivacdan İsmayıl, Sadıq və Xanım dünyaya gəlir. İkinci dəfə isə nə az, nə çox - düz 73 yaşında evlənib. İkinci həyat yoldaşı General Ərəblinskinin 21 yaşlı qızı Sona xanım olub. Belə nəql edilir ki, 73 yaşlı Tağıyevin Ərəblinskinin gənc qızına gözü düşür. Qızı ilə evlənmək istədiyini generala bildirəndə Ərəblinski imtina etmir. Lakin bildirir ki, qızının razılığı olmadan "hə" deyə bilməz. Tağıyev generalın qızı Sona xanımla təklikdə söhbət edib ona evlənmə təklif edir. Ərəblinski düşünürdü ki, 21 yaşlı qız 73 yaşlı kişi ilə heç vaxt ailə qurmaq istəməz. Lakin Hacı ilə söhbətdən sonra Sona tezliklə evlənmək istədiyini ailəsinə bildirir. Xanımların könlünü almaqda peşəkar olan milyonçu Sona xanıma nə demişdisə, xanım onunla evlənməyə qərar vermişdi. Bu evlilikdən Leyla, Sara, Sürəyya, Məhəmməd, İlyas adlı uşaqlar dünyaya gəlib. Hacı Sona xanımla 101 yaşına kimi yaşayıb.
Tağıyev 1924-cü ildə 101 yaşında vəfat edib. Onu Mərdəkanda dəfn ediblər. Zeynalabdini son mənzilə yola salan izdihamın içərisində qadınlar kişilərdən iki dəfə çox olub. Hərçənd ki, müsəlman adətinə görə cənazəni qadınların müşayiət etməsinə icazə yoxdur. Lakin mollaların müqavimətinə baxmayaraq, qadınların çoxluğu şəriətin qanunlarına belə üstün gəlib. Deyilənlərə görə Hacı dəfn olunarkən Pir Həsən Məqbərəsində ona 44 dildə ağı deyilib. Bakı çoxmillətli şəhər olduğundan, burada hər cür millətə rast gəlmək olardı və üstəlik Tağıyevin dəfninə əcnəbi qadınlar da gəlib. Hacı o vaxtın ən ideal kişisi idi və bunu qadınlar 101 yaşlı qocanın dəfn mərasimində bir daha öz göz yaşları ilə sübut etdilər.