В 1880-х годах публичная критика в адрес этого бизнесмена была общей темой для многих американских политиков и журналистов. Фрика называли "худшим генеральным директором всех времен", "самым ненавистным человеком в США" и т. д. Поводов для обвинений он давал предостаточно. Будучи топ-менеджером и совладельцем одной из крупнейших в стране металлургических компаний United States Steel, он считался злейшим врагом профсоюзов и худшим работодателем Соединенных Штатов. Рабочие подотчетных ему предприятий периодически устраивали забастовки, но не добивались этим ничего, кроме массовых увольнений и урезания заработных плат.
Одна из таких акций протеста, организованная на заводе в Хомстеде в 1892 году, закончилась гибелью восьми рабочих. Персонал завода блокировал доступ в офис Генри Фрика. Для того чтобы прекратить демонстрацию, потребовалось восемь тысяч вооруженных полицейских и две спецгруппы из детективного агентства. Анархисты и коммунисты несколько раз пытались убить гендиректора United States Steel, однако он умер своей смертью незадолго до семидесятого дня рождения.
При жизни Генри Клея Фрика считали одним из самых жадных людей в Штатах. После его кончины были опубликованы документы, доказывающие, что "самый ненавистный человек в США" анонимно финансировал строительство двух важнейших для развития страны железных дорог, содержал несколько благотворительных фондов, предоставлявших финансовую помощь безработным, а также спонсировал бесплатную больницу в Питтсбурге.
Роскошная нью-йоркская вилла Генри Фрика после его похорон была подарена городу и превратилась в музей - Frick Collection. Сейчас это одна из главных достопримечательностей Манхэттена. В рейтинге популярности музеев, по версии Национальной ассоциации защиты памятников культуры, Frick Collection занимает второе место после легендарного Metropolitan Art Museum. В музее выставлена принадлежавшая Фрику коллекция произведений искусства. Это одна из богатейших коллекций, когда-либо собранных частным лицом.