В музее особое внимание уделяется живописи и скульптуре от девятнадцатого века до наших дней.
Его коллекции происходят из частной коллекции Чарльза Фрая. Чарльз, владелец местного мясоперерабатывающего завода, в своем завещании выделил деньги на музей, в котором разместится коллекция Фрая, насчитывающая более 230 картин. Сегодня коллекция музея разрослась до нескольких тысяч произведений искусства.
Художественный музей Фрая был открыт для публики в 1952 году и был первым бесплатным художественным музеем в Сиэтле.
Взгляды Фрая были довольно консервативными и основным правилом его коллекции стало: «никакого авангардного искусства».