"Művészete megbecsült érték, élete erkölcsi példakép. Ha művészetét akarom jellemezni, azokra a műveire emlékezem, amelyekben teremtő képzelete szépnek és sebezhetetlennek hitte magát, ha erkölcsi magatartását akarom felismerni, szavait és cselekedeteit kell felidéznem."
A tanítvány - Sebestény (Sebesta) Ferenc, (1907-1972) soproni születésű, Budapesten működő festőművész - emlékezik így elhunyt tanárára és barátjára, és kegyelettel próbálkozik ezzel a szellemidézéssel.

Akik valaha is látták, soha nem fogják elfeledni szálfa termetét, amely mintha elvi hajthatatlanságának lett volna jelképes megtestesítése. Aki azonban beszélt is vele, megérezte, hogy ezt az erkölcsi keménységet meleg emberség járja át. Tanúskodni akarok arról, hogy tanítványai iránti gondoskodása kimeríthetetlen volt. Érdeklődő figyelme évtizedek múltán sem szűnt meg, még azok iránt sem, akik gondoskodását idővel elfeledték, és nem viszonozták többé a szeretetét. A mély emberi érdeklődéssel párosult tanítási szenvedély, a tudás átadásának vágya végigkísérte életét. Talán a nagybányai festők művészetetikai példája és mesterének, Réti Istvánnak szellemi öröksége is hozzájárult ehhez.

Életmódja az igénytelennél is egyszerűbb: aszkétikus volt. Ez volt az ára annak, hogy valóra válthassa azt, amire föltette életét: művészi terveit. Elszántság kellett ahhoz, hogy vállalja ezt az életmódot. Horváth József azonban elszánt ember volt. Erre vall közéleti szerepe is. Nem kereste ezt a szerepet, de ha sor került rá, bátor volt és határozott. Az eltelt évek apokaliptikus időszakai sohasem ingatták meg elvi szilárdságát és emberséges gondolkodását. Bátor volt a cselekvésben akkor is, amikor a veszélyben lévőn kellett segíteni. Mert bátor, igaz és folttalan jellem volt. Jelentékeny művész pedig csak az lehet, aki embernek is az. Ez pedig az erkölcsi bátorsággal kezdődik.

A techné neki is, mint a görögöknek, a művészetet is jelentette. Horváth tudta azt, hogy a műgond fontos eleme a művészi munkának: Az idő nem kíméli, amit nélküle hoznak létre. A meggyőződésnek milyen ereje kellett ahhoz, hogy olyan területre korlátozza magát, melyet a festők legtöbbje csak a képalkotás előkészítő fokozatának tekint, hogy azután a tehetsége ezen a területen egy különleges művészetet virágoztasson ki! Vajon hogyan fogalmazta volna meg művészi hitvallását? Írásban nincs nyoma, és beszélgetéseinkben sem vallott erről. Nem volt gondja arra, hogy szavakba sűrítse, amit a festészete olyan tömören kifejezett. De nem hiszem, hogy idegenkedett volna ettől a meghatározástól: a művészet a természet szabad, szép értelmezése. Ereje a másokénál több művészi öntudat volt, annak a felismerése, hogy kis körben, szilárdan és kitartóan hűségesnek kell lennie ahhoz, elvben és tettben, amit önmagában a sajátjának és értéknek ismert fel. És ez nem csekély erény.

Magárahagyottságában, betegen, anyagi gondoktól is űzve szinte felér Szókratész hősiességéhez, aki hárfaleckéket vett a siralomházban. Alkotóereje teljében volt, amikor 1961. április 22-én váratlanul meghalt.