1922. április 22-én született Belsőbőcs községben. Iskoláit Külsőbőcsön, majd Miskolcon a Lévay Gimnáziumban végezte. A gimnázium évei alatt rajztanára, Imrech Zsigmond figyelt fel a tehetségére. Elindította az Országos Középiskolai Rajzversenyen, ahol kiemelkedő eredményt ért el. A Budapesti Képzőművészeti akadémiára sikeresen felvételizett. Tanulmányait kitűnően végezte, ösztöndíjas volt.

Tanulmányait a világháború megszakította, 1943-1945-ig katona, hadifogoly volt. Hazatérve újra az akadémiára került, ahol Burghardt Rezső, Berény Róbert, Bencze László, Szőnyi István, Kmetty János és Elekfy Jenő voltak a tanárai. Az intézetben sikeres jövőt jósoltak számára. Mesterei látták mozdulataiban, színtechnikájában a könnyedséget, a differenciált művészi ízlést, amelyek a későbbiek során is meghatározták Koncz József művészetét.

Munkásságát középiskolai tanárkodással kezdte. Győr, majd Sátoraljaújhely, végül Miskolc képzőművész-társadalma ismerhette meg az igényes, hihetetlen munkabírású mester alkotásait. Ahol megfordult, maradandót hozott létre: művészeti csoportokat, rajzköröket, festőszakköröket, képzőművészek közösségét. Csoportjait eredményesen működtette. Tanítványaiba beleoltotta a munka és a művészet dicséretének kettősségét, amelyek műveit mindmáig jellemzik.