《五牛图》的作者是唐代著名的宰相韩滉。那时，韩干以画马著称，韩滉以画牛著称，后人称为“牛马二韩”。这幅《五牛图》，是韩滉最为传神的一幅。5头健硕的老黄牛，《五牛图》在这位当朝宰相笔下被“人格化”了，传达出注重实际、任劳任怨的精神信息。

据民间传说：有一次，韩滉与友人谈论绘画之事，友人问道：“近来论画者谈及驴、牛和马，皆认为是常见之畜，最难状貌图形，不知吾兄有何高见？”韩滉稍加思索后回答说：“此话有一定道理，因牛马都是人们熟悉的家畜，平日所常见，画家稍有不慎，或者偶有误笔，人们就能发现，所以一般画家都不涉及此类题材”。说到这里，他停顿一下继续说：“不过，我以为自古迄今，农事为天下之本，而耕牛则为农家之宝。只要画家能够细心观察，还是可以画出特色的。”友人听了非常佩服他的独到见解。

在一个天气晴和的日子里，韩滉带领随从来到郊外田间小道上，迎着和暖的春风，心旷神怡。看到几头耕牛在低头食草，二三牧童在嬉耍，一个牧童骑在牛背上吹笛，逍遥自得。远处又见一头耕牛翘首而奔，另有几头耕牛纵趾鸣叫。有的回头舐舌，有的俯首寻草。在开阔的田野里，有几位农夫正在田间用牛耕地翻土。韩滉看得出神，连忙命随从取出画夹，他全神贯注地速写出一幅幅耕牛图景。经过一个多月的反复修改，终于绘出状貌各异的五头牛。一头牛在低头慢慢地食草；一头牛翘首向前奔驰，仿佛是撒野的猛兽；一头牛在回顾舐舌，露出一幅旁若无人的样子；另一头牛则纵趾而鸣，好像在呼唤着离去的伙伴；还有一头牛在缓步跂行，似乎走向田头，又仿佛耕地归来，令人回味无穷。整个画面，用笔粗放中带有凝重，显示出农村古朴的风俗。韩滉对这幅画的创作非常满意，取名为《五牛图》。