قيل إن أول من وضع مصطلحات علم التجويد هو الخليل بن أحمد الفراهيدي، وقال بعضهم: أبو الأسود الدؤلي، وقيل أيضا: أبو عبيد القاسم بن سلام، وذلك بعد ما كثرت الفتوحات الإسلامية، ودخل في الإسلام كثير من الأعاجم، واختلط اللسان الأعجمي باللسان العربي، وفشا اللحن على الألسنة، فخشي ولاة المسلمين أن يفضي ذلك إلى التحريف في كتاب الله, فعملوا على تلافي ذلك وإزالة أسبابه، وأحدثوا من الوسائل ما يَكْفُل صيانة كتاب الله عز وجل من اللحن، فأحدثوا فيه النَّقط والشكل بعد أن كان المصحف العثماني خالياً منهما، ثم وضعوا قواعد التجويد حتى يلتزم كلُّ قارئ بها عندما يتلو من كتاب الله تعالى.

ولقد كانت بداية النظم في علم التجويد قصيدة أبي مزاحم الخاقاني المتوفى سنة 325هـ

والتي يقول في أولها:

أقولُ مقالاً مُعْجِباً لأُوْلي الحِجْرِ        ولا فَخْرَ إنَّ الفخرَ يدعُو إلى الكِبْرِ

أُعَلِّمُ في القـولِ التِّلاوةَ عائِذاً           بمولايَ من شرِ المباهـاةِ والفَـخْرِ

وذلك في أواخر القرن الثالث الهجري، وهي تعتبر أقدم نصٍّ نُظِمَ في علم التجويد.