การจัดเก็บส่วยสาอากรทั้ง 4 ประเภท ในสมัยกรุงศรีอยุธยา ได้ถูกกำหนดเป็นรูปแบบการจัดเก็บต่อเนื่องมาจนถึงสมัยพระเจ้ากรุงธนบุรี และตอนต้นรัชกาลที่ 1 - รัชกาลที่ 2 แห่งกรุงรัตนโกสินทร์ จนถึงในสมัยรัชกาลที่ 3 พระบามสมเด็จพระนั่งเกล้าเจ้าอยู่หัวได้เกิดกบฏเจ้าอนุวงศ์เวียงจันทร์ รัฐบาลมีความจำเป็นที่ต้องการใช้เงินในราชการมากกว่าแต่ก่อนพระองค์จึงทรงพระกรุณาโปรดเกล้าฯให้มีการปรับปรุงการจัดเก็บภาษีเป็นผลให้เกิดการจัดเก็บภาษีขึ้นใหม่ 38 ประเภท ทั้งนี้โดยเป็นภาษีที่เก็บจากการพนัน และจากผลผลิตประเภทต่างๆ จำแนกได้ดังนี้
และในสมัยรัชกาลที่ 3 นี้ พระองค์ได้ทรงพระกรุณาโปรดเกล้าฯ ให้ยกเลิกอากรซึ่งเคยมีมาแต่ครั้งกรุงศรีอยุธยา 2 ชนิดคือ อากรรักษาเกาะ และอากรค่าน้ำ นอกจากการกำหนดให้มีการปรับปรุงการจัดเก็บภาษี โดยการเพิ่มประเภทภาษีอากรที่จัดเก็บ 38 ประเภทข้างต้น พระองค์ยังได้กำหนดให้มีการปรับปรุงรูปแบบการจัดเก็บโดยการนำระบบเจ้าภาษีนายอากรมาใช้กล่าวคือ ให้มีการจัดเก็บภาษีเป็นการผูกขาดโดยเอกชน ทั้งนี้เอกชนผู้ใดประสงค์จะรับเหมาผูกขาดการจัดเก็บภาษีประเภทใด ก็จะเข้ามาร่วมประมูล ผู้ให้ราคาสูงสุดจะเป็นผู้ผูกขาดจัดเก็บ ซึ่งจะเรียกว่า เจ้าภาษีนายอากรรัฐบาลจะมอบอำนาจสิทธิขาดในการจัดเก็บภาษีอากรชนิดนั้นให้ไปดำเนินการ เมื่อถึงเวลากำหนด ผู้ประมูลจะต้องนำเงินภาษีอากรที่จัดเก็บมาส่งให้ครบจำนวนตามที่ประมูลไว้
ดังนั้น คำว่า ภาษี จึงเข้าใจว่าคงเกิดขึ้น ในรัชกาลที่ 3 นี้เอง โดยคาดคะเนกันว่า น่าจะมาจาก คำในภาษาแต้จิ๋วว่า บู้ซี อันหมายถึง สำนักเจ้าพนักงาน ทำการเก็บผลประโยชน์แผ่นดินซึ่งตั้งขึ้นจากระบบเจ้าภาษีนายอากรนี่เอง คำว่าภาษีนี้ จะใช้กับอากรที่เกิดขึ้นใหม่ในสมัยรัชกาลที่ 3 เพื่อให้ฟังดู แตกต่างจากอากรเก่าที่เคยจัดเก็บมาแต่โบราณ ดังที่ปรากฎในหนังสือพระราชดำรัสในพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทรงอธิบายว่า "...เกิดอากร
ขึ้นใหม่ๆ ได้เงินใช้ในราชการแผ่นดิน ดีกว่ากำไรค้าสำเภา อากรเหล่านั้นให้เรียกว่า ภาษี เพราะเป็นของที่เกิดขึ้นใหม่เหมือนหนึ่งเป็นกำไร ซึ่งพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว มีพระราชประสงค์จะให้เห็นว่าเงินเก่าเท่าใด เกิดขึ้นในรัชกาลของท่านเท่าใด... การบังคับบัญชาอากรเก่าใหม่เหล่านี้ จึงได้แยกออกเป็นสองแผนก อากรเก่าอยู่ในพระคลังมหาสมบัติ อากรใหม่ซึ่งเรียกว่า ภาษี อยู่ในกรมพระคลังสินค้า คงเรียกชื่อว่าอากรอยู่ แต่หวยจีนก.ข. ซึ่งเป็นของเกิดใหม่แต่คล้ายกับอากรบ่อนเบี้ยของเดิม จึงคงเรียกว่าอากร แต่ก็คงยกมาไว้ในพวกภาษีเหมือนกัน"
ที่มา ::หนังสือที่ระลึกในการเปิดอาคารกรมสรรพากร 2 กันยายน 2540