梁启超的建议得到了黄遵宪的赞同。黄遵宪认为，成立课吏馆对那些候补官僚进行必要的知识技能方面的培训确乎必要，这样才能为湖南新政提供合乎要求的有用人才。
湖南巡抚陈宝箴批准了梁启超的建议，并责成黄遵宪担任总理。1898年2月，湖南课吏馆正式成立，黄遵宪另聘请品学兼优、才识素著二三人担任馆长，居住馆中，协助总理处理课吏馆的日常事务。课吏馆的课程分为六大类，即，（1）学校，包括造士育才之法；（2）农工，有务财、训农、劝工、兴业之法等；（3）工程，包括修筑道路、通沟渠、修筑城池之法等；（4）刑名，即考律例、清讼狱、处罪犯等；（5）缉捕，有查缉盗匪、会匪、恶棍之法等；（6）交涉，包括通商、游历、传教一切保护之法等。从这些课程设置看，课吏馆对候补官员的培训主要是一些新式管理方法、新知识、新技能等有助于新政推行的内容。
湖南课吏馆设有图书室，凡选派到馆学习的官吏，不论原任何职，都必须就课吏馆设置的课程选学一种或两三种，登记注册后到图书室领取图书，每日将自己的阅读心得或疑难问题写成札记送交馆长批答。“有专答，专就其人所问难陈述者而答之；有通答，通论此事之是非得失而答之”。通答一律抄录公布，并随时汇集选刊。凡入学的官吏，每天都必须在规定的时间到馆阅读，领取和交送札记，并当面向馆长请教。馆长每天也必须到馆，随时接见问难的学生，进行辅导。而总理则隔日到馆，会同馆长对学生进行考查。考查的基本方法是采取积分制，每月进行统计，凡超过90分者，给予适当的奖励。每三个月举行一次大考，然后根据大考的成绩，分别给予奖励，并据此作为将来任用的依据。
