刘半农回国后继续在北京大学当教授，从此也开始了他保护西北文物的事业。1926年底，瑞典探险家斯文·赫定来华与北京政府协商，想获准去中国西北进行他的第五次中亚考察。刘半农等人闻讯后，立即组织起来，联络北京大学、清华学校等在京十余机构，于1927年春创建"中国学术团体协会"。《中国学术团体协会章程》中写到："本会以保存国境内所有之材料为主旨，以古物、古迹、美术品及其他科学上之重要及罕有材料为范围"。考察史实，可以知道这个由北京学术界自发组织的社会团体所确定的近期目标是抵制斯文·赫定的单独考察。 中国学术团体协会成立后，立即委派骨干刘半农、翁文灏和马叔平三人与斯文·赫定接洽谈判，反对他单独去西北进行考察，力争将这次考察置于中国学术团体协会的控制之下。在谈判过程中，刘半农出力最多，按照徐炳昶在《徐旭生西游日记》中的话说："这个时候，恰好有瑞典地理学大家斯文赫定博士想到我国西北部继续他从前数次所作底考查，来商议合作办法；我们的协会就派人同他交涉。折冲最多者为刘复博士。协商十余次，乃于四月二十六日订立合作办法十九条。协会接受赫定博士的补助，组织西北科学考查团。" 根据1927年4月26日在北京大学研究所国学门签订的《中国学术团体协会为组织西北科学考查团事与瑞典国斯文赫定博士订定合作办法》规定，西北科学考查团理事会监察并指挥该团进行的一切活动。随后刘半农被任命为西北科学考查团理事会常务理事，即最高负责人，从1927年起遥控着考察团的进程，直到他去世为止。