然而，大学排名自诞生之日起，就不断遭到批评和质疑：排名的动机是否正当？排名的指标体系设计是否合理？排名所用的数据是否可靠？排名结果是否得到正确解读？来自学术界的深入思考还有：大学的一些重要特质是否被反映出来？声誉调查和民意测验方法是否存在缺陷？排名结果是否可信？排名是否会导致大学失去特色？

　　对此，ARWU研究团队在其网站上做了公开表态，世界大学学术排名的主要特点是以国际可比的科研成果和学术表现作为主要指标，采用的都是可以验证的第三方客观数据，因此每所大学都可以通过与其他大学的得分和原始数据比较对排名的结果进行核查，整个排名完全透明。世界大学学术排名体现的仅仅是看待大学国际地位的一种视角，主要关注的是大学的科研成果和学术表现，因此指标体系中有关人才培养的分量较轻，也不包括大学对社会的服务等内容。事实上，由于各国高等教育制度和大学设置的巨大差异，以及获取国际可比数据的困难，他们认为现阶段很难对世界大学进行全面质量排名。

　　不过，ARWU还关注到了他们研究中存在的问题，除了大学的人才培养和社会服务职能在排名指标中未能得到充分反映，他们还在对排名中“对人文社会科学等学科的体现不够”、“发表论文等部分指标对英语国家有利”等不足进行深入研究。

　　据了解，交大高教院正在研究建立国际可比的教师标准，并努力建立世界大学教师数据库，将适时推出以师均表现为主的排名。