Dimensionality Dependent PAC-Bayes Margin Bound

Dimensionality Dependent PAC-Bayes Margin Bound

时间：2013年10月27日 地点：九龙湖校区计算机学院四楼会议室

报告简介：

Bayes学习是机器学习的重要研究领域。Bayes网络、非参Bayes等课题近年来取得了令人瞩目的进展。但是，传统的 Bayes学习理论缺乏对学习性能的刻画。PAC-Bayes理论将PAC学习理论引入Bayes学习，使得Bayes学习可以如频率学派机器学习一样得到学习性能的一致上界。本报告从PAC-Bayes理论出发，研究SVM的margin理论。在Vapnik等人创立的经典margin 理论中，SVM（或任何线性分类器）的性能只与margin有关，而与数据所在的空间维数无关。这一理论使得我们可以利用核方法将输入空间映射到（无穷维）特征空间进行线性分类。在本报告中，我们证明了SVM性能并非单纯由margin决定而与特征空间维数无关。具体的，我将证明一个基于 PAC-Bayes理论的margin上界。当特征空间维数是有限值时，该上界一致紧于经典的维数无关margin上界；当特征空间维数是无穷大时，新上界等价于传统维数无关margin上界。这一PAC-Bayes margin理论表明，核方法为了提高margin而增加特征空间维数时，一定程度上付出了性能的代价。实验表明，该理论对于SVM核函数的选择具有指导意义。

报告人简介：

王立威，北京大学信息科学技术学院教授。于清华大学电子工程系获本科和硕士学位，北京大学数学学院获博士学位。自 2005年起在北京大学信息学院任教。主要研究兴趣为机器学习理论。在机器学习顶级会议NIPS, COLT, ICML和顶级期刊JMLR, IEEE Trans. PAMI发表论文多篇。其中2008年发表于机器学习理论最高会议COLT的论文On the Margin Explanation of Boosting Algorithms是中国大陆学者在该会议上的首篇论文。2010年入选AI's 10 to Watch，是首位获得该奖项的亚洲学者。2012年获得国家自然科学基金优秀青年基金；入选新世纪优秀人才。目前任中国计算机学会模式识别与人工智能专委会委员。担任Journal of Computer Science and Technology (JCST)等期刊编委。

计算机网络和信息集成教育部重点实验室（东南大学）