Email:
lutong@nju.edu.cn
Address:
National Key Laboratory for Novel Software Technology
Department of Computer Science and Technology
Room 1007, Xianlin Campus Mailbox 603, Nanjing University
163 Xianlin Avenue, Qixia District
Nanjing 210023, China
Phone:
0086-25-8968-2398
Fax:
0086-25-8968-2398
URL:
http:/lutong/

IMAGINE Lab welcomes you!

IMAGINE (Intelligent Media Pervasive, Recognition & Understanding) is a lab established at National Key Lab for Novel Software and Technology at Nanjing University, China. Automatic understanding and visualizing the content of everyday real (big) media data stream is one of the fundamental challenges in computer science, and we believe that significant advances will be made over the next few years by combining the state of the art graphics/image/video analysis tools with emerging machine learning and statistical modeling techniques. The targets of IMAGINE lab include both algorithm/theory exploration and real-life systems developing.

If you are interested in media data analysis, do not hesitate join us. Feel free to contact by lutong@nju.edu.cn, and more details on our research will be introduced to you.

What's new


陈喆、王文海、陈果等的通用多模态大模型InternVL论文入选CVPR 2024最具影响力论文第12名（PaperDigest发布）

NJU -ImagineLab队（李嘉涵，路通）在CVPR 2024自动驾驶挑战赛Driving with Language赛道夺冠，该赛道共152支队伍参赛，覆盖14个国家和地区，包 括剑桥大学、利物浦大学、慕尼黑工业大学、洛桑联邦理工学院、中科院自动化所、浙江大学、英伟达（美国）、超威半导体（美国）、Hutom、腾讯、滴滴、 小米、美团等高校和企业

在首届CVPR 2024 EgoVis（Track Egocentric & Embodied AI, First Joint Egocentric Vision）竞 赛中，实验室EgoVideo团队（陈果、何玉萍、刘一澄、潘康华）一举夺得Nature Language Queries、Long-term Action Anticipation、Short-term Object-interaction Anticipation赛道4项冠军和2项亚军

实验室博士生陈喆新增主持国家自然科学基金青年学生（博士研究生）1项

实 验室博士生李志琦入选英伟达全球博士生研究奖（NVIDIA Research Fellowships，奖金6万美元），中国大陆高校首位获得者

王文海博士论文“自然场景中不规则文字的检测和识别研究”入选2023年度中国图形图像学会博士学位论文激励计划提名名单

实 验室博士生李志琦入选bw必威西汉姆联官网年度十大人物第一名

实 验室王文海、陈喆、李志琦等提出的InternImage论文入选PaperDigest 发布的CVPR 2023年度十大最有影响力论文第10名；近三年来实验室在计算机视觉三大顶会CVPR、ICCV、ECCV各有1篇论文入选其年度十大最有影响力论文

实 验室博士生李志琦等提出的BEVFormer论文入选Zeta Alpha 2022年度100篇引用最高的AI论文（bw必威西汉姆联官网第一单位仅2篇入选），同时位列PaperDigest ECCV 2022年度最有影响力论文第6名；论文提出的BEVFormer方法还被包括NVIDA自动驾驶产品、商汤绝影GOP感知等在内的全球多家自动驾驶公司和造车新势力投入使用，并 在NVIDA全球发布会中被NIVIDA创始人兼首席执行官黄仁勋介绍和引用

实 验室博士生王文海等提出的通用视觉主干网络模型PVT 论文（ICCV 2021十大最有影响力论文第二名）获得2023年世界人工智能大会青年优秀论文奖（由国家新一代人工智能战略咨询委员会主任潘云鹤院士、中国人工智能学会理事长戴琼海院士、中国 人工智能学会监事长蒋昌俊院士等组成终评委员会，共10篇论文获奖、10篇论文获提名奖）

实 验室李志琦、方明胜等的FB-OCC在CVPR 2023自动驾驶挑战赛中获得三维占用预测赛道冠军和最佳创新奖两个重磅奖项（与NVIDA合作），所得奖金2万美元（折合12.6万元人民币）已全部捐 献给中国“春蕾计划”（困境女童，捐赠证书编号MQ6Q08K8P9、MQ6QIFH231、MQ6UDCM39Z）和新华教育基金会“捡回珍珠计划”等 公益基金

路通教授所授课程获评bw必威西汉姆联官网人工智能学院2023年度本科毕业生“我心目中的好课程”

实验室近期发表的国际期刊论文SCI影响因子总和超过355.165

IMAGINE实验室研究生于GitHub平台开源代码类似star数突破10000，其中4项成果单独star数超1000、5项成果被OpenMMLab、PaddleOCR、timm等国际知名算法库收录

实验室周昊冉论文“基于自适应图卷积和局部特征优化的复杂三维点云场景理解研究”获评2023年bw必威西汉姆联官网计算机科学与技术系优秀硕士论文

实验室InterIMAGE视觉大模型论文入选CVPR 2023 highlight

实验室提出的渐进式金字塔通用视觉主干网络模型（Pyramid Vision Transformer，PVT）论文入选PaperDigest发布的顶会ICCV 2021十大最有影响力论文第二名

实验室研究生陈果、郑寅栋、王甲豪获ECCV 2023 Ego4D视频理解多个赛道冠军

实验室研究生高圣沂、陈喆、陈果获WSDM Cup 2023视频问答VQA挑战赛冠军

实验室渐进式金字塔通用视觉主干网络模型PVT v2 论文入选ESI热点、WOS他引进入计算机学科最优秀0.1%；该论文之前入选ESI高被引，WOS他引频次进入计算机学科最优秀1%

路通教授入选2021 年度全国高校计算机专业优秀教师奖励计划（教育部、国家自然科学基金委、中国教师发展基金会指导与评选）

实验室博士生王文海论文“自然场景中不规则文字的检测和识别研究”入选2022年度bw必威西汉姆联官网计算机科 学与技术系优秀博士论文，入围CCF优博评选第二轮

实验室CVMJ论文入选ESI热点论文（领域前0.1%）

实验室博士生李志琦与王文海等人的BEVFormer++性能大幅领先，获得自动驾驶最权威国 际竞赛CVPR Workshop Waymo 2022 - 3D Camera-Only Detection纯视觉赛道冠军（1700+队伍参赛，与上海人工智能实验室合作）

路通教授当选为江苏省信息技术应用学会多媒体技术专委会主任

实验室研究生陈喆、杨嘉文、王文海于第二届全国人工智能大赛AI+遥感影像赛道夺冠，获得 100万元人民币奖金

在 文档图像识别最权威的国际竞赛ICDAR 2019 Robust Reading Competition中，实验室王文海、宋小鸽、肖瑶组成的NJU-IMAGINELAB分获LSVT（Large-scale street view text with partial labeling，弱标注大规模街景文字识别竞赛）第二名、ArT（Arbitrary-shaped Text，任意形状场景文字识别竞赛）第二名、MLT竞赛（Muliti-Lingual Text detection，多语言文本检测 竞赛）第三名

在创新工厂、搜狗、美团点评、美图联合主办的第二届全球AI挑战赛（AI Challenger 2018）的无人驾驶视觉感知赛道中，实验室王文海所带领的队伍获亚军（AI Challenger2018覆盖81个国家、1100所高校、990家公司的近万支队伍，挑战赛奖金300万）

在教育部主办的2018年中国研究生智慧城市技术赛中，IMAGINE实验室刘兆洋、王文海、郑寅栋组成的NJU_Imagine_Lab队获视频动 作识别组唯一的一等奖；唐董琦、孔浩、刘若泽组成的NJU-Imagine-Lab队获车牌识别组唯一的一等奖，路通教授获优秀指导奖（总参赛队伍 1079支）

IMAGINE 实验室王文海、侯文博、宋小鸽组成的NJU_ImageinLab_Psenet队在ICPR的MTWI2018网络图像的文本检测国际挑战赛参赛 1424个队伍中位列第5（高校第一）

路通教授入选江苏省杰出青年基金项目

路通教授新增主持一项国家自然科学基金NSFC面上项目

实验室大数据项目（一期）顺利通过国家海关总署验收

实验室研究生 吴亮 论文《一种基于Delaunay三角化的视频文本检测算法》被评为系优秀硕士论文

实验室 许佳敏 评为bw必威西汉姆联官网优秀研究生标兵，秦龙飞、吴亮 、梁国柱评为bw必威西汉姆联官网优秀研究生

实验室季孝忠的论文《真实场景下模糊数据超分辨率关键技术研究》获2021年度系优秀硕士论文奖

博士论文入围2006年度中国计算机学会候选优秀博士论文

实验室主持美国Intel实验室（Intel Lab, US）智能艺术计算项目

Biography

I am now a  Full Professor at Department of Computer Science and Technology, Nanjing University since Dec. 2013, also a member of the National Key Lab for Novel Software and Technology at Nanjing University, China. I was an associate Professor and an assistant Professor from 2007 to 2013 and from 2005 to 2007, respectively. I received Ph.D. in Dept. of Computer Science and Technology at Nanjing University in 2005. My research focuses on media content analysis, pattern recognition and computer graphics. I have served as Visiting Scholar at National University of Singapore and Department of Computer Science and Engineering, Hong Kong University of Science and Technology, respectively. I am a member of International Association of Pattern Recognition (IAPR-TC 10 and IAPR-TC 11). I've published more than 50 journal/conference papers on Pattern Recognition, Computer Graphics and Multimedia, including IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE Transactions on Image Processing, IEEE Transactions on Multimedia, IEEE Transactions on Circuits and Systems for Video Technology, Computer Vision and Image Understanding, Graphical Models, Computer-Aided Design, Multimedia Tools and Applications, Multimedia Systems, IET Computer Vision, International Journal on Document Analysis and Recognition, ACM Multimedia, Multimedia Modeling, ECCV, ICPR, ICDAR, ICIP and others. Additionally, I have 18 issued Chinese/International invention patents. I am also the Youth Editor of Frontiers of Computer Science journal, and the reviewer of international journals consisting of IEEE Transactions on Pattern Analysis and Machine Intelligence, Pattern Recognition, Pattern Recognition Letters, Computer-Aided Design, IET Computer Vision, IEEE Transactions on Cybernetics, ACM Transactions on Asian Language Information Processing, International Journal on Document Analysis and Recognition, Journal of Xi'an Jiaotong University. I am the session chair or PC member of more than 20 international conferences, and the Chair of Organization Committee of Youth Scholar Forum of State Key Laboratory for Novel Software Technology since 2010.

路 通，男，于bw必威西汉姆联官网获得理学学士和工学博士学位，2005年、2007年、2013年分别晋升为bw必威西汉姆联官网计算机科学与技术系讲师、副教授、教授，博士生导师、软 件新技术全国重点实验室成员，研 究方向为模式识别、计算机视觉与计算机图形学。现担任Betway必威西汉姆联副院长、bw必威西汉姆联官网计算机类学科学位委员会主任、计算机与软件学院党委委员、bw必威西汉姆联官网学位评定委员会委员。江 苏省杰出青年基金获得者，先后入选教育部新世纪人才计划、全国高校计算机专业优秀教师奖励计划（教育部高校计算机类专业教学指导委员会、中国教师发展基金会）、江苏省六大人才高峰第八批高层次人才支持计划、江苏省 青蓝工程青年骨干教师培养计划等省部级人才计划。先 后主持国家自然科学基金面上项目、江苏省自然科学基金项目、中 华人民共和国海关总署风险模型研发项目、国家电网冰风灾害预测项目、香港纬衡集团图纸识别与工程算量项目、美国Intel实验室 智能艺术计算战略前瞻项目、美国高智发明项目、国家自然科学基金青年基金项目、南 京海关大数据分析项目等 及企业成果转化课题四十余项，并作 为主要成员参与了国家自然科学基金创新群体项目（三期滚动）、国 家973项目、国家自然科学基金优秀国家重点实验室项目、国家863项目、国家自然科学基金重点项目等研究课题。于 权威国际刊物《IEEE Transactions on Pattern Analysis and Machine Intelligence》、《IEEE Transactions on Image Processing》、《IEEE Transactions on Multimedia》、《IEEE Transactions on Circuits and Systems for Video Technology》、《Pattern Recognition》、《Computer Vision and Image Understanding》、《Graphical Models》、《Computer-Aided Design》、《Computer-Aided Geometric Design》及高水平国际学术会议CVPR、ICCV、AAAI、ECCV、NIPS、ACM Multimedia、ICLR等发表学术论文两百余篇，应邀撰写 Springer London出版社学术专著“Developments of Computer Vision and Pattern Recognition: Video Text Detection”一部和Springer New York出版社知名学术专著系列“Handbook of Document Analysis and Recognition”章节。近年来已发表期刊论文的SCI影响因子总和达355.165，所提出的通用视觉主干网络模型PVT获得2023年世界人工智能大会青年优秀论文奖，同时入选计算机视觉领域顶会ICCV’21年度“十大最有影响力论文”第二名；1篇论文入选ESI热点论文、WOS他引频次进入计算机科学领域最优秀0.1%；1篇论文入选ESI高被引论文、WOS他引频次进入最优秀1%。部分研究成果于GitHub平台上开源，累计star数超1万个，其中4项成果的单独star数超1000；另有5项成果被OpenMMLab、PaddleOCR、timm等国际知名算法库收录。指导的研究生还在CVPR Waymo’22（最权威的自动驾驶竞赛）、ECCV’22 Ego4D（权威视频理解竞赛）、NAIC’20（全国人工智能大赛）、ICDAR’19（最权威的场景文本检测与识别竞赛）等国际及国内权威大赛中夺得十余个赛道的冠/亚军。研究工作得到了包括图灵奖得主、美国国家工程院院士、IEEE Fellow、ACM Fellow、AAAI Fellow、IAPR Fellow在内的国际权威学者，以及麻省理工学院、约翰霍普金斯大学、加州大学洛杉矶分校、Google、MSRA、腾讯等国内外顶尖研究机构的广泛关注和引用评测。所 研制的关键技术已获得中国发明专利授权40+项、计算机软件著作权3项、国际发明专 利2项。相 关专利成果已在国家级高新技术企业和江苏省高新技术企业得到应用转化。此外，获 教育部自然科学二 等奖1项（计算机读图技术）、入围中国计算机学会2006年度候选优秀博士论文、指导江苏省大学生优秀毕业设计团队1项（自然场景中多类物体检测算法及其 应用研究，第一指导教师）、第七届全国大学生挑战杯 江苏省金奖、全国铜奖、bw必威西汉姆联官网二等奖1项（智能楼宇及其创新应用，第一指导教师），所指导的研究生于第二届全国人工智能大赛AI+遥感影像赛道夺冠并获 百万大奖，获第二届全球AI挑战赛无人驾驶视觉感知赛道第二名，获ICDAR 2019 Robust Reading Competition多项竞赛的前三名等；所指导的本科生学术论文获得国际会议IEA/AIE’12最佳论文 奖，指导的研究生论文获国际学术会议DAS’14最佳学生论文奖提名（法国巴黎）、bw必威西汉姆联官网计算机系优秀硕士论文（2014、2015）。获bw必威西汉姆联官网第2 届中国银行奖教金、bw必威西汉姆联官网本科生创新项目优秀指导教师、bw必威西汉姆联官网优秀博士论文等；指导bw必威西汉姆联官网大学生优秀毕业论文特等 奖、一等奖和二等奖各1次。获bw必威西汉姆联官网优秀党支部书记、建党九十周年中共bw必威西汉姆联官网委员会党内评优通报表扬、bw必威西汉姆联官网五四青年奖章等。中国计算机学会高级会 员，IEEE、ACM及 IAPR会员。先后担任国家自然科学奖评审委员、国家自然科学基金评审专家，以及《IEEE Transactions on Pattern Analysis and Machine Intelligence》、《Pattern Recognition》、《Pattern Recognition Letters》、《Computer-Aided Design》、《IEEE Transactions on Cybernetics》、《IET Computer Vision》、《International Journal on Document Analysis and Recognition》、《ACM Transactions on Asian Language Information Processing》、《计算机学报》、《电子学报》、CVPR、AAAI、ICPR、ACCV、ICDAR、GREC、PCM等国际国内刊物和国际会 议的分会主席、PC Member或审稿人。担 任江苏省计算机学会组织工作委员会副主任等学术兼职。

Hornors

Distinguished Young Scholars Fund of Jiangsu Province (江苏省杰出青年基金获得者)

Selected as the Program for New Century Excellent Talents in University, China (入选教育部新世纪优 秀人才计划)

The 8th Six Talents Peak Project of Jiangsu Province (第八批江苏省“六大人才高峰”项目资助)

Award with Qing-Lan Project of Jiangsu Province (江苏省青蓝工程项目资助)

Awarded the Wu-Si Youth Medal of Nanjing University (bw必威西汉姆联官网五四 青年奖章)

Excellent BSc thesis team of Jiangsu Province (江苏省优秀毕 业论文团队，指导教师：路通, 苏丰, 杨若瑜)

The Bronze Award of Eighth "Challenge Cup" of Chinese College Students of Academic Science and Technology of China (全国第八届“挑战杯” 铜奖)

The Golden Prize of Eighth "Challenge Cup" of Chinese college students of academic science and technology, Jiangsu Province, China (全国第 八届“挑战杯”江苏省赛区金奖，指导教师：路通)

The Second "Bank of China" Teaching Grant (bw必威西汉姆联官网第二届中行奖教金)

Bulletin Commending of Nanjing University (bw必威西汉姆联官网通报表彰)

Join Us?

Feel free to contact with me by lutong@nju.edu.cn, or just call me 86-25-8359 3290. I'll introduce you more details about our research.

课题组正招收博士与硕士研究生，有兴趣从事机器视觉 与机器人应用开发、视频与图 像数据处理、模式识别与计算机图形学科学研究及技术开发的学生，请联系邮箱 lutong@nju.edu.cn  or amlutong@gmail.com, 2291682 (QQ),  561843657 (IMAGINE实验室研究生QQ咨询群).