近日，我校信息科学与技术学院（网络空间安全学院）郑煜辰副教授团队在离线手写签名鉴定领域研究中取得新进展，研究结果分别以“HTCSigNet: A Hybrid Transformer and Convolution Signature Network for Offline Signature Verification”（HTCSigNet：用于离线签名鉴定的混合Transformer和卷积签名网络）发表于《Pattern Recognition》（中科院一区TOP，IF：7.5）和“Learning Discriminative Representations by a Canonical Correlation Analysis-based Siamese Network for Offline Signature Verification”（基于典型相关分析的孪生网络学习判别表示用于离线签名鉴定）发表于《Engineering Applications of Artificial Intelligence》（中科院二区TOP，IF：7.5）。
手写签名广泛应用在人们的日常生活中，特别是离线手写签名（静态签名图像），在银行、法律文书和金融交易中常常作为个人身份的代表。然而，由于其具有易伪造性，模仿者通过多次模仿即可书写出与真实签名非常相近的熟练伪造签名，这无疑为个人信息安全带来了严峻的挑战。手写签名作为一种典型的生物特征，书写者的特定笔画信息是独一无二的，也是用于判断签名真伪性的关键依据。因此，有效学习真实签名和熟练伪造签名之间的微变形特征可以提升手写签名鉴定系统的性能。
为有效解决“捕捉真实签名和熟练伪造签名之间的微变形特征”这一技术难题，团队首先提出构造4种不同签名组合（真实签名-真实签名、真实签名-熟练伪造签名、真实签名-随机伪造签名、熟练伪造签名-熟练伪造签名），在特征学习阶段使用典型相关分析算法计算和优化签名组合之间的相关系数，使同类签名组合（真实签名-真实签名、熟练伪造签名-熟练伪造签名）之间的相关性更大，不同类签名组合（真实签名-熟练伪造签名、真实签名-随机伪造签名）之间的相关性更小，从而捕获不同签名之间的微小差别，为签名鉴定系统提供更好的特征。
图一：基于不同手写签名组合构建孪生网络
其次，团队又提出另外一种混合Transformer和卷积神经网络的创新架构，该架构能够很好地学习真实签名和熟练伪造签名之间的微变形特征。混合架构的目的是提取手写签名的多尺度特征，这种多尺度特征即包含了手写签名的局部特征，又包含了手写签名的全局特征。所提出的混合架构在关注签名的关键笔画信息方面表现出了可观的效果。使用该混合架构提取的多尺度特征与其他先进的鉴定系统相比表现出了最优的性能，并且可以很容易迁移到未曾见过的不同语言的手写签名数据集中。
图二：基于Transformer和卷积神经网络的混合深度模型
我校信息科学与技术学院（网络空间安全学院）硕士研究生郑礼东为上述两篇论文的第一作者，郑煜辰副教授为论文的通讯作者。该工作得到了国家级高层次青年人才项目的资助。
（通讯员：郑煜辰 郭梦梦）
