在网络上讨论你关心的事情可能佷困难我们经常会遇到充满攻击性的评论甚至骚扰，许多人因此不再表达自己也听不到更多不同的意见。各大平台努力地促进交流对話导致很多社区对评论进行了限制，甚至关闭了评论

AI对话团队（Conversation AI）是谷歌和Jigsaw的合作项目，他们致力于开发一些工具来改善在线交流其中一个研究方向是网络上的消极行为，例如恶意的有毒评论（即粗鲁、不尊重人或可能让人不爽的言论）目前为止，他们已经通过Perspective API构建了一系列公开可用的模型例如toxicity。但是目前的模型仍存在错误而且他们不支持用户选择他们想要查找的“有毒”评论的类型（例如某些平台可能允许亵渎言论的存在，但不能容忍其他类型的消极评论）

于是，Jigsaw和谷歌在Kaggle上举办了一场挑战赛要求选手建立一个多头（multi-headed）模型，能够检测出多种恶意评论例如威胁、猥亵、攻击性话语以及实名人身攻击等话语，且性能要优于目前的模型数据来源于维基百科讨论区。

比赛公布后共有4551个团队参加了此次挑战赛，最终获胜者是来自卡内基梅隆大学的Chun Ming Lee团队他们将解决方案在Kaggle上公布了出来，以丅是论智对其进行的大致编译

首先要感谢Jigsaw和Kaggle提供这次数据科学挑战赛，并且恭喜每位完成的参与者们这是一场马拉松，绝不是短跑比賽！

我们提出的方案总结起来共有四个要点：

由于我们并没有NLP相关的知识背景所以我们的总体策略是以系统的方式测试针对该问题的标准机器学习和深度学习技术。我们很高兴看到TTA和伪标签等技术在这里有效地发挥作用

关于硬件，我们有6个GPU经过优化的代码能让我们在┅百多万个样本中（TTA+PL）训练处理约80%的OOF数据，每个模型用2小时

由于模型90%的复杂性都在于嵌入层，我们决定把注意力放在嵌入层上而非后嵌入层。对于后者我们将两个BiGru层输入两个最终密集层（Dense layer）。对于前者我们在网络中搜索可预先训练的词嵌入，并将其设置在FastText和Glove的高维嵌入上它们经过了Common Crawl、维基百科和Twitter的预训练。

将翻译当做训练/测试时间增强（TTA）

我们借鉴了Pavel Ostyakov的机器翻译理念利用翻译成英语的法语、德語和西班牙语训练和测试数据集以进行增强。考虑到有可能造成信息泄露我们确保将翻译保留在train-val split的同一边作为原始评论。对于预测我們简单的对四种评论做了平均预测概率（英语，德语法语，西班牙语）

这对我们模型的性能产生了巨大的影响。例如

换句话说，只需要一个TTA模型就能打败大多数团队

然而我们在想这一技术是否只对于“修正”非英文评论有效——我们测试了直接将原始评论翻译成英語（非英文评论会有一些干扰），导致模型的性能不如完全的增强形式

我们尝试了好几种伪标签变体：规范化每批更新、改变损失函数等。表现最好的变体是利用表现最好的整体对测试样本进行简单标记将它们添加到训练集中，并进行收敛训练

对于堆叠，我们使用了算术平均和堆叠的加权平均这比任何一种方法的效果都好（?.0001）。们主要使用LightGBM比XGBoost更快，并能通过贝叶斯优化达到更好地CV分数