Classification-by-Fusing-Multimodal-Data

---

¶全文：

论文链接

¶代码：

github

¶代码结构目录：

​代码一般都是半夜写的，只想着能不能跑通没在意结构，现在实验都做完了论文也发了懒得再动代码了（主要怕自己优化结构后出BUG）就大概讲一下代码流程吧。

​不要问为啥根目录是zywang 😏 在人家服务器上跑的。

¶代码流程：

1⃣数据集划分：按照 70:15:15 划分数据集包括文本和图片（主要使用xlrd包对数据集annotations中的文件进行处理，也可以使用其他方法对.tsv文件进行处理）

2⃣使用train_vgg训练VGG16模型，得到xx.pth

3⃣使用nlp中的main.py训练FastTest模型，生成xx.bin

4⃣分别调用.pth和.bin文件生成vector

5⃣将生成的vector放入train_softmax.py进行训练