提出了一种创新的用于全息学习的异质图模态辅助的方法(gtp-4o),将多种临床模态嵌入到统一的表示中,通过图形聚合完成丢失模态的不完全嵌入,通过图形提示机制生成幻象拓扑来指导丢失嵌入,进而发展全局元路径邻域和本地多关系聚合模块进行综合多模态交互。
机器学习在医疗领域的应用受到关注。研究提出了一种名为mmugl的新方法,使用图神经网络学习医学概念的有意义表示。通过整合医学知识和多模态考虑,提高了性能。在mimic-iii数据集上,该方法优于现有架构。结果显示了基于医学知识的多模态医学概念表示的重要性。