Представления структуры лекарств на основе Bert: сравнение токенизаторов

Аннотация

Основа представления молекулярного графа с помощью BERT показала, что предварительное обучение языковой модели, эффективное для улучшения задач обработки естественных языков, также полезна и в химии. Прогнозирование молекулярных свойств в последнее время улучшилось благодаря успеху графовых нейронных сетей (GNN), где BERT обеспечивает существенный выигрыш. В данной работе мы исследуем эффективное представление молекул с помощью BERT, и сравниваем разные способы токенизации (BPE-ChemBERT и Smiles-Tokenizer ChemBERT) в задачах прогнозирования молекулярных свойств на 11 различных наборах данных и мишеней решением 7 задач построения моделей регрессий и 5 классификационных задач. Однако, вычислительные эксперименты выявили, что ChemBERT выполняет эти задачи ниже современного уровня. Применение трансформеров к молекулярным данным ставит вопросы, которые предстоит серьезно исследовать.