Могут ли LLM решать задачи о растворимости?

Подбор растворителя — рутина, с которой химик сталкивается постоянно: от органического синтеза до разработки лекарственных форм. Считать растворимость умеют и физические модели, и ML, но и то и другое требует специальных навыков.

Химики из Института общей и неорганической химии РАН (Москва)  — открытый бенчмарк из 9806 вопросов. Собран он на экспериментальных данных из BigSolDB 2.0 и MixtureSolDB — двух баз растворимости (в чистых растворителях и в бинарных смесях соответственно), которые та же группа собрала и опубликовала ранее.

Всего было сделано четыре задачи по нарастающей сложности:

— выбрать лучший из двух растворителей
— выбрать лучший из нескольких
— предсказать, вырастет или упадёт растворимость при добавлении второго растворителя
— сравнить два разных соединения в одном растворителе

Протестировано больше 20 моделей, открытых и проприетарных. Лучший результат у Gemini 3 Flash — 90.6%, 66.2% и 86.4% на первых трёх задачах. Ограничения тоже видны: точность резко падает для крупных молекул (>500 Да) с длинными SMILES, тяжелее всего даются полярные апротонные растворители (в первую очередь ДМСО и ДМФА), а четвёртая задача требует включённого режима пошаговых рассуждений (reasoning).

Для честного сравнения авторы обучили LightGBM на экспериментальных данных по схеме, где тестируемое соединение никогда не встречалось при обучении. На трёх задачах из четырёх LLM не уступают, а иногда и превосходят специально обученную модель, не имея доступа к обучающим данным. То есть обобщённые химические знания в них действительно закодированы — по крайней мере, на качественном уровне.

Статья вышла в Journal of Chemical Information and Modeling (IF=6.4), данные и код открыты, так что проверить бенчмарк может любой желающий.

Источник: «Зоопарк из слоновой кости»