Развитие и разработка алгоритмов машинного обучения для автоматического извлечения и описания керна

Abstract

При использовании алгоритмов машинного обучения выявляются различные ошибки в их работе. В работе рассмотрены подходы к улучшению моделей, борьбе с возможными ошибками и внедрению новых моделей в систему.

Для непрерывного развития и поддержки моделей машинного обучения необходимо зафиксировать начальный набор эталонов и постоянно пополнять «эталонные» данные тех типов, которые могут приходить системе. Оценивая работоспособность новых моделей на зафиксированных данных возможно не только понять, насколько улучшила работу та или иная модель по сравнению с предыдущей, но и выявить недостатки в процессе обучения. Для подсчета метрик качества возможно использовать общераспространенные методы оценки, например, IOU (для задач сегментации), precision, recall. Также необходимо учитывать опыт использования моделей – то насколько часто пользователь обращает внимание на те или иные ошибки, а также ранжировать сами ошибки по приоритету. В ходе использования ряда моделей для сегментации керна из ящиков, а также классификации керна был выявлен ряд недостатков, на которых особенно заостряет внимание пользователь. Так, например, большие вопросы при использовании моделей вызывают такие ошибки как смешение разных типов пород (песчаник\аргиллит) в случае классификации и сегментация окружения вокруг ящика керна или отсутствие сегментации той или иной части керна. На примере моделей классификации терригенных пород и выделения кварцевых жил проведено исследование опыта использования моделей . Для тестирования было зафиксировано 5 скважин. При первоначальном среднем качестве классификации (precision) новых данных равным 70% для 14 типов пород удалось улучшить этот показатель до 85%, не теряя качества на всех данных, было снижено как количество «простых» ошибок, связанных с определение типа пород, так и «сложных», связанных с определением текстур. Для проверки работоспособности модели сегментации зафиксировано 250 различных ящиков керна (включая отдельные столбики). Качество сегментации ящиков керна (IOU) улучшилось с 78% до 88%, общий процент ошибок выделения областей типа «не керн» снизился до 8%. Был разработан подход для улучшения как опыта использования моделей пользователем, так и улучшения самих моделей. При внедрении подхода в систему разработанные модели улучшено общее впечатление от использования системы пользователем. Е.Е. Барабошкин, А.Е. Демидов, Д.М. Орлов, Д.А. Коротеев