От визуальной диагностики к глубокому обучению: автоматическое определение минералов на фотографиях аншлифов

Введение

Изучение минерального состава руд является основополагающим этапом при разведке новых месторождений, поскольку именно оно позволяет определить формы нахождения полезных компонентов, процессы рудообразования и потенциальную извлекаемость ценных элементов. Минеральная ассоциация, текстуры и структуры руд не только дают ключевые сведения о геологии месторождения, но и определяют выбор методов обогащения.

Несмотря на развитие современной аналитической базы и существующие решения автоматической диагностики минералов, например, на основе СЭМ-EDS метода [1, 2], оптическая микроскопия является самым доступным средством количественного минералогического анализа. Однако она остаётся трудоемкой и требует высокой квалификации специалиста. А её визуальный характер ограничивает точность и воспроизводимость результатов, что создает необходимость в разработке более эффективных подходов.

Одним из перспективных направлений является автоматизация идентификации рудных минералов по фотоизображениям аншлифов. Такой подход позволяет не только сократить временные затраты, но и минимизировать субъективные ошибки, связанные с визуальной диагностикой, а также внедрить точные статистические методы анализа. Целью настоящей работы является описание нашего опыта разработки сегментационной модели для автоматической детекции минералов на фотографиях аншлифов и ряда смежных задач, возникавших в ходе исследования. В статье последовательно изложены основные проблемы, с которыми столкнулись авторы, и предложенные ими решения.

Современное состояние проблемы

Первые попытки создания инструментов автоматической диагностики рудных минералов под микроскопом были предприняты во второй половине XX в. [3, 4]. Тогда использовали спектрофотометры, с помощью которых измеряли цвет минералов, в частности, по спектрам поглощения света видимого диапазона интерпретировали минеральный вид. Из-за низкой точности этот метод не был широко распространён. Более совершенные методы автоматической идентификации минералов были созданы уже во второй половине 1990-х годов и опирались на анализ фотографий аншлифов под микроскопом [5, 6].

Предпринимались попытки автоматического анализа минеральных ассоциаций методом кластерного анализа с целью поиска закономерностей между различными объектами на фотографиях [7]. Отдельного упоминания стоит попытка авторов [8] составить цифровой атлас всех минералов, а сами минералы определять с помощью дендрограммы, составляемой на основе цифрового опросника.

На сегодняшний день существующие классические решения (без использования аппарата глубокого обучения) автоматической идентификации минералов можно разделить на два основных типа:

1. Использование интенсивности отраженного света совместно с цветовыми характеристиками, выраженными в цветовом пространстве RGB или LAB [9];
2. Использование статистических принципов разделения цветовой палитры для определения минералов в конкретном образце [10–12].

Оба подхода имеют существенные ограничения. Методы, использующие цвет и отражательную способность, не способны различать минералы с близкими оптическими свойствами. Статистические методы, в свою очередь, требуют повторной калибровки для каждого нового геологического объекта, что делает их применение «ситуативным» и ограниченным. Это хорошо иллюстрируется в работе [12], где показаны особенности применения данного принципа для разделения медной руды по трём минералам и трём литологическим типам одного конкретного месторождения.

Стоит отметить, что существуют и узкоспециализированные решения, выполненные в виде расширений для популярных программных пакетов анализа изображений, таких как Fiji/ImageJ. Например, в работе [13] описывается метод автоматического определения содержания гематита, его размеров и типов срастаний в руде на базе этого ПО. Проблема подобных решений заключается в том, что они решают узкую конкретную задачу и не обладают должным уровнем универсальности.

Наиболее эффективным способом преодоления недостатка использования классических методов и достижения принципиально более качественных результатов в автоматическом анализе подобных изображений является применение обучаемых глубоких моделей (например, свёрточных нейронных сетей), которые способны извлекать сложные иерархические признаки из изображений с учётом не только локальных текстур и форм, но и глобальных взаимосвязей между фрагментами снимка. Вместо ручного подбора цветовых и статистических характеристик такие модели – будь то традиционные свёрточные сети (Convolutional Neural Networks, CNN) [13–15], современные трансформеры с механизмом самовнимания [16] или гибридные архитектуры (например, Mamba [17]) – учатся выделять отличительные морфологические и структурно-текстурные признаки каждого минерала.

Так, аппарат свёрточных нейронных сетей использовался для анализа дефектности поверхности и качества полировки металлических изделий [18, 19], анализа распределения углерода в чугуне по микрофотографиям поверхности заготовок [20]. В работе [21] показан метод разделения гематита и кварца в аншлифах железной руды с выделением класса их размерности для формирования оптимальной подачи вещества на обогатительный комбинат. Также стоит отметить ряд работ, посвящённых оценке и выделению классов размерности отдельных минеральных индивидов [22, 23], а также анализу и типизации морфологии сростков в системе с известной ассоциацией минералов [24, 25]. Предложенная в этих работах модель сегментации достигла 98 % точности при предсказании качества железной руды и возможности восстановления гематита, что подчёркивает потенциал глубоких моделей в решении производственных задач.

В работе [14] была продемонстрирована эффективность глубоких свёрточных сетей для трёхмерной идентификации минералов и анализа свободных зёрен, а в работе [26] авторы показали, что комбинированный анализ оптических микрофотографий с помощью CNN повышает точность оценки содержания минералов в шихте. В работе [15] авторы улучшили методы субдискретизации признаков, более точно классифицировав горные породы по изображениям шлифов.

Стоит отметить, что с помощью современных подходов глубокого обучения можно легко осуществить переход от классификации фрагментов изображения [27] к полноценной семантической сегментации, что позволяет получить точное пиксельное разбиение изображений по минералам [17, 26] и [14, 28]. При этом в работах [14, 29] была показана принципиальная возможность создавать качественные модели сегментации рудных минералов с высокой точностью определения (> 0,8 по метрике IoU).

Основное преимущество использования глубоких обучаемых нейронных сетей при работе с изображениями аншлифов руд заключается в способности учитывать контекст изображения и адаптироваться к вариативности минеральных ассоциаций. А самое главное – позволяет надёжно различать даже минералы с очень близкими признаками (пирит–марказит, ковеллин–халькозин и др.) без постоянной перекалибровки алгоритма под новые образцы в отличие от других методов компьютерного зрения. Однако работ, посвященных непосредственно диагностике минеральных видов с использованием таких подходов, пока ещё довольно мало. Также модели глубокого обучения могут быть использованы совместно с методами доменной адаптации, что позволяет дообучать модель сегментации на «новых» снимках – снятых другим оборудованием или в иных условиях освещения – и таким образом сохранять высокое качество работы даже при значительных вариациях входных данных. Обширные обзоры по доменной адаптации [14] и примеры успешного применения в семантической сегментации геологических и спутниковых изображений [30, 31] подтверждают, что этот подход обеспечивает универсальность и стабильность в самых разных условиях. Принципиальным отличием большинства методов глубокого обучения является необходимость полной разметки изображений для обучения. Зачастую это весьма трудоёмкий процесс, однако применение специализированных методов слабой разметки, выглядящих с точки зрения пользователя как разметка с помощью грубых штрихов (ScribbleSup [32], ScribbleSeg [33]) или точек [34], позволяет во многих случаях значительно ускорить сбор и подготовку обучающих данных.

Для построения надежной системы, основанной на глубоком обучении, требуется решить следующие основополагающие задачи, подробно рассматриваемые в данной работе:

1. Разработка нейросетевых методов сегментации минералов.
2. Разработка адаптивных методов калибровки и предобработки изображений.
3. Разработка методов совместной обработки разнородных изображений.
4. Разработка метода создания панорамных изображений.
5. Разработка вспомогательных методов обработки и анализа изображений аншлифов.

Материалы и методы

В настоящем исследовании использовалась коллекция аншлифов, предоставленная кафедрой геологии, геохимии и экономики полезных ископаемых геологического факультета МГУ имени М.В. Ломоносова. Для получения изображений аншлифов использовался поляризационный микроскоп Carl Zeiss AxioScope 40 с фотокамерой Canon PowerShot G10. Все фотографии были сняты с увеличением ×50, а их разрешение 3396×2547 пк.

Основным недостатком существующих решений, применяющих глубокие нейросетевые модели в рассматриваемых задачах анализа фотографий аншлифов [23, 35], по мнению авторов, является закрытость используемых наборов изображений и закрытость кодовой базы, что делает невозможным любое сравнение разрабатываемых методов.  Поэтому все размеченные наборы изображений, созданные в рамках работы, оформлены в виде единого открытого набора данных LumenStone¹, а программная реализация всех разработанных методов опубликована в виде библиотеки petroscope² с открытым кодом для языка программирования Python 3.

Созданный набор изображений LumenStone содержит несколько поднаборов, ориентированных на решения различных задач анализа изображений аншлифов. Основными поднаборами являются поднаборы S1, S2, S3, направленные на задачу сегментации (автоматического определения) минералов, сформированные с учетом минеральных ассоциаций и свойств минералов:

• LumenStone S1 (84 изображения): полиметаллические руды (галенит, сфалерит, халькопирит, борнит, блёклая руда);
• LumenStone S2 (39 изображений): сульфидные медно-никелевые руды (пирротин, пентландит, халькопирит);
• LumenStone S3 (35 изображений): минералы с сильными анизотропными свойствами (арсенопирит, ковеллин).

Для всех изображений данных наборов с использованием программного обеспечения Supervisely и Adobe Photoshop были созданы пиксельные маски сегментации соответствующих минералов, необходимые для обучения и тестирования моделей глубокого обучения.

Стоит отметить, что из-за естественных причин встречаемости в природе собранный набор изображений имеет достаточно существенный дисбаланс минералов (процентное соотношение приведено в табл. 1). Данный факт является дополнительной сложностью для разработки методов автоматической сегментации минералов и должен учитываться.

Также авторами были собраны дополнительные поднаборы изображений, необходимые для решения смежных задач:

• LumenStone V1: специальный набор изображений одних и тех же 10 препаратов с разными условиями съемки, предназначенный для разработки и тестирования методов цветовой адаптации. Изображения получены как на том же оборудовании с использованием синего и жёлтого светофильтров, так и с помощью микроскопа ЛОМО Микросистемы ПЛМ-215 с фотокамерой Canon EOS 40D.
• LumenStone P1: 875 изображений, полученных для 35 аншлифов. Для каждого аншлифа снималось 25 фотографий с 20–30%-ным перекрытием, предназначенных для создания панорамных микроскопических изображений.

Для решения задач одновременного анализа фотографий анизотропных минералов в PPL и XPL были сделаны «поворотные» фотографии одной области зрения с шагом поворота столика микроскопа 5 и 15° и дополнительно включены в LumenStone S3.

Таблица 1

Распределение минералов на размеченных фотографиях аншлифов
в наборах LumenStone S1, S2, S3 для задачи сегментации.
В квадратных скобках указано распределение при разбиении на обучающую и тестовую выборки

¹ LumenStone Dataset. URL: https://imaging.cs.msu.ru/en/research/geology/lumenstone

² GitHub. URL: https://github.com/xubiker/petroscope

Проблемы и их решения (обсуждение)

Ниже приведены описания рассматриваемых задач из области обработки и анализа изображений, необходимых для решения комплексной проблемы автоматической идентификации минералов на микроскопических изображениях аншлифов, и подходы, предложенные авторами для решения этих задач.

1. Нейросетевые методы сегментации минералов

В данной работе для решения задач сегментации мы рассматриваем свёрточные нейронные сети. Альтернативы на основе трансформеров, хотя и перспективны, остаются избыточно ресурсоемкими для стандартных лабораторных условий [36]. Несмотря на хорошую обобщающую способность свёрточных нейронных сетей, они являются довольно чувствительными к дисбалансу классов в обучающей выборке [37, 38], которая характерна для собранных данных (табл. 1). Кроме того, нейросетевые методы не могут быть напрямую применены к изображениям высокого разрешения из-за аппаратных ограничений. Для нивелирования этих недостатков в работе [39] нами был предложен специализированный метод семплирования обучающей выборки в процессе обучения, извлекающий небольшие фрагменты из изображений (патчи) и играющий роль балансировщика данных.

Задачей разработанного метода семплирования является выравнивание распределения классов минералов, подающихся в нейронную сеть при обучении. Для каждой пары «изображение обучающей выборки – тип минерала» вычисляется матрица, содержащая в каждой точке извлеченную площадь выбранного минерала в случае выбора патча с центром в этой точке. Получившийся набор матриц используется в качестве вероятностных карт при выборе патчей для обучения. Так, на каждой итерации семплирования для наименее представленного на данный момент минерала 1) выбирается изображение обучающей выборки (пропорционально содержанию этого минерала), 2) в соответствии с вычисленными ранее вероятностными картами выбирается центр патча, 3) извлекается патч и 4) обновляются данные о представленности минералов в использованных данных. Данный метод при умеренных размерах патча (256–384 пк) позволяет существенно уравнять распределение имеющихся минералов в наборах LumenStone S1, S2, S3, что положительно сказывается на скорости обучения моделей сегментации, а также на итоговых метриках качества сегментации.

При разработке нейросетевых моделей сегментации минералов нами были рассмотрены и исследованы ряд свёрточных архитектур, начиная от традиционного UNet [40] и его модификации ResUNet [29] и заканчивая более современными PSPNet [41] и UPerNet [42]. Преимущество последних заключается в возможности анализировать изображения на разных масштабах, корректно определять одновременно и маленькие, и очень большие объекты, и учитывать локальный и глобальный контекст, что позволяет существенно улучшить качество сегментации на имеющихся данных.

Для оценивания качества сегментации в данной работе используется метрика IoU [43]. Это один из наиболее простых и распространенных способов геометрической оценки сегментации при наличии референсной разметки. Метрика принимает значения из диапазона [0, 1], где 1 соответствует полному совпадению предсказанной разметки с референсной (идеальный случай), а 0 соответствует отсутствию пересечений предсказанной и референсной разметок сегментации. Удовлетворительным обычно считается значение IoU > 0,7, хотя и зависит, конечно, от предметной области.

В нашем случае обучение нейронной сети PSPNet с ResNet18 кодировщиком на наборах LumenStone S1 и S2 совместно с использованием метода семплирования с балансировкой классов, описанного выше, позволило произвести сегментацию 9 минералов и обобщённого класса нерудных минералов с очень высоким качеством (среднее значение IoU на тестовой выборке составило 0,88). При обучении используются кросс-энтропийная функция потерь, случайные аугментации (поворот, незначительное изменение масштаба, яркости и цвета), оптимизатор Adam с начальной скоростью обучения 0,001 и уменьшением при достижении плато. Обучение занимает порядка 3 ч на Nvidia A6000 GPU. Пример применения обученной модели сегментации минералов на изображении из тестовой выборки приведен на рис. 1.

Рис. 1. Пример сегментации изображения аншлифа обученной моделью PSPNet:
а – изображение; б – карта ошибок (зеленым выделены правильно распознанные участки, красным – ошибки сегментации); в – маска минералов (экспертная разметка); г – предсказание модели

2. Адаптивные методы калибровки и предобработки изображений

Одной из основных проблем, с которой столкнулись авторы при работе с первичными данными, является высокая чувствительность сегментационных моделей к цветовой палитре изображений. Различия в цветовых характеристиках между обучающими и реальными изображениями приводят к значительному ухудшению качества определения минералов. Цвето-яркостные характеристики изображений определяются многими факторами: параметрами микроскопа, настройками фотокамеры, освещенностью и др.

Один из вариантов решения данной проблемы – использование автоматической коррекции цвета, основанной на разнице цветов между получаемым изображением и известным референсом (например [44]).

Метод исправления цветовых искажений был предложен нами в работе [45]. Основная идея заключается в построении матрицы перехода (Color Correction Matrix, CCM) [46] между цветовыми пространствами искажённого и эталонного изображений (за эталон принимаются изображения из обучающего набора данных).

Процесс включает извлечение усредненных цветов минералов и фона с использованием частичной разметки, линеаризацию цветов через гамма-коррекцию (γ = 2,2) и расчет аффинного преобразования. Задача минимизации решается в LAB-пространстве, в качестве функции потерь используется сумма квадратов цветовых отличий, вычисленных по формуле CIEDE2000 [47]. В работе используется матрица размера 4x3 с инициализацией начального приближения методом «баланса белого» [46]. Последним шагом искаженное изображение преобразуется путем матричного умножения на вычисленную ранее матрицу цветовой коррекции.

Предложенный метод позволяет сохранить цветовые различия, критически важные для идентификации минералов (рис. 2), минимизируя при этом влияние изменений освещения и настроек оборудования. Алгоритм поддерживает два режима работы: индивидуальную коррекцию для каждого изображения и «калибровочный» режим для серийных снимков, где матрица коррекции рассчитывается один раз и применяется ко всей группе. Метод не требует предварительного обучения, обработка одного изображения занимает менее 10 с на Intel Xeon Gold 6226R CPU.

Рис. 2. Пример работы предложенного метода цветовой калибровки:
а – исходное изображение, снятое на альтернативном оборудовании; б – референсное изображение;
в – исходное после работы метода

3. Методы совместной обработки разнородных изображений

Многие минералы идентифицируются не только на основе их цвета и отражательной способности, но также по наличию или отсутствию анизотропных свойств. Анизотропия проявляется в способности минералов «гаснуть» в дважды поляризованном свете (скрещенных николях) при совпадении оптических осей минерала с направлением поляризаторов микроскопа. Это свойство является ключевым для возможности отличить минералы с близкими параметрами отражательной способности и цвета. Например, пирит (изотропный) и марказит (анизотропный) имеют схожие оптические характеристики, но отличаются по наличию анизотропии. Аналогично, пирит и арсенопирит, хотя и обладают несколько различными отражательной способностью и цветом, также могут быть надежно разделены по наличию анизотропии у арсенопирита.

Авторами статьи был разработан нейросетевой метод сегментации, использующий XPL- и PPL-изображения в качестве дополнительных входных данных для сегментирующей нейронной сети для повышения точности сегментации минералов [48]. Ключевым этапом данного метода является совмещение изображений, снятых при разных углах поворота с эталонным PPL-изображением. Для этого применялись алгоритмы SIFT [49] для детекции устойчивых ключевых точек на изображениях и RANSAC [50], с помощью которого по найденным парам ключевых точек вычислялось аффинное преобразование между изображениями. Таким образом, все изображения были приведены к единой системе координат (рис. 3). Далее приведенные к единой системе координат XPL-изображения используются как дополнительные каналы на входе нейронной сети, в основе которой лежит архитектура, предложенная ранее авторами [29]. Используемые гиперпараметры описаны в [29], время обучения модели составляет около 6 ч на видеокарте NVidia A6000 GPU.

Рис. 3. Совмещение XPL-изображений арсенопирита:
верхний ряд – изображения арсенопирита в различных ориентациях, нижний ряд – изображения арсенопирита в различных ориентациях после совмещения. Представлены 4 различные ориентации из 24 для каждого изображения с анизотропными минералами

4. Методы создания панорамных изображений

Площадь среднего аншлифа составляет несколько квадратных сантиметров, при исследовании типично увеличение ×50. В таких условиях на каждой фотографии будет лишь небольшая часть аншлифа, площадью в несколько квадратных миллиметров. Использование фотографий, покрывающих большую площадь образца, позволило бы получить более точную информацию о распределении минералов в образце и об их взаимном расположении и положительно сказалось бы на качестве анализа.

Для получения больших изображений в геологии можно использовать сканирующие электронные микроскопы (SEM), но такое оборудование очень дорогое, структурно-текстурные особенности могут теряться в силу особенностей метода, а определение минеральных фаз требует дополнительных усилий. Поэтому мы, как и другие исследователи [51], делаем выбор в пользу программного сшивания серии изображений, снятых с перекрытием, в единую панораму.

В настоящее время существует множество примеров программного обеспечения для автоматического сшивания разрозненных фотографий в единое панорамное изображение. К ним относятся Adobe Photoshop, Fiji/ImageJ и многие другие. Но использование стороннего ПО обладает рядом недостатков. Мощные средства, такие как Adobe Photoshop, могут излишне преобразовывать панораму (неестественно менять цвета, устранять важные детали, принимая их за артефакты склейки). Интеграция сторонней реализации в собственную систему затруднительна сама по себе, а также приводит к невозможности вносить необходимые изменения в работу алгоритма в соответствии с особенностями решаемой задачи.

Авторами был разработан собственный алгоритм сшивания фотографий в панорамное изображение поверхности аншлифа [52] (рис. 4). Алгоритм состоит из двух основных этапов: совмещение изображений и дальнейшая постобработка для улучшения визуального восприятия. На первом этапе с использованием калибровочных изображений корректируются геометрические искажения изображений с помощью модели Брауна–Конради [53] и фотометрические искажения с помощью компенсации плоского поля [54]. Затем с помощью нейросетевого алгоритма LoFTR [55] находятся общие точки изображений, имеющих области перекрытия. По ним вычисляются перспективные преобразования – гомографии для пар соседних изображений с помощью RANSAC [50], после чего все изображения преобразуются в координаты одного изображения (опорного). Наконец, выполняется глобальная оптимизация панорамы для минимизации ошибок совмещения. Результатом этапа является первичная панорама – коллаж. На втором этапе происходит улучшение первичной панорамы. Компенсируется разница экспозиций на изображениях. Маскируются швы между изображениями с помощью построения наименее заметного шва методом разреза графа [56], с учетом разницы в цвете и градиентах соседних пикселей. Финальным шагом изображения смешиваются вблизи стыков частей панорамы для устранения возможных остаточных артефактов сшивания. Для тестирования алгоритма использовался собранный для задачи построения панорам набор LumenStone P1. Метод не требует предварительного обучения, скорость обработки одной панорамы из 25 изображений на Intel Xeon Gold 6226R CPU составляет порядка 5 мин.

Рис. 4. Иллюстрация разработанного метода построения панорам: слева несколько изображений одного аншлифа, снятых с перекрытием, справа – построенная панорама

5. Вспомогательные методы обработки и анализа изображений аншлифов

Применение методов глубокого обучения для сегментации минералов на изображениях требует точной разметки большого количества изображений, что является трудоёмким процессом. Для упрощения процесса разметки и создания сегментационной модели, способной распознавать основные рудные минералы, авторами разрабатывается метод ускоренной интерактивной разметки с использованием суперпиксельной кластеризации на основе методов SLIC [57] и Felzenswalb [58]. Геолог грубо выделяет минералы штрихами, при этом целые области изображения помечаются меткой того или иного минерала на основе данных о нанесенных штрихах и карты суперпикселей. Пользователь корректирует предсказания метода, пока не получит окончательную разметку. Особенность подхода – многомасштабная кластеризация, позволяющая быстро размечать как большие однородные области, так и мелкие фрагменты, автоматически разбивая большие кластеры на более мелкие по мере необходимости.

Также сократить трудозатраты на разметку данных можно пополнением обучающей выборки частично размеченными данными. Основная идея подхода заключается в выделении на изображениях областей неопределенности (неуверенности) обученной модели сегментации. Авторы предлагают выделять области неопределенности на изображениях [59] с использованием гиперболического радиуса [60], что позволяет снизить объем разметки до 5–10 % от исходного изображения (рис. 5).

Рис. 5. Результат работы метода оценки областей неопределенности:
а – исходное изображение; б – предсказание областей неуверенности модели сегментации; в – области для ручной разметки

Заключительным этапом после распознавания и сегментации всех минералов на изображениях является этап статистического анализа изображения. Он ответственен за проведение количественного анализа, выполняющего оценку площадного соотношения минеральных фаз и их гранулометрического анализа с выделением фракций по классам размерности для каждого минерала. Данный этап пока находится на стадии разработки.

Результаты

Итогом проведенного авторами исследования тематики автоматического анализа микроскопических изображений геологических аншлифов для определения минерального состава стали открытый набор изображений LumenStone и ряд алгоритмов и методов, решающих основные возникшие задачи:

1. Нейросетевые методы сегментации минералов

Разработаны свёрточная нейросетевая модель сегментации минералов и специальный метод семплирования обучающей выборки, позволяющий нивелировать имеющийся дисбаланс классов. Точность сегментации минералов по метрике IoU составила: нерудные – 0,912, борнит – 0,938, халькопирит – 0,899, галенит – 0,905, магнетит – 0,650, пентландит – 0,790, пирротин – 0,928, пирит – 0,964, сфалерит – 0,922, теннантит – 0,882. Общая пиксельная точность сегментации (pixel accuracy, PA) составила 0,96. Имеющаяся дифференциация результатов определения минералов объясняется разностью объемов обучающих выборок LumenStone S1 и LumenStone S2.

2. Адаптивные методы калибровки и предобработки изображений

Разработан алгоритм адаптации изображений аншлифов, полученных в разных условиях съемки с использованием частичной пользовательской разметки. Пиксельная точность сегментации возросла с 0,29 до 0,87 для искаженных изображений до и после адаптации с использованием разметки, составляющей порядка 30–35 % от изображения.

3. Методы совместной обработки разнородных изображений

Разработанный алгоритм сегментации анизотропных минералов с использованием дополнительных повернутых XPL-изображений повысил качество сегментации анизотропных минералов на 3–12 %. Было показано, что наилучшего результата можно достичь использованием 6 дополнительных повернутых изображений.

4. Методы создания панорамных изображений

Разработан метод построения панорамных микроскопических изображений аншлифов. Среднеквадратичная ошибка совмещения частей панорамы из 25 изображений составила 0,5–0,6 пк. Получаемые панорамы имеют разрешение 12000×8000 пк и могут быть использованы для задач автоматической сегментации минералов. Реализованный метод лишен недостатков менее специализированных решений, таких как Adobe Photoshop, Fiji, Panorama Studio.

5. Вспомогательные методы обработки и анализа изображений аншлифов

Разработан прототип метода интерактивной разметки изображений аншлифов, позволяющий существенно ускорить процесс подготовки данных для обучения моделей сегментации. Также разработан метод автоматического поиска областей неопределенности, позволяющий приоритизировать разметку изображений и значительно сократить объем требуемой разметки.

Заключение

В данной работе представлен опыт авторов по разработке набора методов автоматического анализа микрофотографий аншлифов для определения рудных минералов. Разработанный метод сегментации на основе свёрточной нейронной сети способен определять 9 рудных минералов (с корректным отделением их от нерудных фаз) с точностью IoU = 0,88 и PA = 0,96. Показана перспективность использования дополнительной информации из XPL-изображений для увеличения точности определения анизотропных минералов.

Разработанные методы интерактивной разметки и адаптации изображений существенно ускоряют обучение и использование моделей сегментации на новых данных. Отдельно стоит отметить разработанный авторами метод получения панорамных изображений аншлифов, позволяющий получать детализированные изображения всей поверхности препаратов в высоком разрешении без дорогостоящего оборудования, который в отличие от существующих программных решений не искажает итоговую панораму, что положительно сказывается на результатах сегментации. А работа с широкоформатными изображениями открывает новые перспективы в автоматическом анализе микрофотографий аншлифов.

Полученные результаты обосновывают необходимость дальнейшего развития рассматриваемого направления, а также формируют основу для создания интеллектуальной системы количественной оценки, способной не только идентифицировать минералы и рассчитывать их площадные доли, выполнять гранулометрический анализ по классам крупности, но и определять типы минералогических срастаний. Реализация такой методологии откроет новые возможности в цифровой петрографии, обеспечив быстрый, экономичный и воспроизводимый минеральный анализ на оптических микроскопах в отражённом свете. В конечном итоге это позволит сформировать унифицированные критерии анализа структурно-текстурных особенностей минеральных ассоциаций для генетического сравнения разных месторождений.

На данный момент авторы внедряют большинство описанных в данной статье методов и алгоритмов в разработанную ими программную платформу PathScribe [61]. Данная платформа представляет собой облачное клиент-серверное решение с кроссплатформенными клиентами для работы с изображениями сверхвысокого разрешения и ориентирована на универсальное применение как в научных, так и в образовательных целях. Авторы надеются, что возможность работы с панорамными изображениями аншлифов, с удобными средствами их разметки и полного автоматического анализа будет полезной для специалистов-геологов разных профилей.