Segmentierung von fibroglandulärem Gewebe in der Brust-MRT mithilfe von Sehtransformatoren: ein Multi

Scientific Reports Band 13, Artikelnummer: 14207 (2023) Diesen Artikel zitieren

Details zu den Metriken

Eine genaue und automatische Segmentierung des fibroglandulären Gewebes beim Brust-MRT-Screening ist für die Quantifizierung der Brustdichte und der Hintergrundverstärkung des Parenchyms von entscheidender Bedeutung. In dieser retrospektiven Studie haben wir ein transformatorbasiertes neuronales Netzwerk für die Brustsegmentierung (TraBS) in multiinstitutionellen MRT-Daten entwickelt und evaluiert und seine Leistung mit dem etablierten Faltungs-Neuronalen Netzwerk nnUNet verglichen. TraBS und nnUNet wurden an 200 internen und 40 externen MRT-Untersuchungen der Brust mithilfe manueller Segmentierungen geschult und getestet, die von erfahrenen menschlichen Lesern erstellt wurden. Die Segmentierungsleistung wurde anhand des Dice-Scores und des durchschnittlichen symmetrischen Oberflächenabstands bewertet. Der Dice-Score für nnUNet war niedriger als für TraBS beim internen Testsatz (0,909 ± 0,069 gegenüber 0,916 ± 0,067, P < 0,001) und beim externen Testsatz (0,824 ± 0,144 gegenüber 0,864 ± 0,081, P = 0,004). Darüber hinaus war der durchschnittliche symmetrische Oberflächenabstand für nnUNet höher (= schlechter) als für TraBS auf dem internen (0,657 ± 2,856 gegenüber 0,548 ± 2,195, P = 0,001) und auf dem externen Testsatz (0,727 ± 0,620 gegenüber 0,584 ± 0,413, P =). 0,03). Unsere Studie zeigt, dass transformatorbasierte Netzwerke die Qualität der Segmentierung von fibroglandulärem Gewebe in der Brust-MRT im Vergleich zu Faltungsmodellen wie nnUNet verbessern. Diese Erkenntnisse könnten dazu beitragen, die Genauigkeit der Quantifizierung der Brustdichte und der Parenchymverstärkung beim Brust-MRT-Screening zu verbessern.

Brustkrebs ist die häufigste Krebsart in der weiblichen Bevölkerung und stellt in den Vereinigten Staaten1 die zweithäufigste Todesursache bei Frauen dar. Neue Leitlinien zur Brustkrebsvorsorge empfehlen den Einsatz einer MRT bei Frauen mit dichtem Brustgewebe2,3. Deep-Learning-basierte Tools zur Beurteilung der Brustdichte in der Mammographie wurden bereits entwickelt4, eine konsistente und zuverlässige automatisierte Beurteilung der Brustdichte – als Verhältnis von fibroglandulärem Gewebe (FGT) zum Brustvolumen – in MRT-Untersuchungen fehlt jedoch noch. Neben der Brustdichte hat sich auch die Hintergrundparenchymverstärkung (BPE) – die Verstärkung des fibroglandulären Gewebes – als vielversprechender Marker für die Früherkennung von Brustkrebs herausgestellt5,6, allerdings fehlt auch eine zuverlässige automatisierte Beurteilung der BPE. Die Entwicklung eines maschinellen Lernalgorithmus, der in der Lage ist, FGT zu segmentieren, ist ein wichtiger erster Schritt hin zu einer automatischen Quantifizierung der Brustdichte und des BPE bei Brust-MRT-Untersuchungen.

Mehrere Forschungsstudien haben dieses Problem untersucht, indem sie Convolutional Neural Networks (CNNs) auf manuell segmentierte Brust-MRT-Untersuchungen trainierten und ihre Leistung auf Single-Center-Testsätzen bewerteten7,8,9. Die hohe Übereinstimmung zwischen von Menschen und Maschinen erstellten Segmentierungskarten in all diesen Veröffentlichungen zeigt das Potenzial von CNNs. Allerdings gibt es ein wichtiges Hindernis für die flächendeckende Einführung solcher Algorithmen: MRT-Untersuchungen sind nicht standardisiert. Verschiedene klinische Zentren verwenden unterschiedliche MRT-Protokolle und -Sequenzen für die Diagnose von Brustkrebs. Keine der von uns gefundenen Studien testete ihre CNN-Architektur anhand unabhängiger Daten, die nicht zu der Institution gehörten, in der die Algorithmen entwickelt wurden.

Darüber hinaus stellt die Entwicklung robuster Modelle für die Brust-MRT-Segmentierung eine Herausforderung dar, insbesondere bei Vorhandensein von Läsionen, Operationsnarben und Brustimplantaten10,11. Der Evaluierung von Segmentierungsmodellen für die Brust-MRT im Zusammenhang mit solchen potenziellen Störfaktoren wurde wenig Beachtung geschenkt. Frühere Studien haben Brustimplantate ausgeschlossen12,13 oder die Schwierigkeit anerkannt, zwischen gesunder und pathologischer FGT genau zu unterscheiden14.

Transformatorbasierte Modelle haben sich in anderen Anwendungen der medizinischen Bildanalyse als robuster, generalisierbarer und angriffssicherer als CNNs erwiesen15,16. Sie haben modernste Ergebnisse für die Verarbeitung natürlicher Sprache erzielt17,18, vor allem aufgrund ihrer Fähigkeit, langfristige Abhängigkeiten zu bewältigen und selbstüberwachtes Vortraining für nachgelagerte Aufgaben.

Daher wollten wir eine robuste und genaue Segmentierungsmethode entwickeln und testen, die auf der Transformer-Architektur basiert und sich gut auf multiinstitutionelle Daten übertragen lässt.

Wir verglichen unser transformatorbasiertes Brustsegmentierungsmodell (TraBS) mit dem aktuellen, hochmodernen CNN-basierten Modell (nnUNet19) anhand interner und externer Brust-MRT-Datensätze der Duke University20. Unsere Hypothese war, dass das neue transformatorbasierte Modell den aktuellen Stand der Technik übertrifft und sich besser auf externe Daten verallgemeinern lässt.

Diese Studie umfasste zwei Datensätze. Für das Training und Testen von TraBS und nnUNet wurde ein interner Datensatz (UKA) verwendet. Ein zweiter, externer Datensatz (DUKE) wurde verwendet, um die Generalisierbarkeit beider Modelle zu testen. Wir haben die Segmentierungsleistung von TraBS und nnUNet anhand des Dice-Scores und des Average Symmetric Surface Distance (ASSD) getestet.

Der Dice-Score quantifiziert die Überlappung zwischen der automatisierten Segmentierung und der Grundwahrheit mit Werten zwischen 0 und 1, wobei 1 eine perfekte Überlappung darstellt.

Der durchschnittliche symmetrische Oberflächenabstand (ASSD) misst den durchschnittlichen Abstand zwischen den Oberflächen der Grundwahrheit und der automatisierten Segmentierung, wobei 0 mm eine perfekte Ausrichtung mit der Grundwahrheit darstellt.

Der UKA-Datensatz umfasste 200 weibliche Patienten mit einem Durchschnittsalter von 56 ± 10 Jahren (Bereich 19–91) und einem Durchschnittsgewicht von 75 ± 27 kg. Der DUKE-Datensatz umfasste 40 weibliche Patienten mit einem Durchschnittsalter von 53 ± 11 Jahren (Bereich 22–90) und einem Durchschnittsgewicht von 76 ± 18 kg. In den UKA- und DUKE-Datensätzen hatten 9 Frauen Brustimplantate, während im DUKE-Datensatz keine Frau ein Brustimplantat hatte. Das mittlere FGT-Volumen und die mittlere FGT-Dichte betrugen 117 ± 91 mm3 und 18 ± 14 % für den UKA-Datensatz bzw. 114 ± 61 mm3 und 12 ± 7 % für den DUKE-Datensatz.

nnUNet erreichte einen mittleren Dice-Score von 0,909 ± 0,069 für die FGT-Segmentierung in unserem internen Datensatz, siehe Tabelle 1. Unser TraBS-Modell erreichte einen höheren mittleren Dice-Score von 0,916 ± 0,067, P < 0,001.

TraBS zeigte auch einen niedrigeren ASSD (0,548 ± 2,195) als nnUNet (0,657 ± 2,856, P = 0,001), was darauf hindeutet, dass feinere Details von TraBS genauer bewertet werden.

Tendenziell war die anhand des Dice-Scores und des ASSD gemessene Segmentierungsleistung bei beiden Modellen geringer, wenn die Brüste weniger dicht waren, d.

Würfelähnlichkeitskoeffizient (DSC) und durchschnittlicher symmetrischer Oberflächenabstand (ASSD) zwischen der automatisierten und manuellen Segmentierung für alle untersuchten neuronalen Netzwerkarchitekturen. Unabhängig vom verwendeten neuronalen Netzwerk war DSC bei Untersuchungen von Brüsten mit geringer Dichte niedriger, während ASSD nicht durch die Brustdichte beeinflusst wurde.

Zusätzlich zur quantitativen Bewertung bewertete ein erfahrener Radiologe visuell die Segmentierungsqualität und stellte fest, dass TraBS im Vergleich zu nnUNet sowohl bei der Erfassung der Gesamtstruktur als auch feiner Details eine bessere Leistung erbrachte. Insbesondere konnte TraBS besser zwischen Brustimplantaten und FGT sowie zwischen Läsionen und normalem Brustgewebe unterscheiden, wie in Abb. 2 dargestellt.

Beispielhafte MRT-Untersuchungen des internen UKA-Datensatzes. Die beiden Spalten ganz links zeigen das kontrastverstärkte Subtraktionsbild und das nichtverstärkte T1-gewichtete Bild. Die dritte Spalte zeigt die Ground-Truth-Segmentierung durch die Radiologen und die beiden verbleibenden Spalten zeigen die Segmentierung durch die neuronalen Netze. Korrekte Segmentierungen werden in grün und falsch beschriftete Bereiche in rot angezeigt. Blaue Pfeile kennzeichnen problematische Regionen wie Läsionen (Patient A und B) oder Brustimplantate (Patient C).

Um zu untersuchen, wie die Segmentierungsleistung mit klinischen Messungen zusammenhängt, die zur Beurteilung von Patientenrisiken wie der Brustdichte verwendet werden, haben wir die Korrelation zwischen solchen Messungen untersucht, wenn sie auf der Grundlage der Ground-Truth-Segmentierung und der automatisierten Segmentierung berechnet werden. Sowohl nnUNet als auch TraBS zeigten eine nahezu perfekte Korrelation mit der manuell abgeleiteten Brustdichte und dem BPE, wie in Tabelle 1 gezeigt. Obwohl die Korrelationen für beide Modelle nahezu perfekt waren, zeigte TraBS eine höhere Dichtekorrelation (ρ = 0,996 mit 95 % Konfidenzintervall [ 0,995, 0,997] vs. ρ = 0,995 [0,994, 0,996]; P = 0,11) und BPE-Korrelation (ρ = 0,992 [0,990, 0,994] vs. ρ = 0,950 [0,939, 0,959]; P = 0,06).

Die Anwendung der Modelle auf unsichtbare externe Datensätze mit unterschiedlichen MRT-Sequenzprotokollen führte zu einer insgesamt geringeren Leistung (Tabelle 2).

Allerdings schnitt TraBS immer noch besser ab als nnUNet und erreichte einen mittleren Dice-Score von 0,864 ± 0,081 für den DUKE-Datensatz, verglichen mit 0,824 ± 0,144 (P = 0,004) für nnUNet. Ebenso war die ASSD für nnUNet (0,727 ± 0,620) höher (= schlechter) als für TraBS (0,584 ± 0,413, P = 0,034).

Eine visuelle Inspektion der Segmentierungen in den externen Datensätzen bestätigte die überlegene Leistung von TraBS, da es im Vergleich zu nnUNet besser in der Lage war, feine Details und die Gesamtstruktur zu erfassen. Beispielbilder finden Sie in Abb. 3.

Beispielhafte MRT-Untersuchungen des externen DUKE-Datensatzes. Die beiden Spalten ganz links zeigen das kontrastverstärkte Subtraktionsbild und das nichtverstärkte T1-gewichtete Bild. Die dritte Spalte zeigt die Ground-Truth-Segmentierung durch die Radiologen und die beiden verbleibenden Spalten zeigen die Segmentierung durch die neuronalen Netze. Korrekte Segmentierungen werden in grün und falsch beschriftete Bereiche in rot angezeigt. Blaue Pfeile kennzeichnen problematische Regionen wie Läsionen (Patient A und B) oder Brustimplantate (Patient C).

Trotz der insgesamt begrenzten Segmentierungsqualität des externen DUKE-Datensatzes zeigten sowohl TraBS als auch nnUNet immer noch gute Korrelationen mit manuellen Segmentierungen für Brustdichte und BPE (Tabelle 2). Allerdings erreichte TraBS eine höhere Dichtekorrelation (ρ = 0,955 [0,931, 0,971] vs. ρ = 0,901 [0,849, 0,935]; P = 0,007) und BPE-Korrelation (ρ = 0,987 [0,980, 0,992] vs. ρ = 0,979 [0,967, 0,987]; P = 0,24) als nnUNet.

In dieser Studie schlagen wir eine neuartige Netzwerkarchitektur, TraBS, zur Segmentierung von fibroglandulärem Gewebe (FGT) in Brust-MRT-Bildern vor. Wir zeigen, dass TraBS sowohl bei internen als auch bei externen Validierungssätzen den bisherigen Stand der Technik übertrifft. Brustdichte und BPE sind wichtige Faktoren bei der Bestimmung des Krebsrisikos von Patienten. Daher werden genaue und zuverlässige Methoden zur automatisierten Extraktion quantitativer Marker wie Brustdichte und BPE benötigt. Unsere Forschung leistet in vier Aspekten einen Beitrag zu diesem Fachgebiet.

Erstens haben alle Gruppen, die neuronale Netze auf die FGT-Segmentierung angewendet haben, ihre Algorithmen nur anhand interner Testsätze bewertet, d. Dies ist ein Mangel, der angesichts der Fülle an MRT-Scannerprotokollen, die derzeit im klinischen Einsatz sind, behoben werden muss. Wir haben diese Lücke geschlossen, indem wir unser vorgeschlagenes TraBS-Modell anhand eines externen Datensatzes evaluiert haben, und wir haben gezeigt, dass die neue transformatorbasierte Architektur im Vergleich zu nnUNet eine bessere Generalisierungsleistung aufweist.

Zweitens untersuchten wir den Dice-Score als Funktion der Brustdichte und stellten fest, dass eine niedrigere FGT-Dichte zu einem niedrigeren Dice-Score führt. Dies erklärt teilweise die Streuung der gemeldeten Dice-Scores in der Literatur (Tabelle 3), da der zur Bewertung verwendete Testsatz einen großen Einfluss auf die Dice-Metrik hat: Wenn Segmentierungsalgorithmen bei Brust-MRT-Untersuchungen mit hohen Mengen an FGT getestet werden, Würfelwerte sind tendenziell höher. Dies ist eine wichtige Erkenntnis für zukünftige Studien und daher schlagen wir vor, dass zukünftige Arbeiten zur FGT-Segmentierung einen Bericht über die mittlere FGT-Dichte des Testsatzes oder ein Diagramm ähnlich Abb. 1 enthalten sollten.

Drittens stellen wir die manuellen Segmentierungen für die DUKE-Daten öffentlich zur Verfügung, um als Referenzstandard für zukünftige Auswertungen zu dienen. Dies kann möglicherweise zu unabhängigen externen Bewertungen von Segmentierungsalgorithmen für die Brust-MRT beitragen.

Abschließend demonstrieren wir die insgesamt bessere Leistung unseres transformatorbasierten Modells TraBS im Vergleich zur vorherigen hochmodernen Architektur zur Brustgewebesegmentierung in allen ausgewählten Leistungsmetriken. Wir machen unseren Code zusammen mit dem trainierten Modell öffentlich zugänglich, um das Fachgebiet weiter voranzutreiben und die Lücke zur klinischen Anwendung zu schließen.

Unsere Arbeit weist Einschränkungen auf, die mit der Tatsache zusammenhängen, dass die Erstellung manueller Segmentierungen äußerst zeitaufwändig ist: Erstens haben wir, obwohl wir das Modell anhand externer Testdaten bewertet haben, keine externen Trainingsdaten einbezogen. Folglich nimmt die Segmentierungsleistung ab, wenn sie auf externe Daten angewendet wird, und obwohl TraBS robuster gegenüber Domänenverschiebungen ist, könnte seine Leistung durch die Einbeziehung zusätzlicher Multidomänendaten während des Trainings gesteigert werden. Zukünftige Studien sollten sich darauf konzentrieren, um die Segmentierungsleistung robuster zu machen, damit das Modell in mehreren Zentren angewendet werden kann. Die Aufgabe stellt eine besondere Herausforderung dar, da sich die Brust-MRT-Protokolle von Einrichtung zu Einrichtung erheblich unterscheiden, einschließlich der Wahl der Sequenzen, der Fettunterdrückung und der Scanausrichtung. Zweitens haben wir nur 40 externe Prüfungen als Testfälle einer einzigen externen Institution einbezogen. Auch wenn dies im Vergleich zu früheren Untersuchungen einen Fortschritt darstellt, kann und sollte die Datenbank für eine umfassende multiinstitutionelle Studie erweitert werden, um eine globale Perspektive auf die Leistung unterrepräsentierter Patientengruppen zu bieten. Drittens stellten unsere Daten nur eine kleine Auswahl aller möglichen MRT-Scanner und -Protokolle dar. Dies kann die direkte Anwendbarkeit der automatischen FGT-Segmentierung einschränken und muss in weiteren Studien für bestimmte MRT-Konfigurationen untersucht werden. Viertens haben wir die Variabilität zwischen Bewertern nicht untersucht, da bei denselben Untersuchungen keine Mehrfachsegmentierung durch mehrere Leser erfolgt ist. Dies sollte in zukünftigen Studien erfolgen, um die Genauigkeit der von Menschen erstellten Segmentierungen zu bewerten, die als Grundwahrheit dienten.

Zusammenfassend lässt sich sagen, dass unser vorgeschlagenes TraBS-Netzwerk eine hervorragende Leistung bei der Segmentierung von FGT in Brust-MRT-Bildern zeigt. Dies ebnet den Weg für eine routinemäßige automatisierte FGT-Segmentierung und automatische Quantifizierung von Brustdichte und BPE.

Die Medizinische Ethikkommission der Medizinischen Fakultät der RWTH Aachen genehmigte die Studie (EK028/19) und verzichtete auf die Notwendigkeit einer Einwilligung nach Aufklärung. Alle Methoden wurden in Übereinstimmung mit der Deklaration von Helsinki durchgeführt.

In dieser retrospektiven Studie wurden zwei Brust-MRT-Datensätze verwendet, die wir als „UKA“ und „DUKE“ bezeichnen. Zunächst wurde UKA zwischen 2010 und 2019 am Universitätsklinikum Aachen, Deutschland, gesammelt21. UKA umfasst insgesamt 9751 Brust-MRT-Untersuchungen von 5086 Frauen. Wir haben die Untersuchungen in zwei Untergruppen unterteilt, die basierend auf den BI-RADS-Scores wahrscheinlich entweder bösartige oder gutartige Untersuchungen umfassen würden. Aus beiden Sets wurden insgesamt 200 Untersuchungen von 200 Frauen zufällig ausgewählt, darunter 104 Karzinome, 55 Fibroadenome und 41 läsionsfreie Untersuchungen. Die dynamische kontrastmittelverstärkte (DCE)-MRT der Brüste wurde gemäß einem standardisierten Protokoll22 bei 1,5 T (Achieva und Ingenia; Philips Medical Systems) mit einer Doppelbrust-Oberflächenspule mit vier Elementen (Invivo) durchgeführt. Zur Ruhigstellung der Brust in kraniokaudaler Richtung wurden zwei Paddles eingesetzt (Noras). Eine detaillierte Beschreibung der Erfassungsparameter finden Sie in Tabelle 4.

Zweitens wurde DUKE zwischen 2000 und 2014 im Duke Hospital, USA, gesammelt und ist öffentlich verfügbar20. Alle 922 Fälle wiesen einen durch Biopsie bestätigten invasiven Brustkrebs auf und wurden mit einem 1,5-Tesla- oder 3,0-Tesla-Scanner von General Electric oder Siemens erfasst. Das MRT-Protokoll bestand aus einer T1-gewichteten fettunterdrückten Sequenz (ein Scan vor dem Kontrastmittel und vier nach dem Kontrastmittel) und einer nicht fettunterdrückten T1-gewichteten Sequenz. Zur Auswertung wurden 40 Untersuchungen zufällig ausgewählt und wie unten beschrieben manuell segmentiert.

Sowohl das gesamte Brustvolumen als auch das fibroglanduläre Gewebe wurden mithilfe der Software ITK-SNAP23 durch FM und EK segmentiert. Die Segmentierungen wurden von LH und VR überprüft, zwei Radiologen mit sechs bzw. drei Jahren Erfahrung in der Brust-MRT. Eventuelle Unstimmigkeiten zwischen den Gutachtern wurden besprochen und im Konsens gelöst. Segmentierungsmasken wurden für die UKA-Untergruppe von 200 MRT-Untersuchungen bzw. 40 zufällig ausgewählten DUKE-Fällen erstellt. Der Brustumriss wurde als das Gewebevolumen definiert, das sich vor dem Brustmuskel befindet. Beispiele für manuelle Segmentierungen sind in den ergänzenden Abbildungen dargestellt. S1 und S2.

Die Segmentierungspipeline umfasste zwei aufeinanderfolgende Stufen. Im ersten Stadium wurde die gesamte Brust segmentiert, während im zweiten Stadium nur die FGT segmentiert wurde (Abb. 4). In beiden Phasen war die Verwendung eines neuronalen Netzwerks möglich, jedoch wurden in der ersten Phase die manuellen Segmentierungen (Ground Truth) mit der Begründung verwendet, dass wir die Netzwerkarchitekturen nur für die FGT-Segmentierung vergleichen wollen.

Illustration des Segmentierungsrahmens. Das Framework wurde auf UKA-Daten trainiert. Das erste neuronale Netzwerk verwendete nicht verstärkte, nicht fettunterdrückte T1- und T2-gewichtete Sequenzen, um die gesamte Brust zu segmentieren. Diese Segmentierung wurde anschließend verwendet, um das Subtraktionsbild der kontrastmittelverstärkten, T1-gewichteten Sequenz sowie der nicht verstärkten Sequenzen zuzuschneiden. Basierend auf den zugeschnittenen Bildern erstellte das zweite neuronale Netzwerk eine Segmentierungsmaske des fibroglandulären Gewebes. Zur Ableitung ganzer Brustsegmentierungsmasken aus dem DUKE-Datensatz wurden nur nicht fettgesättigte T1-gewichtete Sequenzen als Eingaben für das erste neuronale Netzwerk verwendet, da T2-gewichtete Sequenzen nur für den UKA-Datensatz verfügbar waren. Bitte beachten Sie, dass die Netzwerke alle Eingaben als 3D-Volumina verarbeiteten.

Für die zweite Stufe der Segmentierungspipeline wurden die Segmentierungsmasken der ersten Stufe verwendet, um zugeschnittene Bilder der linken und rechten Brust zu erstellen. Die nicht-verstärkten und die kontrastverstärkten Bilder wurden entlang der Kanaldimension gestapelt und beide Brustseiten wurden anschließend in das neuronale Netzwerk eingespeist. Die Intensitätsverteilungen aller Bilder wurden Z-Score-normalisiert (Mittelwert = 0, Standardabweichung = 1). Die Segmentierungspipeline wurde mit PyTorch24 auf einem Computer implementiert, der mit einer NVIDIA GeForce RTX 3090 ausgestattet war.

Im Folgenden bezeichnen wir unser neues transformatorbasiertes Modell als TraBS (SwinTransformer for fibroglandular Breast Tissue Segmentation). TraBS wurde auf SwinUNETR25 mit 2, 4 und 8 Köpfen und 24, 48, 96 und 192 Einbettungsfunktionen in den Stufen 1 bis 4 aufgebaut. Inspiriert durch das nnUNet zur Verarbeitung typischerweise nicht-isotopischer Auflösungen in MRT-Bildern haben wir das einheitliche 2 ersetzt × 2 × 2 Patchgrößen und 3 × 3 × 3 Kerne in den beiden obersten Schichten mit nicht isotropen 1 × 2 × 2 Patches und 1 × 3 × 3 Kernen. Zusätzlich wurden 1 × 1 × 1-Faltungen hinzugefügt, um die tieferen Schichten zu überwachen (Abb. 5).

Illustration der vorgeschlagenen TraBS-Modellarchitektur. In den ersten beiden Stufen wurden nicht isotrope Kernel und Schritte verwendet, um die Tiefe konstant zu halten. Für die Schichten mit niedrigerer Auflösung wurde eine umfassende Überwachung hinzugefügt. Änderungen gegenüber dem ursprünglichen SwinUNETR wurden rot markiert. Eine ausführliche Erläuterung finden Sie in der SwinUNETR-Publikation25.

Als Basis nutzten wir das hochmoderne nnUNet19. Das Modell hatte zwei Max-Pooling-Schichten mit 1 × 2 × 2 Schritten und 1 × 3 × 3 Kerneln, gefolgt von zwei Max-Pooling-Schichten mit 2 × 2 × 2 Schritten und 3 × 3 × 3 Kerneln. Dies wurde durch eine frühere Veröffentlichung zur FGT-Segmentierung7 motiviert.

Die UKA-Teilmenge wurde mithilfe einer fünffachen Kreuzvalidierung zufällig in Trainings- und Testsätze aufgeteilt. Der Trainingssatz innerhalb jeder Falte wurde weiter in einen dedizierten Trainingssatz (80 %) und einen Validierungssatz (20 %) unterteilt. Das Training der FGT-Segmentierungsmodelle wurde für jede der fünf Falten mit den manuellen Segmentierungsmasken als Grundwahrheit durchgeführt. AdamW mit einer Lernrate von 0,0001 wurde verwendet, um die Summe von DiceLoss und CrossEntropy zu optimieren, wobei frühere Empfehlungen für die Segmentierung medizinischer Bilder befolgt wurden26. Die Verlustfunktion wurde zusätzlich bei den niedrigeren Auflösungen des Decoderpfads (Multi-Scale Supervision) im TraBS-Modell in Anlehnung an die nnUNet-Implementierungen berechnet. Durch frühzeitiges Stoppen wurde das Training jedes Modells angehalten, sobald der Verlust innerhalb des Validierungssatzes innerhalb von 30 Epochen nicht abnahm.

Um die Vielfalt des Trainingssatzes zu erhöhen und so eine Überanpassung zu verhindern, wurden die folgenden Datenerweiterungsoperationen aus dem TorchIO-Framework27 angewendet: Umdrehen, affine Transformation, Geisterbilder, Gaußsches Rauschen, Unschärfe, Bias-Feld und Gamma-Erweiterung. Während des Trainings wurde ein zufälliger Bereich von 256 × 256 × 32 Voxeln innerhalb der linken und rechten Brust ausgewählt. Während der Inferenz wurde ein Schiebefenster von 256 × 256 × 32 Voxeln mit einer Überlappung von 50 % verwendet. Als Testzeitverlängerung wurde eine zufällige Drehung entlang aller Achsen verwendet. Der Quellcode ist öffentlich verfügbar unter https://github.com/mueller-franzes/TraBS.

Wir haben eine fünffache Kreuzvalidierung des internen UKA-Datensatzes durchgeführt, um die Leistung der Modelle anhand unsichtbarer Testdaten zu untersuchen. Für den externen DUKE-Datensatz wurde ein Ensemble der fünf FGT-Segmentierungsmodelle aus dem Kreuzvalidierungstraining angewendet. Zur Kombination der fünf Segmentierungsmasken wurde eine Mehrheitsabstimmung verwendet. Die Segmentierungsleistung wurde durch Berechnung des Dice-Ähnlichkeitskoeffizienten (DSC)28 und des durchschnittlichen symmetrischen Oberflächenabstands (ASSD)29 bewertet. Die Brustdichte und der BPE sind beides klinisch relevante Messgrößen im Zusammenhang mit dem Brustkrebsrisiko5,6. Ihre quantitative Bewertung hängt von der FGT-Segmentierung ab. Daher haben wir diese beiden Metriken sowohl für die manuelle als auch für die automatisierte Segmentierung gemessen und die Pearson-Korrelationskoeffizienten zwischen manuell und automatisch abgeleiteten Metriken berechnet. Beachten Sie, dass der BPE als prozentuale Änderung des FGT zwischen dem Bild nach und vor dem Kontrast definiert wurde. Bootstrapping wurde zur Berechnung der Konfidenzintervalle und Permutationstests zur Berechnung der p-Werte eingesetzt. Gemäß der Anleitung von Amrhein et al.30 haben wir bei der Interpretation der p-Werte keine Schwellenwerte für die statistische Signifikanz festgelegt.

Der während der aktuellen Studie analysierte DUKE-Datensatz ist im Cancer Imaging Archive verfügbar, https://doi.org/10.7937/TCIA.e3sv-re93. Der im Rahmen der aktuellen Studie analysierte UKA-Datensatz ist auf begründete Anfrage beim entsprechenden Autor erhältlich.

Siegel, RL, Miller, KD, Fuchs, HE & Jemal, A. Krebsstatistik, 2022. CA Cancer J. Clin. 72, 7–33 (2022).

Artikel PubMed Google Scholar

Oeffinger, KC et al. Brustkrebs-Screening für Frauen mit durchschnittlichem Risiko: Richtlinienaktualisierung 2015 der American Cancer Society. JAMA 314, 1599–1614 (2015).

Artikel CAS PubMed PubMed Central Google Scholar

Mann, RM et al. Brustkrebs-Screening bei Frauen mit extrem dichter Brust, Empfehlungen der European Society of Breast Imaging (EUSOBI). EUR. Radiol. 32, 4036–4045 (2022).

Artikel PubMed PubMed Central Google Scholar

Magni, V. et al. Entwicklung und Validierung eines KI-gesteuerten Mammographie-Brustdichteklassifizierungstools basierend auf dem Konsens der Radiologen. Radiol. Artif. Intel. 4, e210199 (2022).

Artikel PubMed PubMed Central Google Scholar

Thompson, CM et al. Der Zusammenhang zwischen der Hintergrundverstärkung des Parenchyms bei der Brust-MRT und Brustkrebs: Eine systematische Überprüfung und Metaanalyse. Radiologie 292, 552–561 (2019).

Artikel PubMed Google Scholar

Sindi, R., Sá Dos Reis, C., Bennett, C., Stevenson, G. & Sun, Z. Quantitative Messungen der Brustdichte mittels Magnetresonanztomographie: Eine systematische Überprüfung und Metaanalyse. JCM 8, 745 (2019).

Artikel CAS PubMed PubMed Central Google Scholar

Huo, L. et al. Segmentierung der gesamten Brust und des fibroglandulären Gewebes mit nnU-Net in dynamisch kontrastverstärkten MR-Bildern. Magn. Resonanz. Bildgebung 82, 31–41 (2021).

Artikel CAS PubMed Google Scholar

Dalmış, MU et al. Verwendung von Deep Learning zur Segmentierung von Brust- und Fibroglandulärgewebe in MRT-Volumina. Med. Physik. 44, 533–546 (2017).

Artikel PubMed Google Scholar

Zhang, Y. et al. Automatische Segmentierung von Brust- und fibroglandulärem Gewebe in der Brust-MRT mithilfe von Deep Learning durch ein vollständig faltendes neuronales Restnetz U-net. Acad. Radiol. 26, 1526–1535 (2019).

Artikel PubMed PubMed Central Google Scholar

Liao, GJ et al. Hintergrundparenchymverstärkung bei Brust-MRT: Eine umfassende Übersicht. J. Magn. Resonanz. Bildgebung 51, 43–61 (2020).

Artikel PubMed Google Scholar

Hirsch, L. et al. Leistung auf Radiologenniveau durch den Einsatz von Deep Learning zur Segmentierung von Brustkrebs in MRT-Scans. Radiol. Artif. Intel. 4, e200231 (2022).

Artikel PubMed Google Scholar

Nam, Y., Park, GE, Kang, J. & Kim, SH Vollautomatische Beurteilung der Hintergrundverstärkung des Parenchyms bei Brust-MRT mithilfe von Modellen für maschinelles Lernen. J. Magn. Resonanz. Bildgebung 53, 818–826 (2021).

Artikel PubMed Google Scholar

Ying, J. et al. Zwei vollautomatische, datengesteuerte 3D-Strategien zur Segmentierung der gesamten Brust in der MRT zur MR-basierten Brustdichte mittels Bildregistrierung und U-Net mit Schwerpunkt auf Reproduzierbarkeit. Vis. Berechnen. Ind. Biomed. Art. 5, 25 (2022).

Artikel PubMed PubMed Central Google Scholar

Hu, Vorderseite. Onkol. 11, 616716 (2021).

Artikel PubMed PubMed Central Google Scholar

Ghaffari Laleh, N. et al. Gegnerische Angriffe und gegnerische Robustheit in der Computerpathologie. Nat. Komm. 13, 5711 (2022).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Tang, Y. et al. Selbstüberwachtes Vortraining von Swin-Transformatoren für die medizinische 3D-Bildanalyse. im Jahr 2022 IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung (CVPR), 20698–20708 (IEEE, 2022). https://doi.org/10.1109/CVPR52688.2022.02007.

Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. BERT: Vortraining tiefer bidirektionaler Transformatoren für das Sprachverständnis. Arxiv https://doi.org/10.48550/arXiv.1810.04805 (2019).

Artikel Google Scholar

Radford, A., Narasimhan, K., Salimans, T. & Sutskever, I. Verbesserung des Sprachverständnisses durch generatives Pre-Training (Springer, 2022).

Google Scholar

Isensee, F., Jaeger, PF, Kohl, SAA, Petersen, J. & Maier-Hein, KH nnU-Net: Eine selbstkonfigurierende Methode für die Deep-Learning-basierte biomedizinische Bildsegmentierung. Nat. Methoden 18, 203–211 (2021).

Artikel CAS PubMed Google Scholar

Saha, A. et al. Dynamische kontrastverstärkte Magnetresonanzbilder von Brustkrebspatientinnen mit Tumorlokalisationen. Nat. Methoden https://doi.org/10.7937/TCIA.E3SV-RE93 (2022).

Artikel Google Scholar

Müller-Franzes, G. et al. Einsatz von maschinellem Lernen zur Reduzierung des Kontrastmittelbedarfs bei der Brust-MRT durch synthetische Bilder. Radiology 1, 222211. https://doi.org/10.1148/radiol.222211 (2023).

Artikel Google Scholar

Kuhl, CK et al. Ergänzendes MRT-Screening der Brust bei Frauen mit durchschnittlichem Brustkrebsrisiko. Radiologie 283, 361–370 (2017).

Artikel PubMed Google Scholar

Yushkevich, PA et al. Benutzergeführte 3D-aktive Kontursegmentierung anatomischer Strukturen: Deutlich verbesserte Effizienz und Zuverlässigkeit. Neuroimage 31, 1116–1128 (2006).

Artikel PubMed Google Scholar

Paszke, A. et al. PyTorch: Ein imperativer Stil, leistungsstarkes Deep Learning. Bibliothek https://doi.org/10.48550/ARXIV.1912.01703 (2019).

Artikel Google Scholar

Hatamizadeh, A. et al. Swin UNETR: Swin-Transformatoren zur semantischen Segmentierung von Hirntumoren in MRT-Bildern. (Arxiv, 2022).

Ma, J. et al. Verlust-Odyssee bei der medizinischen Bildsegmentierung. Med. Bild Anal. 71, 102035 (2021).

Artikel PubMed Google Scholar

Pérez-García, F., Sparks, R. & Ourselin, S. TorchIO: Eine Python-Bibliothek zum effizienten Laden, Vorverarbeiten, Erweitern und Patch-basierten Sampling medizinischer Bilder im Deep Learning. Arxiv https://doi.org/10.48550/ARXIV.2003.04696 (2020).

Artikel Google Scholar

Zou, KH et al. Statistische Validierung der Bildsegmentierungsqualität basierend auf einem räumlichen Überlappungsindex1. Acad. Radiol. 11, 178–189 (2004).

Artikel PubMed PubMed Central Google Scholar

Nai, Y.-H. et al. Vergleich von Metriken zur Bewertung medizinischer Segmentierungen anhand des Prostata-MRT-Datensatzes. Berechnen. Biol. Med. 134, 104497 (2021).

Artikel PubMed Google Scholar

Amrhein, V., Greenland, S. & McShane, B. Wissenschaftler wehren sich gegen statistische Signifikanz. Natur 567, 305–307 (2019).

Artikel ADS CAS PubMed Google Scholar

Ivanovska, T. et al. Ein Deep-Learning-Framework für die effiziente Analyse des Brustvolumens und des fibroglandulären Gewebes mithilfe von MR-Daten mit starken Artefakten. Int. J. CARS 14, 1627–1633 (2019).

Artikel Google Scholar

Ma, X. et al. Automatisierte Segmentierung von fibroglandulärem Gewebe in der Brust-MRT mithilfe generativer kontradiktorischer Netzwerke. Physik. Med. Biol. 65, 105006 (2020).

Artikel PubMed Google Scholar

Zhang, Y. et al. Entwicklung einer U-net-Brustdichtesegmentierungsmethode für Fett-Sat-MR-Bilder unter Verwendung von Transferlernen basierend auf einem Nicht-Fett-Sat-Modell. J. Ziffer. Bildgebung 34, 877–887 (2021).

Artikel PubMed PubMed Central Google Scholar

Ha, R. et al. Vollautomatische Faltungs-Neuronale-Netzwerk-Methode zur Quantifizierung des Brust-MRT-Fibroglandulärgewebes und der parenchymalen Hintergrundverstärkung. J. Ziffer. Bildgebung 32, 141–147 (2019).

Artikel PubMed Google Scholar

Referenzen herunterladen

Dieses Forschungsprojekt wurde von der Europäischen Union (ODELIA – Open Consortium for Decentralized Medical Artificial Intelligence, 101057091) und vom NVIDIA Applied Research Accelerator Program unterstützt.

Open-Access-Förderung ermöglicht und organisiert durch Projekt DEAL.

Abteilung für Diagnostische und Interventionelle Radiologie, Universitätsklinikum RWTH, Aachen, Deutschland

Gustav Müller-Franzes, Fritz Müller-Franzes, Luisa Huck, Vanessa Raaff, Eva Kemmer, Firas Khader, Soroosh Tayebi Arasteh, Teresa Lemainque, Sven Nebelung, Christiane Kuhl & Daniel Truhn

Else Kroener Fresenius Center for Digital Health, Technische Universität, Dresden, Deutschland

Jakob Nikolas Kather

Medizinische Klinik III, Universitätsklinikum RWTH, Aachen, Deutschland

Jakob Nikolas Kather

Sie können diesen Autor auch in PubMed Google Scholar suchen

GM-F. und DT konzipierte die Experimente, GM-F. und DT führten die Experimente durch, FM-F., EK, LH und VR kommentieren die Daten, GM-F., FK, SA, TL und DT analysierten die Ergebnisse. GM-F. schrieb das Manuskript, JK, SN und CK betreuten das Projekt. Alle Autoren haben das Manuskript überprüft.

Korrespondenz mit Daniel Truhn.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative-Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Müller-Franzes, G., Müller-Franzes, F., Huck, L. et al. Segmentierung von fibroglandulärem Gewebe in der Brust-MRT mithilfe von Sehtransformatoren: eine multiinstitutionelle Bewertung. Sci Rep 13, 14207 (2023). https://doi.org/10.1038/s41598-023-41331-x

Zitat herunterladen

Eingegangen: 19. April 2023

Angenommen: 24. August 2023

Veröffentlicht: 30. August 2023

DOI: https://doi.org/10.1038/s41598-023-41331-x

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.