Anatomieherkenning met AI tijdens slokdarmoperaties

Delen via:

Onderzoekers van UMC Utrecht en TU Eindhoven werken aan de inzet van artificiële intelligentie (AI) om anatomische structuren automatisch te herkennen tijdens slokdarmoperaties. Uiteindelijk willen de onderzoekers ook eerdere CT-scans koppelen aan het operatiebeeld, om chirurgen tijdens operaties te ondersteunen.

Een slokdarmresectie is een gecompliceerde operatie, mede door de ingewikkelde anatomische oriëntatie met dichtbij elkaar gelegen anatomische structuren. “AI-algoritmes hebben veel potentie om anatomische structuren te herkennen”, zegt arts-onderzoeker R.B. (Robin) den Boer (UMC Utrecht). “Binnen mijn promotietraject werk ik aan AI-technieken die de chirurg helpen om zich te oriënteren. We werken hiervoor samen met de Medical Imaging Analysis-groep van de TU Eindhoven. Uiteindelijk willen we toe naar een product dat eerder gemaakte CT-scans van de patiënt koppelt aan het operatiebeeld, zodat de chirurg een 3D-beeld ziet van de individuele patiënt, met daarop aangegeven de belangrijkste anatomische structuren.” 

Duizenden frames ingetekend

Voor het zover is, moet het AI-algoritme eerst goed getraind worden. “Het UMC Utrecht voert sinds 2003 slokdarmoperaties uit met een operatierobot, waardoor we inmiddels over honderden video-opnames beschikken. De robotcamera biedt gelukkig een heel stabiel beeld. Dat is ideaal om op te trainen.” De onderzoekers zijn daar nu 2 jaar mee bezig. Ze focusten eerst op het herkennen van simpele structuren, zoals de longen, bepaalde venen en de aorta. 

Het trainen is een intensief proces. “We hebben duizenden verschillende frames uit de video’s genomen en die op de computer handmatig ingetekend – dat was vooral mijn taak. Ik heb hiervoor eerst een aantal slokdarmoperaties bijgewoond, waarbij mijn promotor prof. dr. Jelle Ruurda me leerde hoe ik de structuren kon herkennen. Vervolgens hebben we gecheckt of er verschillen waren tussen hoe Jelle en ik de stilstaande beelden intekenden.”

Overlapscore

Na het intekenen testten de onderzoekers het algoritme op 200 frames die niet gebruikt waren voor de training. “We zagen toen dat mijn handmatige intekening en de AI-herkenning van structuren voor 75-90% overlapten”, vertelt Den Boer. “Voor de long lag het percentage op 90%. De long herkennen is natuurlijk niet de grootste uitdaging, maar we zagen dat de software ook kleine stukjes aorta vaak al kon herkennen. Soms bleek het algoritme zelfs een gedeelte van een vene te herkennen dat ik zelf gemist had.”
De onderzoekers weten nog niet of deze score voldoende is. “Misschien is het in de praktijk al goed genoeg om CT-scans te matchen met operatiebeelden, dat moeten we verder uitzoeken. Onze eerste matchpogingen waren wel hoopgevend. Overigens werkten we tot nu toe met AI-netwerken waarbij we de frames als afzonderlijke beelden aanbieden. Waarschijnlijk verbetert de score nog als je de tijdscomponent meeneemt, dus als het algoritme het verband tussen opeenvolgende beelden kan zien. Daarvoor heb je dan wel zwaardere algoritmes nodig, die misschien ook minder snel zijn.”

Generaliseren voor andere centra

De Utrechtse onderzoekers bouwen nu aan een onderzoeksgroep om de technieken in de komende jaren verder te ontwikkelen. Daarvoor ontvingen ze 2 miljoen euro van onder andere NWO en het Hanarth Fonds. “We hopen dat we over 4 tot 5 jaar een toepassing hebben die we parallel aan een operatie in een kamertje naast de OK kunnen testen. Voor echte toepassing bij patiënten is meer nodig. Zo is ons algoritme nu getraind op data van slechts 1 centrum. Bij een ander centrum kan de beeldkwaliteit, de hoek van de camera of de operatietechniek iets afwijken, wat de algoritmes kan verstoren. We zullen de software daarom moeten generaliseren. En om tot een klinisch product te komen, moet je ook stappen zetten qua gebruiksvriendelijkheid. Daarvoor overleggen we regelmatig met onder meer chirurgen en onderzoekers van de Universiteit Utrecht. Zij houden zich bezig met machine-mensinteracties. We werken ook samen met 2 bedrijven: een robotbedrijf en een bedrijf dat speciale VR-brillen maakt.”

Bredere toepassing

Uiteindelijk is het de bedoeling dat de AI-beeldherkenning met gekoppelde CT-scans ook beschikbaar komt voor laparoscopische slokdarmoperaties. “Wereldwijd wordt deze techniek namelijk ook veel gebruikt voor slokdarmoperaties”, verklaart Den Boer. Ook daarvoor lijkt AI in principe geschikt. “Zo is er een onderzoeksgroep in Straatsburg die realtime software inzet bij laparoscopische galblaasoperaties.” En daarover gesproken: er zijn nog veel meer mogelijke toepassingen. “Elders werken onderzoekers aan automatische beeldherkenning bij operaties aan onder andere de lever, de prostaat en het rectum”, weet de promovendus. “De matching met CT-scans is wel makkelijker in de thorax, omdat de organen daar minder beweeglijk zijn dan in de buik.”

Mogelijkheden te over dus – ook buiten de chirurgie. “Voor bijvoorbeeld coloscopieën en bronchoscopieën kunnen dit soort technieken eveneens meerwaarde bieden”, merkt Den Boer op. “Maar het vraagt wel om gedegen onderzoek en ontwikkeling. Artsen koesteren hoge verwachtingen van AI in de zorg, maar het gaat allemaal echt niet vanzelf. Het kost veel tijd om generaliseerbare netwerken te ontwikkelen en te updaten, het is niet allemaal rozengeur en maneschijn. Maar uiteindelijk kan beeldherkenning met AI ons zeker veel brengen.”

Pembrolizumab plus mFOLFOX7 of FOLFIRI bij MSS/MMR-proficiënt mCRC

okt 2024 | Immuuntherapie, Maag-darm-leveroncologie

Lees meer over Pembrolizumab plus mFOLFOX7 of FOLFIRI bij MSS/MMR-proficiënt mCRC

Met nieuwe leidraad multimorbiditeit op weg naar toekomstbestendige zorg

okt 2024

Lees meer over Met nieuwe leidraad multimorbiditeit op weg naar toekomstbestendige zorg

HE4 goede voorspeller van aard tumor bij patiënten met een ovariumtumor

okt 2024 | Gynaecologische oncologie

Lees meer over HE4 goede voorspeller van aard tumor bij patiënten met een ovariumtumor

Trends radiotherapie bij niet-gemetastaseerde borstkanker

okt 2024 | Borstkanker, Radiotherapie

Lees meer over Trends radiotherapie bij niet-gemetastaseerde borstkanker

Cabozantinib, nivolumab plus CBM588 bij gemetastaseerd niercelcarcinoom

okt 2024 | Immuuntherapie, Uro-oncologie

Lees meer over Cabozantinib, nivolumab plus CBM588 bij gemetastaseerd niercelcarcinoom

Leefstijl bij kanker leeft onder patiënten, maar wordt niet altijd besproken

okt 2024

Lees meer over Leefstijl bij kanker leeft onder patiënten, maar wordt niet altijd besproken

Recent advances in the use of CAR T-cell therapies in relapsed/refractory diffuse large B-cell lymphoma and follicular lymphoma

1 okt 2024 om 12:00 | Lymfoom

Lees meer over Recent advances in the use of CAR T-cell therapies in relapsed/refractory diffuse large B-cell lymphoma and follicular lymphoma

Opioïden in de 2e lijn: Sleutels tot effectieve bestrijding van maligne pijn

10 sep 2024 om 20:00

Lees meer over Opioïden in de 2e lijn: Sleutels tot effectieve bestrijding van maligne pijn

Pakketbeslissingen en (on-)zekere kosteneffectiviteit: Willingness to Pay voor geneesmiddelen

1 jul 2024

Lees meer over Pakketbeslissingen en (on-)zekere kosteneffectiviteit: Willingness to Pay voor geneesmiddelen

Challenges in advanced Cutaneous T-cell Lymphoma (CTCL) – diagnosis and management

10 jun 2024 om 16:30 | Lymfoom

Lees meer over Challenges in advanced Cutaneous T-cell Lymphoma (CTCL) – diagnosis and management

Keynote webinar: Spotlight on antibody–drug conjugates in cancer

19 feb 2024 om 17:30 | Borstkanker

Lees meer over Keynote webinar: Spotlight on antibody–drug conjugates in cancer

Prostaatkanker nu en in de toekomst

25 jan 2024 | Uro-oncologie

Lees meer over Prostaatkanker nu en in de toekomst

Niet-melanoom huidkanker in de regio

31 aug 2023 | Dermato-oncologie, Radiotherapie

Lees meer over Niet-melanoom huidkanker in de regio

Keynote Webinar | Spotlight on Cardio-Oncology

16 mei 2023 om 17:30

Lees meer over Keynote Webinar | Spotlight on Cardio-Oncology

Borstkanker; een update op alle vlakken

9 mei 2023 om 20:00 | Borstkanker, Neuro-oncologie

Lees meer over Borstkanker; een update op alle vlakken

Immuno-oncologie module 1: immunologie en immuuntherapie

Lees meer over Immuno-oncologie module 1: immunologie en immuuntherapie

Immuno-oncologie module 2: Bijwerkingenmanagement en checkpoint inhibitors

Lees meer over Immuno-oncologie module 2: Bijwerkingenmanagement en checkpoint inhibitors

Immuno-oncologie module 3: Verpleegkundige casuïstiek

Lees meer over Immuno-oncologie module 3: Verpleegkundige casuïstiek

ASCO Direct™ GU 2025

vrijdag 14 feb 2025 t/m zaterdag 15 feb 2025 | Uro-oncologie

Lees meer over ASCO Direct™ GU 2025

GLP1-agonisten tijdens kankerbehandeling niet geassocieerd met hoger AKI-risico

okt 2024 | Acuut nierfalen, Immuuntherapie

Lees meer over GLP1-agonisten tijdens kankerbehandeling niet geassocieerd met hoger AKI-risico

Computerondersteunde diagnose poliepen minder specifiek in proximale colon

okt 2024 | Endoscopie, Maag-darm-leveroncologie

Lees meer over Computerondersteunde diagnose poliepen minder specifiek in proximale colon

Poeptransplantatie verbetert effect immuuntherapie bij nierkanker

okt 2024 | Immuuntherapie, Uro-oncologie

Lees meer over Poeptransplantatie verbetert effect immuuntherapie bij nierkanker

Verhoogd risico op maagkanker bij migrantengroepen

okt 2024 | Bacteriële infecties, Maag-darm-leveroncologie

Lees meer over Verhoogd risico op maagkanker bij migrantengroepen

Drie studies geven richting aan verfijning behandeling colorectaal carcinoom

okt 2024 | Chirurgie, Maag-darm-leveroncologie

Lees meer over Drie studies geven richting aan verfijning behandeling colorectaal carcinoom

Melanoom in vroeg stadium op het spoor

okt 2024 | Dermato-oncologie

Lees meer over Melanoom in vroeg stadium op het spoor

Melanoom snel in beeld met kunstmatige intelligentie

sep 2024 | Dermato-oncologie

Lees meer over Melanoom snel in beeld met kunstmatige intelligentie

Trastuzumab-deruxtecan bij gevorderde HER2+ borstkanker met hersenmetastasen

sep 2024 | Borstkanker

Lees meer over Trastuzumab-deruxtecan bij gevorderde HER2+ borstkanker met hersenmetastasen

PRMT5-remmer AMG 193 bij solide tumoren met MTAP-deletie

sep 2024 | Longoncologie, Maag-darm-leveroncologie

Lees meer over PRMT5-remmer AMG 193 bij solide tumoren met MTAP-deletie

Podcast: EGFR ex20ins gemuteerd NSCLC in de dagelijkse klinische praktijk

feb 2024 | Longoncologie

Lees meer over Podcast: EGFR ex20ins gemuteerd NSCLC in de dagelijkse klinische praktijk

Podcast: Progress in PARP inhibitors - An exciting option for treating metastatic prostate cancer?

dec 2023 | Uro-oncologie

Lees meer over Podcast: Progress in PARP inhibitors - An exciting option for treating metastatic prostate cancer?

Podcast pancreascarcinoom

dec 2022 | Maag-darm-leveroncologie

Lees meer over Podcast pancreascarcinoom

Slokdarm- en maagkanker

jun 2021 | Chirurgie, Maag-darm-leveroncologie

Lees meer over Slokdarm- en maagkanker

Impact van COVID-19 op bevolkingsonderzoek darmkanker in Nederland

feb 2021 | Maag-darm-leveroncologie

Lees meer over Impact van COVID-19 op bevolkingsonderzoek darmkanker in Nederland

MedNet Oncologie 2024-05

okt 2024

Lees meer over MedNet Oncologie 2024-05

MedNet Oncologie special Colorectaal carcinoom

sep 2024

Lees meer over MedNet Oncologie special Colorectaal carcinoom

MedNet Oncologie 2024-04

aug 2024

Lees meer over MedNet Oncologie 2024-04

MedNet Oncologie special Borstkanker 2024

jul 2024

Lees meer over MedNet Oncologie special Borstkanker 2024

MedNet Oncologie special Longkanker 2024

jun 2024

Lees meer over MedNet Oncologie special Longkanker 2024

MedNet Oncologie 2024-03

jun 2024

Lees meer over MedNet Oncologie 2024-03

MedNet Oncologie 2024-02

apr 2024

Lees meer over MedNet Oncologie 2024-02

MedNet Oncologie special Uro-Oncologie 2024

mrt 2024

Lees meer over MedNet Oncologie special Uro-Oncologie 2024

MedNet Oncologie 2024-01

feb 2024

Lees meer over MedNet Oncologie 2024-01