Skip to main content
Erschienen in: Journal of Robotic Surgery 1/2024

01.12.2024 | Research

Stereo attention-based all-in-one super-resolution for robot-assisted minimally invasive surgery

verfasst von: Feng Wang, Xinan Sun, Zhikang Ma, Jinhua Li

Erschienen in: Journal of Robotic Surgery | Ausgabe 1/2024

Einloggen, um Zugang zu erhalten

Abstract

Robot-assisted minimally invasive surgery (MIS) faces challenges in obtaining high-quality imaging results due to the limited spatial environment. In this paper, we present an all-in-one image super-resolution (SR) algorithm designed to tackle this challenge. By utilizing the stereo information from binocular images, we effectively convert low-resolution images into high-resolution ones. Our model architecture amalgamates the prowess of Convolutional Neural Networks (CNNs) and Transformers, capitalizing on the advantages of both methodologies. To achieve super-resolution across all scale factors, we employ a trainable upsampling module within our proposed network. We substantiate the effectiveness of our method through extensive quantitative and qualitative experiments. The results of our evaluations provide strong evidence supporting the superior performance of our approach in enhancing the quality of surgical images. Our method improves the resolution and thus the overall image quality, which allows the surgeon to perform precise operations conveniently. Simultaneously, it also facilitates the scaling of the region of interest (ROI) to achieve high-quality visualization during surgical procedures. Furthermore, it has the potential to enhance the image quality during telesurgery.
Literatur
1.
Zurück zum Zitat Dong C, Loy CC, He K, Tang X (2016) Image super-resolution using deep convolutional networks. IEEE Trans Pattern Anal Mach Intell 38(2):295–307CrossRefPubMed Dong C, Loy CC, He K, Tang X (2016) Image super-resolution using deep convolutional networks. IEEE Trans Pattern Anal Mach Intell 38(2):295–307CrossRefPubMed
2.
Zurück zum Zitat Ledig C, Theis L, Huszár F, Caballero J, Cunningham A, Acosta A, Aitken A, Tejani A, Totz J, Wang Z, Shi W (2017) Photo-realistic single image super-resolution using a generative adversarial network. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 21–26. pp 105–114 Ledig C, Theis L, Huszár F, Caballero J, Cunningham A, Acosta A, Aitken A, Tejani A, Totz J, Wang Z, Shi W (2017) Photo-realistic single image super-resolution using a generative adversarial network. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 21–26. pp 105–114
3.
Zurück zum Zitat Lim B, Son S, Kim H, Nah S, Lee KM (2017) Enhanced deep residual networks for single image super-resolution. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 21–26. pp 1132–1140 Lim B, Son S, Kim H, Nah S, Lee KM (2017) Enhanced deep residual networks for single image super-resolution. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 21–26. pp 1132–1140
4.
Zurück zum Zitat Zhang Y, Li K, Li K, Wang L, Zhong B, Fu Y (2018) Image super-resolution using very deep residual channel attention networks. In: Proceedings of the European conference on computer vision (ECCV). pp 286–301 Zhang Y, Li K, Li K, Wang L, Zhong B, Fu Y (2018) Image super-resolution using very deep residual channel attention networks. In: Proceedings of the European conference on computer vision (ECCV). pp 286–301
5.
Zurück zum Zitat Mei Y, Fan Y, Zhou Y, Huang L, Huang TS, Shi H (2020) Image super-resolution with cross-scale non-local attention and exhaustive self-exemplars mining. In: 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 13–19 June. pp 5689–5698 Mei Y, Fan Y, Zhou Y, Huang L, Huang TS, Shi H (2020) Image super-resolution with cross-scale non-local attention and exhaustive self-exemplars mining. In: 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 13–19 June. pp 5689–5698
6.
Zurück zum Zitat You C, Li G, Zhang Y, Zhang X, Shan H, Li M, Ju S, Zhao Z, Zhang Z, Cong W (2019) CT super-resolution GAN constrained by the identical, residual, and cycle learning ensemble (GAN-CIRCLE). IEEE Trans Med Imag 39(1):188–203CrossRef You C, Li G, Zhang Y, Zhang X, Shan H, Li M, Ju S, Zhao Z, Zhang Z, Cong W (2019) CT super-resolution GAN constrained by the identical, residual, and cycle learning ensemble (GAN-CIRCLE). IEEE Trans Med Imag 39(1):188–203CrossRef
7.
Zurück zum Zitat Feng C-M, Fu H, Yuan S, Xu Y (2021) Multi-contrast mri super-resolution via a multi-stage integration network. Medical Image Computing and Computer Assisted Intervention–MICCAI 2021: 24th International Conference, Strasbourg, France, September 27–October 1, 2021, Proceedings, Part VI 24. Springer, pp 140–149CrossRef Feng C-M, Fu H, Yuan S, Xu Y (2021) Multi-contrast mri super-resolution via a multi-stage integration network. Medical Image Computing and Computer Assisted Intervention–MICCAI 2021: 24th International Conference, Strasbourg, France, September 27–October 1, 2021, Proceedings, Part VI 24. Springer, pp 140–149CrossRef
8.
Zurück zum Zitat Wang R, Zhang D, Li Q, Zhou XY, Lo B (2021) Real-time surgical environment enhancement for robot-assisted minimally invasive surgery based on super-resolution. In: 2021 IEEE International Conference on Robotics and Automation (ICRA), 30 May-5 June. pp 3434–3440. Wang R, Zhang D, Li Q, Zhou XY, Lo B (2021) Real-time surgical environment enhancement for robot-assisted minimally invasive surgery based on super-resolution. In: 2021 IEEE International Conference on Robotics and Automation (ICRA), 30 May-5 June. pp 3434–3440.
9.
Zurück zum Zitat Gao Y, Li J, Li J, Wang S (2018) Modeling the convergence accommodation of stereo vision for binocular endoscopy. Int J Med Robot Comput Assist Surg 14(1):e1866CrossRef Gao Y, Li J, Li J, Wang S (2018) Modeling the convergence accommodation of stereo vision for binocular endoscopy. Int J Med Robot Comput Assist Surg 14(1):e1866CrossRef
10.
Zurück zum Zitat Xiang J, Wang Y, An L, Liu H, Wang Z, Liu J (2022) Visual attention-based self-supervised absolute depth estimation using geometric priors in autonomous driving. IEEE Robot Automat Lett 7(4):11998–12005CrossRef Xiang J, Wang Y, An L, Liu H, Wang Z, Liu J (2022) Visual attention-based self-supervised absolute depth estimation using geometric priors in autonomous driving. IEEE Robot Automat Lett 7(4):11998–12005CrossRef
11.
Zurück zum Zitat Su H, Li J, Zhang H, Li J, Wang S (2016) Using motion parallax for laparoscopic surgery. Int J Med Robot Comput Assist Surg 12(3):399–409CrossRef Su H, Li J, Zhang H, Li J, Wang S (2016) Using motion parallax for laparoscopic surgery. Int J Med Robot Comput Assist Surg 12(3):399–409CrossRef
12.
Zurück zum Zitat Lu Z, Li J, Liu H, Huang C, Zhang L, Zeng T (2022) Transformer for single image super-resolution. In: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 19–20. pp 456–465 Lu Z, Li J, Liu H, Huang C, Zhang L, Zeng T (2022) Transformer for single image super-resolution. In: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 19–20. pp 456–465
13.
Zurück zum Zitat Hu J, Shen L, Albanie S, Sun G, Wu E (2020) Squeeze-and-excitation networks. IEEE Trans Pattern Anal Mach Intell 42(8):2011–2023CrossRefPubMed Hu J, Shen L, Albanie S, Sun G, Wu E (2020) Squeeze-and-excitation networks. IEEE Trans Pattern Anal Mach Intell 42(8):2011–2023CrossRefPubMed
14.
Zurück zum Zitat Hu X, Mu H, Zhang X, Wang Z, Tan T, Sun J (2019) Meta-SR: a magnification-arbitrary network for super-resolution. In: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 15–20 June. pp 1575–1584. Hu X, Mu H, Zhang X, Wang Z, Tan T, Sun J (2019) Meta-SR: a magnification-arbitrary network for super-resolution. In: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 15–20 June. pp 1575–1584.
15.
Zurück zum Zitat Wang L, Guo Y, Wang Y, Liang Z, Lin Z, Yang J, An W (2022) Parallax attention for unsupervised stereo correspondence learning. IEEE Trans Pattern Anal Mach Intell 44(4):2108–2125CrossRefPubMed Wang L, Guo Y, Wang Y, Liang Z, Lin Z, Yang J, An W (2022) Parallax attention for unsupervised stereo correspondence learning. IEEE Trans Pattern Anal Mach Intell 44(4):2108–2125CrossRefPubMed
16.
Zurück zum Zitat Charbonnier P, Blanc-Feraud L, Aubert G, Barlaud M (1994) Two deterministic half-quadratic regularization algorithms for computed imaging. In: Proceedings of 1st International Conference on Image Processing, 13–16. 162: pp.168–172 Charbonnier P, Blanc-Feraud L, Aubert G, Barlaud M (1994) Two deterministic half-quadratic regularization algorithms for computed imaging. In: Proceedings of 1st International Conference on Image Processing, 13–16. 162: pp.168–172
17.
Zurück zum Zitat Ying X, Wang Y, Wang L, Sheng W, An W, Guo Y (2020) A stereo attention module for stereo image super-resolution. IEEE Signal Process Lett 27:496–500CrossRef Ying X, Wang Y, Wang L, Sheng W, An W, Guo Y (2020) A stereo attention module for stereo image super-resolution. IEEE Signal Process Lett 27:496–500CrossRef
18.
Zurück zum Zitat Wang Y, Wang L, Yang J, An W, Guo Y (2019) Flickr1024: A Large-Scale Dataset for Stereo Image Super-Resolution. In: 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), 27–28 Oct. 2019. pp 3852–3857 Wang Y, Wang L, Yang J, An W, Guo Y (2019) Flickr1024: A Large-Scale Dataset for Stereo Image Super-Resolution. In: 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), 27–28 Oct. 2019. pp 3852–3857
19.
Zurück zum Zitat Allan M, Shvets A, Kurmann T, Zhang Z, Duggal R, Su Y-H, Rieke N, Laina I, Kalavakonda N, Bodenstedt S, Garcı́a-Peraza LC, Li W, Iglovikov V, Luo H, Yang J, Stoyanov D, Maier-Hein L, Speidel S, Azizian M (2019) 2017 Robotic instrument segmentation challenge Allan M, Shvets A, Kurmann T, Zhang Z, Duggal R, Su Y-H, Rieke N, Laina I, Kalavakonda N, Bodenstedt S, Garcı́a-Peraza LC, Li W, Iglovikov V, Luo H, Yang J, Stoyanov D, Maier-Hein L, Speidel S, Azizian M (2019) 2017 Robotic instrument segmentation challenge
20.
Zurück zum Zitat Wang Z, Bovik AC, Sheikh HR, Simoncelli EP (2004) Image quality assessment: from error visibility to structural similarity. IEEE Trans Image Process 13(4):600–612CrossRefPubMed Wang Z, Bovik AC, Sheikh HR, Simoncelli EP (2004) Image quality assessment: from error visibility to structural similarity. IEEE Trans Image Process 13(4):600–612CrossRefPubMed
Metadaten
Titel
Stereo attention-based all-in-one super-resolution for robot-assisted minimally invasive surgery
verfasst von
Feng Wang
Xinan Sun
Zhikang Ma
Jinhua Li
Publikationsdatum
01.12.2024
Verlag
Springer London
Erschienen in
Journal of Robotic Surgery / Ausgabe 1/2024
Print ISSN: 1863-2483
Elektronische ISSN: 1863-2491
DOI
https://doi.org/10.1007/s11701-023-01769-7

Weitere Artikel der Ausgabe 1/2024

Journal of Robotic Surgery 1/2024 Zur Ausgabe

Häusliche Gewalt in der orthopädischen Notaufnahme oft nicht erkannt

28.05.2024 Häusliche Gewalt Nachrichten

In der Notaufnahme wird die Chance, Opfer von häuslicher Gewalt zu identifizieren, von Orthopäden und Orthopädinnen offenbar zu wenig genutzt. Darauf deuten die Ergebnisse einer Fragebogenstudie an der Sahlgrenska-Universität in Schweden hin.

Fehlerkultur in der Medizin – Offenheit zählt!

28.05.2024 Fehlerkultur Podcast

Darüber reden und aus Fehlern lernen, sollte das Motto in der Medizin lauten. Und zwar nicht nur im Sinne der Patientensicherheit. Eine negative Fehlerkultur kann auch die Behandelnden ernsthaft krank machen, warnt Prof. Dr. Reinhard Strametz. Ein Plädoyer und ein Leitfaden für den offenen Umgang mit kritischen Ereignissen in Medizin und Pflege.

Mehr Frauen im OP – weniger postoperative Komplikationen

21.05.2024 Allgemeine Chirurgie Nachrichten

Ein Frauenanteil von mindestens einem Drittel im ärztlichen Op.-Team war in einer großen retrospektiven Studie aus Kanada mit einer signifikanten Reduktion der postoperativen Morbidität assoziiert.

TAVI versus Klappenchirurgie: Neue Vergleichsstudie sorgt für Erstaunen

21.05.2024 TAVI Nachrichten

Bei schwerer Aortenstenose und obstruktiver KHK empfehlen die Leitlinien derzeit eine chirurgische Kombi-Behandlung aus Klappenersatz plus Bypass-OP. Diese Empfehlung wird allerdings jetzt durch eine aktuelle Studie infrage gestellt – mit überraschender Deutlichkeit.

Update Chirurgie

Bestellen Sie unseren Fach-Newsletter und bleiben Sie gut informiert.

S3-Leitlinie „Diagnostik und Therapie des Karpaltunnelsyndroms“

Karpaltunnelsyndrom BDC Leitlinien Webinare
CME: 2 Punkte

Das Karpaltunnelsyndrom ist die häufigste Kompressionsneuropathie peripherer Nerven. Obwohl die Anamnese mit dem nächtlichen Einschlafen der Hand (Brachialgia parästhetica nocturna) sehr typisch ist, ist eine klinisch-neurologische Untersuchung und Elektroneurografie in manchen Fällen auch eine Neurosonografie erforderlich. Im Anfangsstadium sind konservative Maßnahmen (Handgelenksschiene, Ergotherapie) empfehlenswert. Bei nicht Ansprechen der konservativen Therapie oder Auftreten von neurologischen Ausfällen ist eine Dekompression des N. medianus am Karpaltunnel indiziert.

Prof. Dr. med. Gregor Antoniadis
Berufsverband der Deutschen Chirurgie e.V.

S2e-Leitlinie „Distale Radiusfraktur“

Radiusfraktur BDC Leitlinien Webinare
CME: 2 Punkte

Das Webinar beschäftigt sich mit Fragen und Antworten zu Diagnostik und Klassifikation sowie Möglichkeiten des Ausschlusses von Zusatzverletzungen. Die Referenten erläutern, welche Frakturen konservativ behandelt werden können und wie. Das Webinar beantwortet die Frage nach aktuellen operativen Therapiekonzepten: Welcher Zugang, welches Osteosynthesematerial? Auf was muss bei der Nachbehandlung der distalen Radiusfraktur geachtet werden?

PD Dr. med. Oliver Pieske
Dr. med. Benjamin Meyknecht
Berufsverband der Deutschen Chirurgie e.V.

S1-Leitlinie „Empfehlungen zur Therapie der akuten Appendizitis bei Erwachsenen“

Appendizitis BDC Leitlinien Webinare
CME: 2 Punkte

Inhalte des Webinars zur S1-Leitlinie „Empfehlungen zur Therapie der akuten Appendizitis bei Erwachsenen“ sind die Darstellung des Projektes und des Erstellungswegs zur S1-Leitlinie, die Erläuterung der klinischen Relevanz der Klassifikation EAES 2015, die wissenschaftliche Begründung der wichtigsten Empfehlungen und die Darstellung stadiengerechter Therapieoptionen.

Dr. med. Mihailo Andric
Berufsverband der Deutschen Chirurgie e.V.