Systemtests bei der Entwicklung eines neuen medizinischen Geräts für den US-Markt

Unser Hauptziel war die Durchführung umfassender Systemtests der medizinischen Spülpumpe, um die Einhaltung der regulatorischen Anforderungen zu gewährleisten. Wir arbeiteten auf der Systemtestebene und konzentrierten uns direkt auf die Endbenutzererfahrung als Teil eines strukturierten Testprozesses, der verschiedene Testebenen umfasste – vom Code bis zur Benutzeroberfläche.

Wir waren beauftragt mit:

• Entwurf und Durchführung von Testfällen auf der Grundlage der Kundenspezifikationen

• Zusammenstellung und Konfiguration von Testumgebungen  

• Analyse der Ergebnisse und Identifizierung von Fehlern und Verbesserungsmöglichkeiten

• Verwendung hauptsächlich der Black-Box-Testmethodik mit Fokus auf die Endbenutzererfahrung. In einigen Fällen verwendeten wir auch Gray-Box-Testansätze.

Implementierungsprozess

Wir wurden in die bestehende Teststruktur des Kunden integriert und arbeiteten im Rahmen eines agilen Frameworks. Unser Team war eine schlüsselwichtige Ergänzung der Testkapazitäten des Kunden, da wir die ersten Spezialisten für Systemtests in seiner lokalen Niederlassung waren.

Unser Teil des Testteams bestand aus vier Testern. Während des gesamten Projekts verteilten wir die Ressourcen flexibel zwischen der Erstellung von Testfällen, dem Aufbau der Testumgebung und der Testdurchführung. In der Endphase konzentrierten sich drei unserer Tester auf die Testdurchführung, während ein Spezialist die identifizierten Fehler verwaltete und dokumentierte.

Um den Entwicklungs- und Testzyklus zu beschleunigen, wurden täglich Meetings abgehalten, bei denen unser Testteam unmittelbares Feedback zu den Testergebnissen gab. Dieser Ansatz verkürzte die Zeit zwischen der Identifizierung und Behebung von Problemen erheblich und trug dazu bei, die Projektdynamik aufrechtzuerhalten.

Microsoft Azure wurde verwendet, um unsere Arbeitslast und den Fortschritt zu verfolgen.

Unsere Beteiligung verbesserte die Zuverlässigkeit und die Einhaltung regulatorischer Vorschriften der medizinischen Geräte des Kunden erheblich. Zu den wichtigsten Vorteilen gehörten:

Verbesserungen der Systemleistung und-sicherheit

• Unsere Tests trugen dazu bei, die Präzision der Geräteparametereinstellungen zu verbessern, was zu einer besseren Verfahrenskontrolle in klinischen Umgebungen führte.

• Wir trugen zur Optimierung von Sicherheitsalgorithmen bei, die für den Patientenschutz während der Eingriffe kritisch sind.

• Wir identifizierten Möglichkeiten zur Verbesserung der Benutzeroberfläche, was zu einer intuitiveren Bedienung und einem verringerten Risiko von Bedienfehlern führte.

Beschleunigte Projektzeitlinie

• Der Beitrag unseres Teams beschleunigte die Projektzeitlinie um schätzungsweise 6-9 Monate.

• Wir schlossen die Systemtestphase innerhalb der geplanten Zeitlinie ab.

• Unsere Fähigkeit, uns schnell an die proprietären Testtools des Kunden anzupassen, ermöglichte eine sofortige Produktivität.

Wissenstransfer und Teamentwicklung

• Wir schulten neue Kollegen in der lokalen Niederlassung des Kunden, die sich auf Systemtests spezialisierten.

• Wir etablierten Testverfahren, die in zukünftigen Projekten wiederverwendet werden können.

• Wir sorgten für einen umfassenden Wissenstransfer, um die Projektkontinuität  auch nach unserem Engagement zu gewährleisten.

Unterstützung der Qualitätssicherung

• Wir führten eine gründliche Systemanalyse durch, die zur Identifizierung und Behebung potenzieller Zuverlässigkeitsprobleme führte.

• Wir verifizierten alle kritischen Sicherheitsfunktionen gründlich.

• Wir stellten eine systematische Testabdeckung über alle Gerätefunktionen und Betriebsmodi hinweg sicher.

Testwerkzeuge

Für die Visualisierung und Verifizierung von Testergebnissen nutzten wir das proprietäre Softwaretool, das vom Kunden entwickelt wurde. Dieses Tool ermöglichte es uns, Diagramme zu erstellen, die Daten von externen Drucksensoren und Gewichtssensoren zusammen mit internen, direkt vom Gerät gemessenen Werten kombinierten. Angesichts der Schlüsselrolle dieses Tools im Testprozess war es für unser Team unerlässlich, sich innerhalb der ersten zwei Projektwochen mit dessen Funktionalität vertraut zu machen. Es wurde zu unserem grundlegenden Werkzeug für die grafische Darstellung von Testergebnissen und die präzise numerische Verifizierung gemessener Werte.

Für die Überwachung und Anpassung der internen Variablen des Geräts nutzten wir ein weiteres proprietäres Tool, das vom Kunden entwickelt wurde. Wir simulierten auch Geräteverbindungen für RF-Elektroden und Shaver mit einem weiteren Tool, das umfassende Tests in verschiedenen Systemkonfigurationen ermöglichte.

Wir nutzten die Webanwendung GS.Net für die Remote-Konfiguration des Geräts und den Datenabruf über USB. Dieses Tool war während des gesamten Testprozesses wesentlich für die Programmierung neuer Softwareversionen und die Erfassung von Diagnosedaten vom Gerät.

Der verbleibende Teil der Tests bestand aus einer gründlichen visuellen Inspektion der grafischen Benutzeroberfläche (GUI), bei der wir die korrekte Anzeige aller Elemente, ihre Funktionalität und Benutzerfreundlichkeit verifizierten.

Agile Zusammenarbeit und Testfall-Design

Im Rahmen des agilen Entwicklungsprozesses arbeiteten wir eng mit dem Kunden zusammen, um umfassende Testfälle zu entwerfen, die aus detaillierten Systemanforderungen abgeleitet wurden.

Unser Ansatz umfasste:

• Anforderungsanalyse: Unser Team prüfte die Systemanforderungen für die medizinischen Geräte gründlich und gab kritisches Feedback, um die Testbarkeit zu gewährleisten. Wir arbeiteten mit Systemingenieuren zusammen, um Anforderungen zu präzisieren, Widersprüche zu vermeiden und sicherzustellen, dass sie auf Systemebene ordnungsgemäß getestet werden konnten.

• Testfall-Entwicklung: Wir erstellten detaillierte Testszenarien und -bedingungen zur gründlichen Bewertung der Geräteleistung unter verschiedenen Betriebsumständen. Unser Team verwendete hauptsächlich manuelle Testmethoden, um alle Aspekte der Gerätefunktionalität abzudecken, einschließlich Grenzfällen und Belastungsbedingungen. Wir erstellten etwa 150-200 Testfälle, was etwa 40 % aller Testfälle im gesamten Projekt entsprach.

• Zusammenstellung von Testaufbauten: Wir stellten Testaufbauten zusammen, die reale medizinische Bedingungen nachbildeten, um sicherzustellen, dass die Geräte mit möglichst wenigen Ressourcen genau und zuverlässig funktionieren. Jeder Aufbau wurde validiert, um sicherzustellen, dass er die erforderlichen Standards für Realbedingungen und Genauigkeit erfüllte.

Testprozess

Der Testprozess umfasste mehrere Phasen:

Erste Probeläufe: Wir führten vorläufige Tests durch, um Probleme sowohl im Gerät als auch in den Testspezifikationen zu identifizieren.

Test-Verfeinerung: Basierend auf den Ergebnissen der Probeläufe verbesserten wir die Testfälle und gaben Feedback zu den Anforderungen.

Formale Testdurchführung: Systematische Ausführung der Testfälle gemäß festgelegten Protokollen.

Tägliche Zusammenarbeit: Regelmäßige Meetings zur Besprechung von Fortschritten und Problemen.

Dokumentation: Umfassende Dokumentation der Testergebnisse für die Einhaltung regulatorischer Vorschriften.

Durchführung und Analyse

Testdurchführung: Durchführung strenger Tests an den Geräten, bei denen wir sicherstellten, dass wir reale Bedingungen simulierten, um zu bewerten, wie die Geräte unter verschiedenen Szenarien funktionierten, und Daten zu Funktionalität, Zuverlässigkeit und Konformität erfassten.

Test-Reviews: Während der Test-Reviews arbeiteten wir mit den für Design und Qualität verantwortlichen Teams zusammen, um eine umfassende Abdeckung aller Szenarien sicherzustellen, die Effektivität der Testfälle zu validieren und zu prüfen, ob sie dem Standard entsprechen, sowie identifizierte Fehler und deren Lösungen zu diskutieren. Das Hauptziel bestand darin, sicherzustellen, dass jeder Aspekt des Geräts auf Systemebene gründlich getestet wurde und dass die Testfälle den höchsten Qualitäts- und Vollständigkeitsstandards entsprachen.

Berichterstattung: Identifizierung und Dokumentation von Fehlern sowie Bereitstellung detaillierter Berichte für das Entwicklungsteam des Kunden für weitere Maßnahmen. Außerdem Dokumentation positiver Testergebnisse für die spätere FDA-Einreichung.

Ein führender Technologiepartner für medizinische und fortschrittliche industrielle OEM-Hersteller.