Αφηρημένο

Η εποχή της εξατομικευμένης ιατρικής για θεραπευτική καρκίνος έχει κάνει ένα σημαντικό βήμα προς τα εμπρός στη λήψη ακριβείς προγνώσεις για μεμονωμένους ασθενείς με την υιοθέτηση της υψηλής -throughput τεχνολογία μικροσυστοιχιών. Ωστόσο, η τεχνολογία των μικροσυστοιχιών στην διάγνωση του καρκίνου ή την πρόγνωση έχει χρησιμοποιηθεί κυρίως για τη στατιστική αξιολόγηση των πληθυσμών των ασθενών, και ως εκ τούτου αποκλείει μεταβλητότητα μεταξύ των ατόμων και οι προβλέψεις ειδικά για τον ασθενή. Εδώ προτείνουμε μια μέτρηση που ονομάζεται κλινική εμπιστοσύνη που χρησιμεύει ως ένα μέτρο της προγνωστικής αξιοπιστία για να διευκολυνθεί η μετάβαση από ολόκληρο τον πληθυσμό σε εξατομικευμένες πρόγνωση του καρκίνου χρησιμοποιώντας μοντέλα πρόβλεψης που βασίζεται σε μικροδιάταξη. Η απόδοση των μοντέλων δείγματος με βάση προβλεφθεί με διαφορετικές κλινικές confidences αξιολογήθηκε και συγκρίθηκε χρησιμοποιώντας συστηματικά τρία μεγάλα σύνολα δεδομένων κλινικής μελέτης των ακόλουθους καρκίνους: του καρκίνου του μαστού, του πολλαπλού μυελώματος, και νευροβλάστωμα. Οι καμπύλες επιβίωσης για τους ασθενείς, με διαφορετικές εκμυστηρεύσεις, επίσης οριοθετηθεί. Τα αποτελέσματα δείχνουν ότι η κλινική μετρική εμπιστοσύνη διαχωρίζει τους ασθενείς με διαφορετικές ακρίβειες πρόβλεψη και χρόνους επιβίωσης. Δείγματα με υψηλή κλινική εμπιστοσύνης ήταν πιθανότερο να έχουν ακριβείς προγνώσεις από προβλεπτικά μοντέλα. Επιπλέον, οι ασθενείς με υψηλή κλινική εμπιστοσύνη αναμένεται να ζήσει για ένα ιδιαίτερα μεγαλύτερο ή μικρότερο χρονικό διάστημα αν πρόγνωσή τους ήταν καλή ή ζοφερή με βάση τα μοντέλα, αντίστοιχα. Καταλήγουμε στο συμπέρασμα ότι οι κλινικές εμπιστοσύνης θα μπορούσε να χρησιμεύσει ως μια ευεργετική μέτρηση για την εξατομικευμένη πρόβλεψη πρόγνωση του καρκίνου χρησιμοποιώντας μικροσυστοιχίες. Αποδίδοντας ένα επίπεδο εμπιστοσύνης με την πρόγνωση με την κλινική μετρική εμπιστοσύνης παρέχει ο κλινικός μια αντικειμενική, εξατομικευμένη βάση για τη λήψη αποφάσεων, όπως η επιλογή της σοβαρότητας της θεραπείας

Παράθεση:. Shao L, Fan Χ, Cheng Ν, Γου L , Xiong Η, Fang H, et al. (2012) Μετατόπιση από ολόκληρο τον πληθυσμό σε εξατομικευμένη πρόγνωση του καρκίνου με μικροσυστοιχίες. PLoS ONE 7 (1): e29534. doi: 10.1371 /journal.pone.0029534

Επιμέλεια: Χριστίνα Chan, το Michigan State University, Ηνωμένες Πολιτείες της Αμερικής

Ελήφθη: 20 Ιουνίου 2011? Αποδεκτές: 30 του Νοεμβρίου του 2011? Δημοσιεύθηκε: 25 Ιανουαρίου 2012

Copyright: © 2012 Shao et al. Αυτό είναι ένα άρθρο ανοικτής πρόσβασης διανέμεται υπό τους όρους της άδειας χρήσης Creative Commons Attribution, το οποίο επιτρέπει απεριόριστη χρήση, τη διανομή και την αναπαραγωγή σε οποιοδήποτε μέσο, ​​με την προϋπόθεση το αρχικό συγγραφέα και την πηγή πιστώνονται

Χρηματοδότηση:. Αυτό το έργο υποστηρίχθηκε από το Εθνικό Ίδρυμα Επιστημών της Κίνας (Αρ 30801556 και 30830121), Εθνικό S & amp? T μεγάλο έργο (Αρ 2008ZX09312-001), Ίδρυμα Επιστημών του Πανεπιστημίου Κινέζικα (Νο 2009QNA7031), και το Ίδρυμα Zhejiang Provincial Φυσικών Επιστημών Κίνα (Νο R2080693). Οι χρηματοδότες δεν είχε κανένα ρόλο στο σχεδιασμό της μελέτης, τη συλλογή και ανάλυση των δεδομένων, η απόφαση για τη δημοσίευση, ή την προετοιμασία του χειρογράφου

Αντικρουόμενα συμφέροντα:.. Οι συγγραφείς έχουν δηλώσει ότι δεν υπάρχουν ανταγωνιστικά συμφέροντα

Εισαγωγή

Δεν είναι όλα τα άτομα που ανταποκρίνονται σε φαρμακευτική αγωγή με τον ίδιο τρόπο. Κατά συνέπεια, η ανάπτυξη εξατομικευμένων θεραπευτικών σχημάτων βελτιστοποιηθεί για μεμονωμένους ασθενείς αποτελεί ένα σημαντικό στόχο του 21

ιατρική ου αιώνα [1]. Τα σύγχρονα εργαλεία που χρησιμοποιούνται για να βοηθήσει τους γιατρούς στη θεραπεία αποτελεσματικά τους ασθενείς ως άτομα και παρέχοντας εξατομικευμένη παρέμβαση των ναρκωτικών.

Inter-ατομική διακύμανση ως απάντηση στην φαρμακευτική θεραπεία είναι έντονα επηρεασμένη από την φυσιολογική κατάσταση του ασθενούς κατά τον χρόνο της θεραπείας. Αυτή η κατάσταση μπορεί να χαρακτηρίζεται από τα προφίλ γονιδιακής έκφρασης [2]. Ως εκ τούτου, η τεχνολογία μικροσυστοιχιών μπορούν να καθοδηγήσουν την επιλογή των φαρμάκων ή θεραπευτικών αγωγών και να χρησιμοποιηθούν για να αξιολογηθεί η ευαισθησία ενός ασθενούς σε ορισμένες ασθένειες, επιτρέποντας ένα εξατομικευμένο σχέδιο για την παρακολούθηση και την θεραπεία της πρόληψης [3]. Τα υποψήφιους πλεονεκτήματα της τεχνολογίας μικροσυστοιχιών σε κλινικές εφαρμογές έχουν αποδειχθεί από πολλές μελέτες ορόσημο [4] – [7]. μοντέλα πρόβλεψης που βασίζεται σε μικροδιάταξη (ή γονιδιωματικής υπογραφές) έδειξαν χρησιμότητα σε συσχέτιση διαφορετικών υποομάδων του καρκίνου του μαστού με διακριτές κλινικές εκβάσεις [8] – [13], όπως MammaPrint ™ [4], [5], ένα ορόσημο στην μικροσυστοιχιών με βάση πρόγνωση για τον καρκίνο του μαστού [14]

Η ανάπτυξη μιας μικροδιάταξης πρόβλεψης βάσει μοντέλου για την ταξινόμηση των όγκων τυπικά περιλαμβάνει δύο διαδοχικά στάδια [4], [15] – [17].. Κατ ‘αρχάς, το μοντέλο που αναπτύχθηκε βασίζεται σε ένα σύνολο εκπαίδευσης των ασθενών με γνωστή ετικέτες κατηγορίας δεδομένων (π.χ., την κατάσταση των όγκων) και την γονιδιακή έκφραση. Στη συνέχεια, το μοντέλο εκπαίδευσης επικυρωθεί χρησιμοποιώντας ένα σύνολο επικύρωσης που περιέχει ασθενείς με γνωστή ετικέτες κατηγορίας. Η ισχύς του μοντέλου εκπαίδευσης στην απόδοση για το σύνολο επικύρωσης αποτέλεσε το επίκεντρο της έρευνας «πρόβλεψη τάξη». Για να εξασφαλιστεί το μοντέλο εκπαίδευσης μπορεί να χρησιμοποιηθεί σε πραγματικές κλινικές εφαρμογές, προτάθηκε ότι το μοντέλο θα πρέπει να αξιολογείται σε ένα μεγάλο αριθμό ανεξάρτητων δειγμάτων σε αυτή τη διαδικασία εξωτερικής επικύρωσης [18].

Είναι σημαντικό να σημειώστε ότι η προαναφερθείσα εξωτερική στρατηγική επικύρωση αξιολογεί την απόδοση ενός μοντέλου κατάρτισης, χρησιμοποιώντας έναν πληθυσμό που ορίζεται από το σύνολο επικύρωσης. Η μέση απόδοση (π.χ., εξειδίκευση, ευαισθησία) επί του πληθυσμού επιτρέπει να εκτιμηθεί εάν το μοντέλο μπορεί να είναι ένας αξιόπιστος διαγνωστικός ή προγνωστικός δοκιμή. Η στρατηγική αυτή γίνεται με την παραδοχή ότι το μοντέλο εκτελεί εξίσου για όλους χωρίς να λαμβάνεται υπόψη η μεταβλητότητα μεταξύ των ατόμων. Έτσι, η μέση απόδοση βασίζεται σε ένα πληθυσμό ασθενών που δεν μπορούν να εξασφαλίσουν προβλεπτική ικανότητα του για μεμονωμένους ασθενείς, η οποία θα μπορούσε να οδηγήσει σε δυνητικά αναξιόπιστη διαγνώσεις ή προγνώσεις στον πραγματικό κόσμο εφαρμογή. Αυτό το ένα μέγεθος που ταιριάζει σε όλους στρατηγική, πρέπει να τροποποιηθεί από ολόκληρο τον πληθυσμό σε εξατομικευμένη ιατρική σε εφαρμογές δεδομένων που βασίζονται μικροσυστοιχιών.

Προτείνουμε μια μέτρηση που ονομάζεται κλινική εμπιστοσύνη που μετρά την αξιοπιστία του μοντέλου στην απόδοση πρόβλεψη για μια ατομική βάση. Κλινική εμπιστοσύνη μπορεί να είναι χρήσιμο για τον καθορισμό κατάλληλες θεραπείες? για παράδειγμα, οι ασθενείς με υψηλή εμπιστοσύνη και την κακή πρόγνωση μπορεί να δοθεί περισσότερο αυστηρή θεραπείες. Επιπλέον, οι ασθενείς με χαμηλότερο κλινική εκμυστηρεύσεις μπορεί να είναι πρώτοι υποψήφιοι για περαιτέρω αξιολόγηση των συνθηκών τους με εναλλακτικές μεθόδους. Η ακρίβεια της κλινικής μετρική εμπιστοσύνης διερευνήθηκε σε τρεις μεγάλες κλινικές σύνολα δεδομένων με συνολικά έξι κλινικές παραμέτρους [19].

Ειδικότερα, χωρίσαμε την πρώτη κάθε σύνολο δεδομένων σε δύο, δηλαδή, την εκπαίδευση και την επικύρωση σετ. Να μιμηθούν πραγματικό κόσμο κλινικά σενάρια, κάναμε το σύνολο επικύρωσης που περιέχει μόνο τους ασθενείς των οποίων τα δεδομένα μικροσυστοιχιών παρήχθησαν σε μεταγενέστερη ημερομηνία από εκείνες στο σύνολο εκπαίδευσης. Εμείς προέρχεται η κλινική εμπιστοσύνης από το μοντέλο εκπαίδευσης, που ακολουθείται από την εκτίμηση της συσχέτισης της με την ακρίβεια πρόβλεψης για την πρόγνωση και τον χρόνο επιβίωσης των ασθενών στο σύνολο επικύρωσης. Για το καλύτερο της γνώσης μας, αυτή είναι η πρώτη προσπάθεια για να παρέχει ένα μέτρο της εμπιστοσύνης για μεμονωμένους ασθενείς σε μικροσυστοιχίες με βάση την έρευνα «πρόβλεψη τάξη», η οποία αποτελεί ένα σημαντικό βήμα προς τα εμπρός στην εξατομικευμένη ιατρική.

Υλικά και Μέθοδοι

Σύνολα

Τρεις μεγάλης κλίμακας, κλινική σύνολα δεδομένων καρκίνο χρησιμοποιήθηκαν σε αυτή τη μελέτη: ο καρκίνος του μαστού (BR) [20], πολλαπλό μυέλωμα (ΜΜ) [21], και νευροβλάστωμα (ΝΒ) [22]. Μια συνοπτική παρουσίαση των συνόλων δεδομένων δίνεται στον Πίνακα 1. Πιο αναλυτικές πληροφορίες αυτών των συνόλων δεδομένων μπορούν να βρεθούν στο κύριο έγγραφο της δεύτερης φάσης του έργου μικροσυστοιχιών Ποιοτικού Ελέγχου (MAQC-II) [19].

Η

Κάθε σύνολο δεδομένων έχει δύο κλινικές παραμέτρους που σχετίζονται με την πρόγνωση του καρκίνου (συμπεριλαμβανομένων των δεδομένων επιβίωσης) ή θεραπεία: BR-pCR και BR-erpos στο σύνολο δεδομένων ανταπόκρισης στη θεραπεία, NB-EFS και MM-EFS στη δέσμη στοιχείων επιβίωση χωρίς συμβάντα, και NB -OS και MM-OS στη συνολική επιβίωση σύνολο δεδομένων (Πίνακας 1). Αυτές οι τρεις κλινικές σύνολα δεδομένων μελετήθηκαν στο έργο MAQC-II με επικεφαλής τον FDA [19]. Για να μιμηθεί ένα πραγματικό κόσμο κλινικό σενάριο στην εφαρμογή γονιδιωματική υπογραφές, δύο ανεξάρτητες πληθυσμούς ασθενών για κάθε μία από τις τρεις κλινικές σύνολα δεδομένων ορίζεται από τον MAQC Consortium καθώς δύει εκπαίδευση και την επικύρωση χρησιμοποιώντας μια χρονολογική προσέγγιση όπου δημιουργήθηκαν τα δείγματα στα σύνολα επικύρωσης σε μεταγενέστερη ημερομηνία από εκείνα στα σύνολα εκπαίδευσης. Τα μεγέθη των δειγμάτων για τα σύνολα κατάρτισης κυμαινόταν μεταξύ 130 και 340, και η αναλογία των θετικών γεγονότων για αρνητικά γεγονότα κυμάνθηκε από 0,18 έως 1,60? Εν τω μεταξύ, το μέγεθος του δείγματος στα σύνολα επικύρωσης κυμαίνονταν από 100 έως 214, και η αναλογία των θετικών γεγονότων για αρνητικά γεγονότα κυμάνθηκε μεταξύ 0,14 και 1,56.

Δύο θετικές και δύο αρνητικές τελικά σημεία ελέγχου χρησιμοποιήθηκαν επίσης στη μελέτη αυτή. Οι θετικές παραμέτρους ελέγχου, δηλαδή, NB-PC και MM-PC, προήλθαν από τα σύνολα δεδομένων NB και ΜΜ ξεχωριστά, με τα δείγματα που συμβολίζεται με το φύλο. Για τις δύο αρνητικές παραμέτρους ελέγχου, δηλαδή, NB-NC και MM-NC (τα οποία αντιστοιχούν στα σύνολα δεδομένων NB και ΜΜ, αντίστοιχα), οι ετικέτες του δείγματος (δηλαδή, θετικά ή αρνητικά γεγονότα) ήταν τυχαία. Χρησιμοποιώντας αυτά τα δύο στοιχεία ελέγχου μας επιτρέπουν να αξιολογηθεί η απόδοση των κλινικά σχετικές παραμέτρους κατά την αναμενόμενη μέγιστη και ελάχιστη απόδοση που παρέχεται από τους ελέγχους.

Κλινική εμπιστοσύνη

Η κλινική εμπιστοσύνη μετρά την εμπιστοσύνη ενός δείγματος που αντιστοιχεί σε μια συγκεκριμένη κατηγορία από ένα μοντέλο πρόβλεψης. Για το δείγμα

i

, κλινική μετρική εμπιστοσύνης του () είναι το επίπεδο εμπιστοσύνης ενός δείγματος που αποδίδεται σωστά από ένα προγνωστικό μοντέλο και ορίζεται ως εξής: (1) όπου και είναι τα μέτρα ομοιότητας μεταξύ του δείγματος και των δειγμάτων στο κατηγορίας 1 και της κατηγορίας 2, αντίστοιχα. Το μέτρο ομοιότητας ποικίλλει ανάλογα με ταξινομητές που χρησιμοποιούνται. Δύο καλά μελετημένη ταξινομητές για δεδομένα γονιδιακής έκφρασης χρησιμοποιήθηκαν σε αυτή τη μελέτη, δηλαδή, Πλησιέστερα-Κέντρο βάρους κανόνα κατάταξης (

NC

) [4] και

k

-nearest γείτονες (

KNN

,

k

= 5) [23]. Για το

NC

ταξινομητή, και ορίστηκαν ως οι συντελεστές συσχέτισης του άγνωστου δείγματος με τα κέντρα βάρους της κατηγορίας 1 και της κατηγορίας 2, αντίστοιχα. Το κεντροειδές ορίζεται ως φορείς των μέσων τιμών έκφρασης. Για το

KNN

ταξινομητή, και ορίζεται ως ο αριθμός των πλησιέστερων γειτόνων στο άγνωστο δείγμα που ανήκουν στην κατηγορία 1 και της κατηγορίας 2, αντίστοιχα.

τιμές κυμαίνονται από 0,5 και 1 στην οποία ένα τιμή 0,5 υποδεικνύει ότι η πρόβλεψη αυτή οφείλεται στην τύχη. Ολοένα και μεγαλύτερες τιμές αντιστοιχούν σε ολοένα και μεγαλύτερη εμπιστοσύνη πρόβλεψη. Για λόγους απλότητας, το σύνολο της ανάλυσης βασίστηκε σε τρία επίπεδα εμπιστοσύνης: χαμηλή εμπιστοσύνη (LC? 0.5≤≤0.6), μέσο εμπιστοσύνης (MC? 0.6 & lt? ≤0.8) και υψηλή εμπιστοσύνη (HC? 0.8 & lt? ≤1.0 )

Η στατιστική ανάλυση

Η γενική ανάλυση της ροής εργασίας απεικονίζεται στο Σχήμα 1.? Οι περισσότερες λεπτομέρειες παρέχονται στις Μεθόδους S1. Το πρωτόκολλο ανάλυση ξεκινά με την ανάπτυξη μιας καλύτερο ταξινομητή με βάση το σύνολο εκπαίδευσης, και τελειώνει με την πρόβλεψη του συνόλου επικύρωσης. Η προβλεπόμενη τάξη και τις αντίστοιχες κλινικές confidences καταγράφονται σε πίνακες

L

και

C

, αντίστοιχα. Για να εξασφαλιστεί η στατιστική εγκυρότητα, η διαδικασία επαναλαμβάνεται 500 φορές, με αποτέλεσμα 500 διαφορετικά ταξινομητών από τα σύνολα εκπαίδευσης και 500 προβλέψεις για το σετ επικύρωσης. Η απόδοση και των δύο μοντέλων κατάρτισης και προβλέψεις αξιολογείται με τη χρήση του συντελεστή συσχέτισης Matthews (MCC) [24], [25].

Πρόσθετες λεπτομέρειες παρέχονται στο Μέθοδοι S1.

Η

Μια μετάθεση δοκιμή χρησιμοποιήθηκε επίσης για σύγκριση ακρίβεια πρόβλεψης ταξινομητής έναντι ευκαιρία [26], [27]. Σε κάθε μετάθεση, το πρωτόκολλο ανάλυσης που φαίνεται στο Σχήμα 1 επαναλήφθηκε με την εξαίρεση ότι οι ετικέτες τάξη στο σύνολο εκπαίδευσης τυχαιοποιήθηκαν. Με άλλα λόγια, τα μοντέλα κατασκευάζονται με τυχαιοποιημένες ομάδες εκπαίδευση χρησιμοποιήθηκαν για την πρόβλεψη των συνόλων επικύρωσης. Μετά από 500 επαναλήψεις, ο βαθμός συσχέτισης ευκαιρία και τη δυνατότητα πρόβλεψης των παραμέτρων υπολογίστηκε με Κοέν

δ

[28], η οποία μετρά την τυποποιημένη διαφορά μεταξύ των δύο μέσων.

Αποτελέσματα

Η απόδοση διασταυρωμένης επικύρωσης μετράται σε τιμές MCC για όλα τα μοντέλα εκπαίδευσης, μαζί με το μέσο όρο της απόδοσης πρόβλεψη για τα σύνολα επικύρωσης συνοψίζονται στον πίνακα S1. Το μοντέλο επιδόσεις ακολουθεί τη σειρά του NB-PC, MM-PC, BR-erpos, NB-EFS, NB-OS, BR-PCR, MM-EFS, MM-OS, το MM-NC, και NB-NC. Οι δύο θετικοί έλεγχοι εκτελούνται καλύτερα, ενώ οι δύο αρνητικοί μάρτυρες εκτελούν χειρότερο, το οποίο είναι σύμφωνο με τις προσδοκίες από το σχεδιασμό του πειράματος.

Κλινική εμπιστοσύνη συσχετίζεται θετικά με την πρόβλεψη του μοντέλου απόδοση

Θα διερευνηθεί πρώτα το μοντέλο επιδόσεις σχετικά με την επικύρωση που για τους ασθενείς που υπάγονται σε διάφορες κατηγορίες κλινικών εμπιστοσύνης. Όπως απεικονίζεται στο Σχήμα 2, ένας θετικός συσχετισμός μεταξύ παρουσιάζεται στην ακρίβεια πρόβλεψης και το επίπεδο εμπιστοσύνης για τις έξι κλινικές και τέσσερα τελικά σημεία ελέγχου με τη χρήση του

KNN

ταξινομητή. Μεταξύ των έξι κλινικές παραμέτρους, το σύνολο δεδομένων BR-erpos έδειξε την ισχυρότερη συσχέτιση. Για το BR-erpos, οι μέσες MCC προβλέψεις αξία με χαμηλή αυτοπεποίθηση (LC) ήταν μόνο 0.19, ενώ η μέση τιμή MCC σημαντικά αυξημένη σε περίπου 0.78 ως το επίπεδο εμπιστοσύνης πλησίασε 1. Έτσι, σε σύγκριση με τη συνολική αξία MCC (0.71) ( Πίνακας S1), κλινική εμπιστοσύνη θα μπορούσε επιτυχώς αντιπροσωπεύουν μεταξύ των ατόμων μεταβλητότητα στις διακρίσεις ασθενείς με χαμηλότερη ή υψηλότερη από το μέσο όρο ακρίβεια πρόβλεψης.

Ο Κύκλος οι ακτίνες κλίμακα με το ποσοστό του συνόλου των δειγμάτων στο επίπεδο της κλινικής εμπιστοσύνης. Τα επίπεδα εμπιστοσύνης είναι «0,6», «0.8» και «1».

Η

Είναι σαφές ότι η εγγενής δυνατότητα πρόβλεψης από τα προφίλ της γονιδιακής έκφρασης διαφέρει για τις διάφορες παραμέτρους, όπως αποδεικνύεται από τη σταδιακή μείωση του κλίση της απόδοσης μοντέλο για έξι κλινικά τελικά σημεία πάνω διαφορετικά διαστήματα εμπιστοσύνης (δηλαδή, οι κλίσεις στο Σχήμα 2, δεδομένα φαίνονται στον πίνακα S2) και τον αριθμό των δειγμάτων που διανέμονται σε διάφορες περιοχές της εμπιστοσύνης (δηλαδή, το μέγεθος δείκτη στο Σχήμα 2). Όπως φαίνεται στο Σχήμα 3, παρατηρήθηκε μια θετική γραμμική συσχέτιση μεταξύ της κλίσης που λαμβάνεται από το Σχήμα 2 και της εγγενούς προβλεψιμότητα (ποσοτικά με του Cohen

d

[28]) από τα έξι κλινικών και τέσσερα ελέγχου τελικά σημεία. Οι προβλέψιμη τελικά σημεία (π.χ., BR-erpos, ΝΒ-EFS) έτειναν να έχουν ένα μεγαλύτερο ποσοστό των ασθενών (που παριστάνεται ως μέγεθος δείκτη στο Σχήμα 2) στις περιφέρειες υψηλής εμπιστοσύνης με υψηλή ακρίβεια πρόβλεψης από τις λιγότερο προβλέψιμες τελικά σημεία (π.χ., ΜΜ -EFS, MM-OS). Λεπτομερείς πληροφορίες σχετικά με τη διανομή του δείγματος σε κάθε περιοχή εμπιστοσύνη δόθηκε στον Πίνακα S3. Οι παρατηρήσεις αυτές επαληθευτεί περαιτέρω χρησιμοποιώντας μια μέθοδο διαφορετική αναγνώρισης προτύπων (δηλαδή,

NC

) (Σχήματα S1 και S2), καθώς επίσης και μια διαφορετική στρατηγική διάσπαση του δείγματος (80/20 διάσπαση, Σχήματα S4 και S5).

Οι πλαγιές που προκύπτουν από ανάλυση παλινδρόμησης με βάση το γραμμικό τμήμα της καμπύλης εμπιστοσύνης MCC, ενώ Κοέν

δ

αντιπροσωπεύει την εγγενή δυνατότητα πρόβλεψης του συνόλου δεδομένων.

Η

Η τα αποτελέσματα αποδεικνύουν ότι η υψηλότερη εγγενής προβλεψιμότητα ενός τελικού σημείου σχετίζεται με ένα υψηλότερο ποσοστό των ασθενών που εμπίπτουν σε υψηλότερα επίπεδα εμπιστοσύνης, όταν χρησιμοποιεί μοντέλα πρόβλεψης βάσει μικροδιάταξης. Δεδομένου ότι η συσχέτιση μιας γονιδιωματικής υπογραφής με μια κλινική έκβαση σπάνια είναι τέλεια, η κλινική εμπιστοσύνη μπορεί να είναι χρήσιμη για το διαχωρισμό των ασθενών σε διαφορετικές ομάδες για τις οποίες μπορούν να αναπτυχθούν ειδικές διαδικασίες επεξεργασίας.

Η σχέση των κλινικών εμπιστοσύνης με ασθενή επιβίωση Tim

e

η

Θα αξιολογηθεί επίσης κατά πόσον κλινική εμπιστοσύνης είναι προγνωστική της ποσοστό επιβίωσης για τους ασθενείς στο σύνολο επικύρωσης. Οι ασθενείς χωρίστηκαν σε δύο ομάδες πρόγνωση (δηλαδή, καλή και κακή πρόγνωση) και για τα δύο σύνολα δεδομένων NB και mm με άκρα OS (συνολική επιβίωση) και EFS (επιβίωση χωρίς συμβάντα), αντίστοιχα (Μέθοδοι S1). Το Σχήμα 4 παρουσιάζει τις καμπύλες OS για τους ασθενείς με διαφορετικές κλινικές confidences για τις δύο ομάδες πρόγνωση. Ασθενείς με υψηλή κλινική εμπιστοσύνη παρουσίασαν αυξημένο ρυθμό επιβίωσης στην καλή ομάδα πρόγνωση και μειωμένη ποσοστό επιβίωσης στη φτωχή πρόγνωση ομάδα, υποδεικνύοντας ότι η κλινική εμπιστοσύνη ενίσχυσε την ακρίβεια της πρόγνωσης που προέρχονται από τα προβλεπτικά μοντέλα. Λαμβάνοντας MM-OS ως ένα παράδειγμα, το ποσοστό επιβίωσης είναι προφανώς υψηλότερες για τους ασθενείς με την καλή ομάδα πρόγνωση με υψηλή εμπιστοσύνη (HC) σε σύγκριση με εκείνους με χαμηλή (LC) (δοκιμασία log-rank p αξία & lt? 0,01) και μέσο (MC) αυτές (δοκιμασία log-rank p αξίας 0,13), ειδικά για κάθε σήμα μέρα πάνω από 1000 ημέρες (Σχήμα 4). Για τους ασθενείς με κακή πρόγνωση, περισσότερο από το 80% των ατόμων με χαμηλή κλινική εμπιστοσύνη έζησε όσο 300 ημέρες, ενώ περίπου 30% των ασθενών για τα άτομα με υψηλή confidences επέζησε εκείνη τη στιγμή, αντιστοίχως. Παρόμοιες τάσεις παρατηρήθηκαν επίσης στο σύνολο δεδομένων NB-OS.

Η

Εικόνα S3, που απεικονίζει τις καμπύλες EFS για ασθενείς με διαφορετικές κλινικές εκμυστηρεύσεις, δείχνει μια παρόμοια τάση με τις καμπύλες OS παρουσιάζονται στο Σχήμα 4. Η θετική συσχέτιση των κλινικών εμπιστοσύνης με ποσοστό EFS φαίνεται καθαρά στα σχήματα S3C και S3D για τους ασθενείς με καλή πρόγνωση. Ωστόσο, η συσχέτιση είναι λιγότερο σημαντική για τους ασθενείς με κακή πρόγνωση (Εικόνες S3a και S3b). Αντίστοιχα αποτελέσματα για 80/20 διάσπαση δείχθηκε στα Σχήματα S6 και S7, και ήταν σύμφωνα με αυτές τις προαναφερθείσες παρατηρήσεις.

Τα αποτελέσματα δείχνουν ότι όταν οι ασθενείς ομαδοποιήθηκαν σε είτε καλή ή κακή πρόγνωση ομάδες οι προβλεπτικά μοντέλα , η κλινική εμπιστοσύνη μπορεί να χαρακτηρίσει περαιτέρω το ποσοστό επιβίωσης των μεμονωμένων ασθενών σε κάθε ομάδα πρόγνωση.

Συζήτηση

Αρκετές ολόκληρο τον πληθυσμό διαγνωστικό /προγνωστικό δοκιμές που βασίζονται σε γονιδιακή έκφραση έχουν αναφερθεί [4], [6], [7]. Τα μοντέλα με βάση τον πληθυσμό παρέχουν μόνο μια μέση ένδειξη για τον πληθυσμό με την αντίστοιχη μέση ακρίβεια πληθυσμού. Στην παρούσα μελέτη, δείξαμε ότι η κλινική εμπιστοσύνης είναι τόσο ικανή διαχωρισμού ασθενείς που μπορεί να προβλεφθεί με μεγαλύτερη αξιοπιστία από εκείνες που είναι λιγότερο προβλεφθεί με ακρίβεια, και προβλεπτική της ποσοστό επιβίωσης για τους ασθενείς αφού είναι ομαδοποιημένες σε διαφορετικές προγνωστικές ομάδες. Έτσι, αποδίδοντας ένα επίπεδο εμπιστοσύνης με την πρόγνωση με την κλινική μετρική εμπιστοσύνης θα δώσει ο κλινικός μια πιο εξατομικευμένη, αντικειμενική βάση για τη λήψη αποφάσεων κατά τη χρήση βιοδεικτών που προέρχονται από τα δεδομένα μικροσυστοιχιών.

Συγκεκριμένα, βρήκαμε ότι η κλινική εμπιστοσύνης παρέχεται καλύτερη εκτίμηση για τον χρόνο επιβίωσης όταν οι ασθενείς ταξινομήθηκαν σε διαφορετικές κατηγορίες πρόγνωση βασίζεται σε δύο αναθέσεις δείγμα 70/30 και 80/20. Για τους ασθενείς με καλή πρόγνωση, υψηλότερη κλινική εμπιστοσύνη έντονα συσχετίστηκε με μεγαλύτερο χρόνο επιβίωσης. Παρομοίως, για τους ασθενείς με κακή πρόγνωση, το ποσοστό επιβίωσης ήταν σημαντικά χαμηλότερο για τα άτομα με υψηλή confidences ό, τι για τα άλλα. Λαμβάνοντας τελικά σημεία MM-EFS και MM-OS ως παραδείγματα, παρά το γεγονός ότι είναι μάλλον δύσκολο να προβλεφθεί, οι ασθενείς με υψηλή εμπιστοσύνη εμφανίζουν σημαντικά υψηλότερο ή χαμηλότερο ποσοστό επιβίωσης όταν ομαδοποιούνται σύμφωνα με την καλή ή κακή πρόγνωση, αντίστοιχα. Είναι σημαντικό, όλοι οι ασθενείς στην ομάδα του υψηλού εμπιστοσύνη επιβίωσαν έως 5000 ημέρες (Σχήμα S3C), αποδεικνύοντας ότι η κλινική εμπιστοσύνη είναι ένα ενημερωτικό εργαλείο πρόγνωση του χρόνου επιβίωσης.

Μια σημαντική πτυχή αυτής της μελέτης είναι ότι οι δύο θετικές (NB-PC , MM-PC) και δύο αρνητικού ελέγχου (NB-NC, MM-NC) σύνολα δεδομένων ενεπλάκησαν, η οποία είναι απαραίτητη για την αξιολόγηση της απόδοσης των κλινικά σχετικές παραμέτρους κατά τη θεωρητική μέγιστη και την ελάχιστη απόδοση που παρέχεται από τους ελέγχους. Συγκεκριμένα, η θετική συσχέτιση μεταξύ της απόδοσης του μοντέλου και κλινικές εμπιστοσύνης για τις δύο θετικές σύνολα δεδομένων ελέγχου που φαίνεται στο Σχήμα 2 επιβεβαίωσε τις δυνατότητες της κλινικής εμπιστοσύνη για να παρέχουν ένα μέτρο αξιοπιστίας για την εξατομικευμένη ιατρική, ενώ η αμελητέα επίπτωση των κλινικών εμπιστοσύνης στις δύο αρνητικά σύνολα δεδομένων ελέγχου περιορίζεται περαιτέρω η δυνατότητα απόκτησης false positives. Έτσι, η ένταξη των θετικών και αρνητικών σύνολα δεδομένων ελέγχου σε μια τέτοια ανάλυση θα ήταν μεγάλη βοήθεια για να εξασφαλιστεί η αξιοπιστία των αποτελεσμάτων.

παραμένει αινιγματική γιατί μερικά από τα τελικά σημεία ήταν πιο δύσκολο από ό, τι άλλοι να προβλεφθεί. Σχήμα 2 και Σχήμα 3 συγκρίνει την προβλεψιμότητα στις τρεις σύνολα δεδομένων και τις αντίστοιχες έξι παραμέτρους. Εύκολα προβλέψιμη τελικά σημεία έχουν ένα υψηλό ποσοστό των ασθενών που εμπίπτουν στην υψηλή περιοχή εμπιστοσύνη. Για παράδειγμα, το ποσοστό των ασθενών που έδειξαν υψηλή κλινική εμπιστοσύνης (74,70%) για το BR-erpos τελικό σημείο είναι πολύ υψηλότερη από εκείνη του τελικού σημείου MM-EFS (37,51%) (Σχήμα 2), που μπορεί να δείχνουν ότι ο BR-erpos τελικού σημείου περιέχει ένα ισχυρότερο σήμα γονιδιακής έκφρασης από το MM-EFS κάνει. Επιπλέον, η προβλεψιμότητα του συνόλου δεδομένων (Κοέν

δ

) σχετίζεται άμεσα με το συντελεστή συσχέτισης μεταξύ του επιπέδου εμπιστοσύνης και της απόδοσης πρόβλεψης MCC (Σχήμα 3).

Η ικανότητα να ποσοτικοποιηθούν κλινική εκμυστηρεύσεις μπορεί ενισχύσει σε μεγάλο βαθμό τις κλινικές διαδικασίες λήψης αποφάσεων που βασίζονται σε μοντέλα πρόβλεψης που βασίζεται σε μικροδιάταξη, ιδιαίτερα για εξατομικευμένες θεραπευτικές επιλογές. Για παράδειγμα, τα μοντέλα που παρουσιάζονται εδώ θα μπορούσε να δοκιμαστεί για πιθανές ανταπόκριση στη θεραπεία με την υψηλή εμπιστοσύνη και η χαμηλή εμπιστοσύνη των προβλέψεων που χρησιμοποιούνται με διαφορετικούς τρόπους. Ασθενείς με καλή πρόγνωση και την υψηλή confidences είναι υποψήφιες για την εφαρμογή πρωτόκολλα ρουτίνας να αποφευχθεί η υπερβολική θεραπεία, ενώ αυστηρή στρατηγικές θα πρέπει να επιλέγονται για τα άτομα με κακή πρόγνωση και υψηλή confidences να παρατείνει τον χρόνο επιβίωσης όσο είναι δυνατόν. Ωστόσο, για τους ασθενείς στις χαμηλές περιοχές της εμπιστοσύνης, θα πρέπει να θεωρείται πρόσθετη αξιολόγηση με τη χρήση εναλλακτικών μεθόδων.

Είναι σημαντικό να σημειωθεί ότι η προτεινόμενη σε αυτή τη μελέτη τονίζοντας την μετατόπιση από τη στρατηγική του πληθυσμού που βασίζεται στην εξατομικευμένη πρόγνωση του καρκίνου δεν αναιρεί τη σημασία της πρόβλεψης με βάση τον πληθυσμό, αλλά μάλλον βασίζεται η επιτυχία της. Αν η απόδοση ενός μοντέλου πρόβλεψης δεν είναι κατατοπιστική, όπως φαίνεται στα δύο αρνητικούς μάρτυρες (δηλαδή, το MM-NC και ΝΒ-NC), η κλινική εμπιστοσύνης δεν θα είναι έξυπνη. Έτσι, οι μέθοδοι επικύρωσης του υποδείγματος που περιλαμβάνουν διασταυρωμένης επικύρωσης και ανεξάρτητη εξωτερική επικύρωση εξακολουθούν να είναι ουσιαστικής σημασίας για τη διασφάλιση της εγκυρότητας των μοντέλων πρόβλεψης που βασίζεται σε μικροδιάταξη. Ωστόσο, δεδομένου ότι η πρόβλεψη βασισμένη στον πληθυσμό δεν παρέχει μια ακριβή εκτίμηση για κάθε ασθενή εντός του πληθυσμού, κλινική εμπιστοσύνη προσφέρει ένα μέσο για τη μέτρηση της αξιοπιστίας για τις μεμονωμένες προβλέψεις με βάση την πρόβλεψη βασισμένη στον πληθυσμό.

Τα οφέλη της εξατομικευμένης ιατρικής στον τομέα της υγείας είναι καλά αναγνωρισμένη [1]. Επιτρέπει τόσο ο ασθενής όσο και ο γιατρός να είναι περισσότερο ενήμεροι για τα οφέλη και τους κινδύνους από πιθανές θεραπείες και τις πιθανές εκβάσεις επηρεάζονται από τη γενετική make-up ή άλλες περιβαλλοντικές επιδράσεις. Έτσι, ενημέρωσε, προσαρμοσμένα, και οι αποφάσεις που σχετίζονται με την υγεία μπορεί να γίνει για κάθε άτομο [29]. Συνδυάζοντας την τεχνολογία μικροσυστοιχιών ικανό προφίλ των επιπέδων έκφρασης των εκατοντάδων χιλιάδων γονιδίων με τεχνικές αναγνώρισης προτύπων υπήρξε ένα σημαντικό βήμα προς την εξατομικευμένη λήψης αποφάσεων [30]. Παρουσιάσαμε παραδείγματα εφαρμογής της αξιολόγησης της εμπιστοσύνης προς την πρόγνωση του καρκίνου και την πρόβλεψη του χρόνου επιβίωσης για μοντέλα που αναπτύχθηκαν από τα δεδομένα μικροσυστοιχιών. Ωστόσο, η προσέγγιση αυτή μπορεί να γενικευθεί σε βιοδείκτες και μοντέλα που κατασκευάστηκαν με βάση τα στοιχεία από άλλες πλατφόρμες υψηλής απόδοσης. Επιπλέον, η έννοια είναι γενικά ισχύει για όλους τους εποπτευόμενους μεθοδολογίες ταξινόμησης μάθησης που μπορεί να καθορίσει μια κλινική εμπιστοσύνη.

Υποστήριξη Πληροφορίες

Εικόνα S1.

Πρόβλεψη MCC ως μια λειτουργία της κλινικής εμπιστοσύνης για δέκα σύνολα δεδομένων χρησιμοποιώντας το

NC

. Οι ακτίνες κύκλο κλιμακώνεται με το ποσοστό του συνόλου των δειγμάτων στο επίπεδο της κλινικής εμπιστοσύνης. Τα επίπεδα εμπιστοσύνης είναι «0,5-0,6», «0.6-0.8» και «0,8-1», αντίστοιχα

doi:. 10.1371 /journal.pone.0029534.s001

(ΔΕΘ)

Εικόνα S2.

Συσχέτιση μεταξύ του ρυθμού κλίση και Κοέν

δ

για το

NC

ταξινομητή. Οι πλαγιές που προκύπτουν από ανάλυση παλινδρόμησης με βάση το γραμμικό τμήμα της καμπύλης εμπιστοσύνης MCC, ενώ Κοέν

δ

αντιπροσωπεύει την εγγενή δυνατότητα πρόβλεψης του συνόλου δεδομένων

doi:. 10.1371 /journal.pone.0029534.s002

(ΔΕΘ)

Εικόνα S3.

επιβίωση χωρίς συμβάντα (EFS) καμπύλες για ασθενείς με διαφορετικές κλινικές εκμυστηρεύσεις χρησιμοποιώντας το

KNN

όπου «LC», «MC», και δηλώνουν «HC » χαμηλής εμπιστοσύνης (0.6)», «μεσαίου εμπιστοσύνη (0,8) »και« υψηλή εμπιστοσύνη (1) ‘, αντίστοιχα.

doi: 10.1371 /journal.pone.0029534.s003

(ΔΕΘ)

Εικόνα S4.

Πρόβλεψη MCC ως συνάρτηση της κλινικής εμπιστοσύνης για δέκα σύνολα δεδομένων με τη χρήση 80/20 διάσπαση και

KNN

. Οι ακτίνες Κύκλος κλίμακα με το ποσοστό του συνόλου των δειγμάτων στο επίπεδο της κλινικής εμπιστοσύνης. Τα επίπεδα εμπιστοσύνης είναι «0,6», «0.8» και «1»

doi:. 10.1371 /journal.pone.0029534.s004

(ΔΕΘ)

Εικόνα S5.

Συσχέτιση μεταξύ του ρυθμού κλίση και Κοέν

δ

για το

KNN

ταξινομητή με βάση 80/20 ανάθεση του δείγματος. Οι πλαγιές που προκύπτουν από ανάλυση παλινδρόμησης με βάση το γραμμικό τμήμα της καμπύλης εμπιστοσύνης MCC, ενώ Κοέν

δ

αντιπροσωπεύει την εγγενή δυνατότητα πρόβλεψης του συνόλου δεδομένων

doi:. 10.1371 /journal.pone.0029534.s005

(ΔΕΘ)

Εικόνα S6.

συνολική επιβίωση (OS) καμπύλες για ασθενείς με διαφορετικές κλινικές εκμυστηρεύσεις χρησιμοποιώντας 80/20 διάσπαση και

KNN

, όπου «LC», «MC», και «HC» σημαίνουν «χαμηλή εμπιστοσύνη (0.6)» «μέσο εμπιστοσύνης (0,8)» και «υψηλή εμπιστοσύνη (1)», αντίστοιχα.

doi: 10.1371 /journal.pone.0029534.s006

(ΔΕΘ)

Εικόνα S7. Εκδήλωση επιβίωση χωρίς

(EFS) καμπύλες για ασθενείς με διαφορετικές κλινικές εκμυστηρεύσεις χρησιμοποιώντας 80/20 διάσπαση και

KNN

, όπου «LC», «MC», και δηλώνουν «HC » χαμηλής εμπιστοσύνης (0,6 ) »,« μεσαίου εμπιστοσύνης (0,8) »και« υψηλή εμπιστοσύνη (1) », αντίστοιχα.

doi: 10.1371 /journal.pone.0029534.s007

(ΔΕΘ)

Πίνακα S1. απόδοση

MCC για την εκπαίδευση και την επικύρωση σύνολα

doi:. 10.1371 /journal.pone.0029534.s008

(DOCX)

Πίνακας S2.

πρανών και του Cohen

δ

για κάθε σύνολο δεδομένων

doi:. 10.1371 /journal.pone.0029534.s009

(DOCX)

Πίνακα S3.

Ποσοστό των ασθενών σε χαμηλό επίπεδο εμπιστοσύνης (LC), μέσο εμπιστοσύνης (MC) και τις περιοχές υψηλής εμπιστοσύνης (HC)

doi:. 10.1371 /journal.pone.0029534.s010

(DOCX)

Μέθοδοι S1.

Κατασκευή από τα καλύτερα ταξινομητή και υπολογίζει τη συσχέτιση μεταξύ της κλινικής την εμπιστοσύνη και το ποσοστό επιβίωσης

doi:. 10.1371 /journal.pone.0029534.s011

(DOC)

Ευχαριστίες

Οι συγγραφείς θα ήθελα να ευχαριστήσω τους παρόχους MAQC δεδομένων για την ανταλλαγή δεδομένων και πληροφοριών τους στο MAQC Consortium. Οι απόψεις που παρουσιάζονται σε αυτό το άρθρο δεν αντικατοπτρίζουν απαραίτητα εκείνες του U. S. Food and Drug Administration.

Αναφορά

1. Loscalzo J, Kohane Ι, Barabasi AL (2007) κατάταξη Ανθρώπινης ασθένειας στην μεταγονιδιωματική εποχή: Μια προσέγγιση πολύπλοκων συστημάτων για την ανθρώπινη παθολογία. Mol Syst Βίοι 3: 124.

Δείτε το άρθρο

PubMed /NCBI

Google Scholar

Η

2. Holmes Ε, Wilson ID, Nicholson JK (2008) Μεταβολική φαινοτυπική στην υγεία και την ασθένεια. Κυττάρου 134: 714-717.

Δείτε το άρθρο

PubMed /NCBI

Google Scholar

Η

3. Abrahams Ε (2009) Εξατομικευμένη Ιατρική Συνειδητοποιώντας την υπόσχεσή της. Genet Eng Biotechnol News 29 (15). Διαθέσιμο: https://www.genengnews.com/gen-articles/personalized-medicine-realizing-its-promise/3025/. Πρόσβαση: 2012 Jan 2.

Δείτε το άρθρο

PubMed /NCBI

Google Scholar

Η

4. Van’t Veer LJ, Dai ΗΥ, van de Vijver MJ, Ο YDD, Hart AAM, et al. (2002) προφίλ γονιδιακής έκφρασης προβλέπει την κλινική έκβαση του καρκίνου του μαστού. Nature 415: 530-536.

Δείτε το άρθρο

PubMed /NCBI

Google Scholar

Η

5. van de Vijver MJ, Ο YD, van ‘t Veer LJ, Dai Η, Hart AAM, et al. (2002) Μια υπογραφή γονίδιο-έκφρασης ως προγνωστικός δείκτης επιβίωσης στον καρκίνο του μαστού. N Engl J Med 347: 1999-2009.

Δείτε το άρθρο

PubMed /NCBI

Google Scholar

Η

6. Ayers Μ, Symmans WF, Stec J, Damokosh AI, Clark E, et al. (2004) της έκφρασης των γονιδίων προβλέπουν πλήρη παθολογική απάντηση στην εισαγωγική πακλιταξέλη και φθοριοουρακίλη, δοξορουβικίνη και κυκλοφωσφαμίδη χημειοθεραπείας στον καρκίνο του μαστού. J Clin Oncol 22: 2284-2293.

Δείτε το άρθρο

PubMed /NCBI

Google Scholar

Η

7. Ιννβο-Κοϊζούμι Κ, Matoba R, Ueno Ν, Kim SJ, Ando A, et al. (2005) Πρόβλεψη της ανταπόκρισης docetaxel σε ανθρώπινο καρκίνο του μαστού με προφίλ γονιδιακής έκφρασης. J Clin Oncol 23: 422-431.

Δείτε το άρθρο

PubMed /NCBI

Google Scholar

Η

8. Sorlie T, Περού CM, Tibshirani R, Aas Τ, Geisler S, et al. πρότυπα έκφρασης (2001) Gene των καρκινωμάτων του μαστού διάκριση υποκατηγορίες όγκου με κλινικές επιπτώσεις. Proc Natl Acad Sci υ S Α 98: 10.869 με 10.874.

Δείτε το άρθρο

PubMed /NCBI

Google Scholar

Η

9. Σωτηρίου C, Νέο SY, McShane LM, Korn EL, Long PM, et al. ταξινόμηση του καρκίνου (2003) του μαστού και την πρόγνωση βασίζεται σε προφίλ γονιδιακής έκφρασης από μια μελέτη βασισμένη στον πληθυσμό. Proc Natl Acad Sci υ S Α 100: 10393 – 10398.

Δείτε το άρθρο

PubMed /NCBI

Google Scholar

Η

10. Sorlie T, Tibshirani R, Parker J, Hastie Τ, Marron JS, et al. (2003) Επαναλαμβανόμενη παρατήρηση των υποτύπων καρκίνου του μαστού σε ανεξάρτητα σύνολα δεδομένων γονιδιακής έκφρασης. Proc Natl Acad Sci υ S Α 100: 8.418 με 8.423.

Δείτε το άρθρο

PubMed /NCBI

Google Scholar

Η

11.