ขอขอบคุณที่เยี่ยมชม Nature.comคุณกำลังใช้เวอร์ชันเบราว์เซอร์ที่มีการรองรับ CSS แบบจำกัดเพื่อประสบการณ์ที่ดีที่สุด เราขอแนะนำให้คุณใช้เบราว์เซอร์ที่อัปเดต (หรือปิดใช้งานโหมดความเข้ากันได้ใน Internet Explorer)นอกจากนี้ เพื่อให้มั่นใจว่าได้รับการสนับสนุนอย่างต่อเนื่อง เราจะแสดงไซต์โดยไม่มีสไตล์และ JavaScript
แถบเลื่อนแสดงสามบทความต่อสไลด์ใช้ปุ่มย้อนกลับและปุ่มถัดไปเพื่อเลื่อนไปตามสไลด์ หรือใช้ปุ่มตัวควบคุมสไลด์ที่ส่วนท้ายเพื่อเลื่อนไปตามแต่ละสไลด์
การถ่ายภาพด้วยเอกซเรย์เชื่อมโยงด้วยแสง (OCTA) เป็นวิธีการใหม่สำหรับการแสดงภาพหลอดเลือดจอประสาทตาแบบไม่รุกรานแม้ว่า OCTA จะมีการใช้งานทางคลินิกที่น่าหวังหลายอย่าง แต่การกำหนดคุณภาพของภาพยังคงเป็นเรื่องท้าทายเราได้พัฒนาระบบการเรียนรู้เชิงลึกโดยใช้ตัวแยกประเภทโครงข่ายประสาทเทียม ResNet152 ที่ได้รับการฝึกฝนด้วย ImageNet เพื่อจัดประเภทภาพ capillary plexus ผิวเผินจากการสแกน 347 ครั้งของผู้ป่วย 134 รายรูปภาพยังได้รับการประเมินด้วยตนเองว่าเป็นความจริงโดยผู้ประเมินอิสระสองคนสำหรับโมเดลการเรียนรู้แบบมีผู้สอนเนื่องจากข้อกำหนดคุณภาพของภาพอาจแตกต่างกันไปขึ้นอยู่กับการตั้งค่าทางคลินิกหรือการวิจัย จึงมีการฝึกอบรมสองรุ่น รุ่นหนึ่งสำหรับการจดจำภาพคุณภาพสูง และอีกรุ่นสำหรับการจดจำภาพคุณภาพต่ำโมเดลโครงข่ายประสาทเทียมของเราแสดงพื้นที่ที่ดีเยี่ยมภายใต้เส้นโค้ง (AUC), 95% CI 0.96-0.99, \(\kappa\) = 0.81) ซึ่งดีกว่าระดับสัญญาณที่รายงานโดยเครื่องอย่างมาก (AUC = 0.82, 95 % ซีไอ)0.77–0.86, \(\kappa\) = 0.52 และ AUC = 0.78, 95% CI 0.73–0.83, \(\kappa\) = 0.27 ตามลำดับ)การศึกษาของเราแสดงให้เห็นว่าวิธีการเรียนรู้ของเครื่องสามารถใช้เพื่อพัฒนาวิธีการควบคุมคุณภาพที่ยืดหยุ่นและมีประสิทธิภาพสำหรับอิมเมจ OCTA
การตรวจเอกซเรย์เชื่อมโยงด้วยแสง (OCTA) เป็นเทคนิคที่ค่อนข้างใหม่โดยใช้การตรวจเอกซเรย์เชื่อมโยงกันด้วยแสง (OCT) ซึ่งสามารถใช้สำหรับการแสดงภาพหลอดเลือดขนาดเล็กที่จอประสาทตาแบบไม่รุกรานOCTA วัดความแตกต่างของรูปแบบการสะท้อนจากแสงพัลส์ซ้ำๆ ในบริเวณเดียวกันของเรตินา จากนั้นจึงสามารถคำนวณการสร้างใหม่เพื่อเผยให้เห็นหลอดเลือดโดยไม่ต้องใช้สีย้อมหรือสารตัดกันอื่นๆ ที่รุกรานOCTA ยังช่วยให้สามารถถ่ายภาพหลอดเลือดที่มีความละเอียดเชิงลึกได้ ช่วยให้แพทย์สามารถตรวจสอบชั้นหลอดเลือดผิวเผินและชั้นลึกแยกกัน ช่วยแยกแยะความแตกต่างระหว่างโรคของหลอดเลือดหัวใจตีบตัน
แม้ว่าเทคนิคนี้จะมีแนวโน้มดี แต่ความแปรผันของคุณภาพของภาพยังคงเป็นความท้าทายที่สำคัญสำหรับการวิเคราะห์ภาพที่เชื่อถือได้ ทำให้การตีความภาพทำได้ยาก และขัดขวางการนำทางคลินิกไปใช้อย่างแพร่หลายเนื่องจาก OCTA ใช้การสแกน OCT ติดต่อกันหลายครั้ง จึงมีความไวต่อสิ่งรบกวนของรูปภาพมากกว่า OCT มาตรฐานแพลตฟอร์ม OCTA เชิงพาณิชย์ส่วนใหญ่จะมีหน่วยวัดคุณภาพของภาพของตัวเองที่เรียกว่าความแรงของสัญญาณ (SS) หรือบางครั้งดัชนีความแรงของสัญญาณ (SSI)อย่างไรก็ตาม รูปภาพที่มีค่า SS หรือ SSI สูงไม่รับประกันว่าจะไม่มีสิ่งผิดปกติของรูปภาพ ซึ่งอาจส่งผลต่อการวิเคราะห์รูปภาพในภายหลัง และนำไปสู่การตัดสินใจทางคลินิกที่ไม่ถูกต้องความผิดปกติของภาพทั่วไปที่อาจเกิดขึ้นในการถ่ายภาพ OCTA ได้แก่ ความผิดปกติของการเคลื่อนไหว ส่วนของการแบ่งส่วน ส่วนของความทึบของสื่อ และส่วนของการฉายภาพ1,2,3
เนื่องจากมาตรการที่ได้จาก OCTA เช่น ความหนาแน่นของหลอดเลือด ถูกนำมาใช้มากขึ้นในการวิจัยเชิงแปล การทดลองทางคลินิก และการปฏิบัติทางคลินิก จึงมีความจำเป็นเร่งด่วนในการพัฒนากระบวนการควบคุมคุณภาพของภาพที่ทนทานและเชื่อถือได้เพื่อกำจัดสิ่งแปลกปลอมในรูปภาพการเชื่อมต่อแบบข้ามหรือที่เรียกว่าการเชื่อมต่อที่เหลือ เป็นการฉายภาพในสถาปัตยกรรมโครงข่ายประสาทเทียมที่ช่วยให้ข้อมูลสามารถข้ามเลเยอร์แบบหมุนวนไปพร้อมๆ กับการจัดเก็บข้อมูลในระดับหรือความละเอียดที่แตกต่างกันเนื่องจากสิ่งประดิษฐ์ของรูปภาพอาจส่งผลต่อประสิทธิภาพของรูปภาพขนาดเล็กและขนาดใหญ่ทั่วไป โครงข่ายประสาทเทียมที่เชื่อมต่อแบบข้ามจึงเหมาะสมอย่างยิ่งที่จะทำให้งานควบคุมคุณภาพนี้เป็นแบบอัตโนมัติงานที่ตีพิมพ์เมื่อเร็ว ๆ นี้แสดงให้เห็นถึงคำมั่นสัญญาบางประการสำหรับโครงข่ายประสาทเทียมเชิงลึกที่ได้รับการฝึกฝนโดยใช้ข้อมูลคุณภาพสูงจากนักประมาณค่าของมนุษย์
ในการศึกษานี้ เราฝึกโครงข่ายประสาทเทียมแบบข้ามการเชื่อมต่อเพื่อกำหนดคุณภาพของภาพ OCTA โดยอัตโนมัติเราต่อยอดงานก่อนหน้านี้โดยการพัฒนาแบบจำลองแยกต่างหากสำหรับการระบุภาพคุณภาพสูงและภาพคุณภาพต่ำ เนื่องจากข้อกำหนดด้านคุณภาพของภาพอาจแตกต่างกันไปตามสถานการณ์ทางคลินิกหรือการวิจัยที่เฉพาะเจาะจงเราเปรียบเทียบผลลัพธ์ของเครือข่ายเหล่านี้กับโครงข่ายประสาทเทียมแบบ Convolutional โดยไม่มีการเชื่อมต่อขาดหายไป เพื่อประเมินคุณค่าของการรวมคุณสมบัติต่างๆ ในระดับรายละเอียดหลายระดับภายในการเรียนรู้เชิงลึกจากนั้นเราเปรียบเทียบผลลัพธ์ของเรากับความแรงของสัญญาณ ซึ่งเป็นการวัดคุณภาพของภาพที่ผู้ผลิตยอมรับโดยทั่วไป
การศึกษาของเรารวมผู้ป่วยโรคเบาหวานที่เข้ารับการรักษาที่ Yale Eye Center ระหว่างวันที่ 11 สิงหาคม 2017 ถึง 11 เมษายน 2019 ไม่รวมผู้ป่วยที่เป็นโรค chorioretinal ที่ไม่ใช่โรคเบาหวานไม่มีเกณฑ์การคัดเลือกหรือคัดแยกตามอายุ เพศ เชื้อชาติ คุณภาพของภาพ หรือปัจจัยอื่นใด
ภาพ OCTA ได้รับโดยใช้แพลตฟอร์ม AngioPlex บน Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) ภายใต้โปรโตคอลการถ่ายภาพ 8 \ (\ times \) 8 มม. และ 6 \ (\ ครั้ง \) 6 มม.ได้รับความยินยอมโดยแจ้งสำหรับการเข้าร่วมในการศึกษาจากผู้เข้าร่วมการศึกษาแต่ละราย และคณะกรรมการพิจารณาสถาบันมหาวิทยาลัยเยล (IRB) อนุมัติการใช้การรับทราบและยินยอมพร้อมการถ่ายภาพทั่วโลกสำหรับผู้ป่วยเหล่านี้ทั้งหมดเป็นไปตามหลักการของปฏิญญาเฮลซิงกิการศึกษานี้ได้รับการอนุมัติจาก IRB ของมหาวิทยาลัยเยล
ภาพเพลตพื้นผิวได้รับการประเมินตามคะแนน Motion Artifact Score (MAS) ที่อธิบายไว้ก่อนหน้านี้ คะแนน Segmentation Artifact Score (SAS) ที่อธิบายไว้ก่อนหน้านี้ จุดศูนย์กลาง foveal การมีอยู่ของความทึบของสื่อ และการแสดงภาพที่ดีของเส้นเลือดฝอยขนาดเล็กตามที่กำหนดโดยผู้ประเมินภาพภาพได้รับการวิเคราะห์โดยผู้ประเมินอิสระสองคน (RD และ JW)รูปภาพจะมีคะแนน 2 (มีสิทธิ์) หากตรงตามเกณฑ์ทั้งหมดต่อไปนี้: รูปภาพอยู่ตรงกลางรอยบุ๋ม (น้อยกว่า 100 พิกเซลจากตรงกลางภาพ), MAS คือ 1 หรือ 2, SAS คือ 1 และ ความทึบของสื่อน้อยกว่า 1 นำเสนอบนรูปภาพขนาด / 16 และมองเห็นเส้นเลือดฝอยขนาดเล็กในภาพที่มีขนาดใหญ่กว่า 15/16รูปภาพจะได้รับการจัดอันดับ 0 (ไม่มีการให้คะแนน) หากตรงตามเกณฑ์ใดๆ ต่อไปนี้: รูปภาพไม่อยู่กึ่งกลาง, หาก MAS คือ 4, หาก SAS คือ 2 หรือความทึบโดยเฉลี่ยมากกว่า 1/4 ของรูปภาพ และ เส้นเลือดฝอยขนาดเล็กไม่สามารถปรับได้มากกว่า 1 ภาพ /4 เพื่อแยกความแตกต่างรูปภาพอื่นๆ ทั้งหมดที่ไม่ตรงตามเกณฑ์การให้คะแนน 0 หรือ 2 จะถูกให้คะแนนเป็น 1 (การตัดภาพ)
บนรูป1 แสดงภาพตัวอย่างสำหรับการประมาณขนาดและส่วนต่างของภาพแต่ละรายการความน่าเชื่อถือระหว่างผู้ประเมินของแต่ละคะแนนได้รับการประเมินโดยการถ่วงน้ำหนักคัปปาของโคเฮนคะแนนส่วนบุคคลของผู้ประเมินแต่ละคนจะถูกรวมเข้าด้วยกันเพื่อให้ได้คะแนนรวมของแต่ละภาพ ตั้งแต่ 0 ถึง 4 รูปภาพที่มีคะแนนรวม 4 ถือว่าดีรูปภาพที่มีคะแนนรวม 0 หรือ 1 ถือว่ามีคุณภาพต่ำ
เครือข่ายประสาทเทียมแบบหมุนด้วยสถาปัตยกรรม ResNet152 (รูปที่ 3A.i) ที่ได้รับการฝึกอบรมล่วงหน้าเกี่ยวกับรูปภาพจากฐานข้อมูล ImageNet ถูกสร้างขึ้นโดยใช้ fast.ai และกรอบงาน PyTorch5, 9, 10, 11 เครือข่ายประสาทแบบหมุนเป็นเครือข่ายที่ใช้การเรียนรู้ ฟิลเตอร์สำหรับการสแกนชิ้นส่วนของภาพเพื่อศึกษาลักษณะเชิงพื้นที่และท้องถิ่นResNet ที่ได้รับการฝึกอบรมของเราคือโครงข่ายประสาทเทียม 152 เลเยอร์ที่มีช่องว่างหรือ "การเชื่อมต่อที่เหลือ" ซึ่งส่งข้อมูลพร้อมกันด้วยความละเอียดหลายระดับด้วยการฉายข้อมูลที่ความละเอียดต่างกันผ่านเครือข่าย แพลตฟอร์มจึงสามารถเรียนรู้คุณสมบัติของภาพคุณภาพต่ำได้ในรายละเอียดหลายระดับนอกเหนือจากโมเดล ResNet ของเราแล้ว เรายังฝึกอบรม AlexNet ซึ่งเป็นสถาปัตยกรรมเครือข่ายนิวรอลที่ได้รับการศึกษามาอย่างดี โดยไม่มีการเชื่อมต่อขาดหายไปสำหรับการเปรียบเทียบ (รูปที่ 3A.ii)12หากไม่มีการเชื่อมต่อขาดหายไป เครือข่ายนี้จะไม่สามารถบันทึกคุณลักษณะต่างๆ ได้ในรายละเอียดที่สูงกว่า
ชุดภาพ OCTA13 ขนาด 8\(\times\)8 มม. ดั้งเดิมได้รับการปรับปรุงให้ดีขึ้นโดยใช้เทคนิคการสะท้อนในแนวนอนและแนวตั้งจากนั้นชุดข้อมูลทั้งหมดจะถูกสุ่มแบ่งตามระดับอิมเมจเป็นชุดข้อมูลการฝึก (51.2%) การทดสอบ (12.8%) การปรับไฮเปอร์พารามิเตอร์ (16%) และชุดข้อมูลการตรวจสอบความถูกต้อง (20%) โดยใช้กล่องเครื่องมือ scikit-learn python14มีการพิจารณาสองกรณี กรณีหนึ่งขึ้นอยู่กับการตรวจจับเฉพาะภาพคุณภาพสูงสุด (คะแนนโดยรวม 4) และอีกกรณีขึ้นอยู่กับการตรวจจับเฉพาะภาพคุณภาพต่ำสุด (คะแนนโดยรวม 0 หรือ 1)สำหรับกรณีการใช้งานคุณภาพสูงและคุณภาพต่ำแต่ละกรณี โครงข่ายประสาทเทียมจะได้รับการฝึกใหม่หนึ่งครั้งในข้อมูลรูปภาพของเราในแต่ละกรณีการใช้งาน โครงข่ายประสาทเทียมได้รับการฝึกอบรมเป็นเวลา 10 ยุค โดยทั้งหมดยกเว้นน้ำหนักเลเยอร์สูงสุดจะถูกแช่แข็ง และน้ำหนักของพารามิเตอร์ภายในทั้งหมดได้รับการเรียนรู้เป็นเวลา 40 ยุค โดยใช้วิธีอัตราการเรียนรู้แบบเลือกปฏิบัติพร้อมฟังก์ชันการสูญเสียข้ามเอนโทรปี 15 16.-ฟังก์ชันการสูญเสียเอนโทรปีข้ามคือการวัดสเกลลอการิทึมของความแตกต่างระหว่างป้ายกำกับเครือข่ายที่คาดการณ์และข้อมูลจริงในระหว่างการฝึก การไล่ระดับจะดำเนินการบนพารามิเตอร์ภายในของโครงข่ายประสาทเทียมเพื่อลดการสูญเสียให้เหลือน้อยที่สุดอัตราการเรียนรู้ อัตราการออกกลางคัน และไฮเปอร์พารามิเตอร์การลดน้ำหนักได้รับการปรับแต่งโดยใช้การปรับให้เหมาะสมแบบเบย์เซียนโดยมีจุดเริ่มต้นแบบสุ่ม 2 จุดและการวนซ้ำ 10 ครั้ง และ AUC ในชุดข้อมูลได้รับการปรับแต่งโดยใช้ไฮเปอร์พารามิเตอร์เป็นเป้าหมายที่ 17
ตัวอย่างที่เป็นตัวแทนของภาพ OCTA ขนาด 8 × 8 มม. ของเส้นเลือดฝอยผิวเผินที่ได้คะแนน 2 (A, B), 1 (C, D) และ 0 (E, F)ส่วนของรูปภาพที่แสดงได้แก่ เส้นกะพริบ (ลูกศร) ส่วนของการแบ่งส่วน (เครื่องหมายดอกจัน) และความทึบของสื่อ (ลูกศร)รูปภาพ (E) อยู่นอกศูนย์กลางเช่นกัน
จากนั้นกราฟลักษณะการทำงานของตัวรับ (ROC) จะถูกสร้างขึ้นสำหรับโมเดลโครงข่ายประสาทเทียมทั้งหมด และรายงานความแรงของสัญญาณเครื่องยนต์จะถูกสร้างขึ้นสำหรับกรณีการใช้งานคุณภาพต่ำและคุณภาพสูงแต่ละกรณีพื้นที่ใต้เส้นโค้ง (AUC) คำนวณโดยใช้แพ็คเกจ pROC R และช่วงความเชื่อมั่น 95% และค่า p คำนวณโดยใช้วิธี DeLongคะแนนสะสมของผู้ประเมินที่เป็นมนุษย์จะใช้เป็นเกณฑ์พื้นฐานสำหรับการคำนวณ ROC ทั้งหมดสำหรับความแรงของสัญญาณที่เครื่องรายงาน จะมีการคำนวณ AUC สองครั้ง: ครั้งแรกสำหรับการตัดคะแนน Scalability Score คุณภาพสูง และอีกครั้งสำหรับการตัดคะแนน Scalability Score คุณภาพต่ำโครงข่ายประสาทเทียมจะถูกเปรียบเทียบกับความแรงของสัญญาณ AUC ซึ่งสะท้อนถึงเงื่อนไขการฝึกอบรมและการประเมินผลของตัวเอง
เพื่อทดสอบโมเดลการเรียนรู้เชิงลึกที่ได้รับการฝึกอบรมเพิ่มเติมบนชุดข้อมูลที่แยกจากกัน จึงได้นำแบบจำลองคุณภาพสูงและคุณภาพต่ำไปใช้กับการประเมินประสิทธิภาพของภาพแผ่นพื้นแบบเต็มหน้า 6\(\ครั้ง\) 6 มม. จำนวน 32 ภาพที่รวบรวมจากมหาวิทยาลัยเยลมวลตาอยู่กึ่งกลางในเวลาเดียวกันกับภาพ 8 \(\times \) 8 มม.รูปภาพขนาด 6\(\×\) 6 มม. ได้รับการประเมินด้วยตนเองโดยผู้ประเมินเดียวกัน (RD และ JW) ในลักษณะเดียวกับรูปภาพขนาด 8\(\×\) 8 มม. คำนวณ AUC รวมถึงความแม่นยำและคัปปาของโคเฮน .เท่าๆ กัน
อัตราส่วนความไม่สมดุลของคลาสคือ 158:189 (\(\rho = 1.19\)) สำหรับโมเดลคุณภาพต่ำ และ 80:267 (\(\rho = 3.3\)) สำหรับโมเดลคุณภาพสูงเนื่องจากอัตราส่วนความไม่สมดุลของคลาสน้อยกว่า 1:4 จึงไม่มีการเปลี่ยนแปลงสถาปัตยกรรมเฉพาะเพื่อแก้ไขความไม่สมดุลของคลาส20,21
เพื่อให้เห็นภาพกระบวนการเรียนรู้ได้ดีขึ้น จึงได้สร้างแผนที่การเปิดใช้งานชั้นเรียนสำหรับโมเดลการเรียนรู้เชิงลึกที่ผ่านการฝึกอบรมทั้งสี่โมเดล ได้แก่ โมเดล ResNet152 คุณภาพสูง โมเดล ResNet152 คุณภาพต่ำ โมเดล AlexNet คุณภาพสูง และโมเดล AlexNet คุณภาพต่ำแผนที่การเปิดใช้งานคลาสถูกสร้างขึ้นจากเลเยอร์การสลับอินพุตของโมเดลทั้งสี่นี้ และแผนที่ความร้อนถูกสร้างขึ้นโดยการซ้อนทับแผนที่การเปิดใช้งานด้วยรูปภาพต้นฉบับจากชุดการตรวจสอบความถูกต้อง 8 × 8 มม. และ 6 × 6 มม. 22, 23
R เวอร์ชัน 4.0.3 ใช้สำหรับการคำนวณทางสถิติทั้งหมด และการแสดงภาพถูกสร้างขึ้นโดยใช้ไลบรารีเครื่องมือกราฟิก ggplot2
เรารวบรวมภาพด้านหน้าของ capillary plexus ผิวเผินจำนวน 347 ภาพ ขนาด 8 \(\times \)8 มม. จาก 134 คนเครื่องรายงานความแรงของสัญญาณในระดับ 0 ถึง 10 สำหรับภาพทั้งหมด (เฉลี่ย = 6.99 ± 2.29)จากภาพที่ได้มา 347 ภาพ อายุเฉลี่ยที่ตรวจคือ 58.7 ± 14.6 ปี และ 39.2% มาจากผู้ป่วยชายจากภาพทั้งหมด 30.8% มาจากคนผิวขาว 32.6% เป็นคนผิวดำ 30.8% มาจากกลุ่มฮิสแปนิก 4% มาจากชาวเอเชีย และ 1.7% มาจากเชื้อชาติอื่น (ตารางที่ 1)-การกระจายอายุของผู้ป่วยที่มี OCTA แตกต่างกันอย่างมีนัยสำคัญขึ้นอยู่กับคุณภาพของภาพ (p < 0.001)เปอร์เซ็นต์ของภาพคุณภาพสูงในผู้ป่วยอายุน้อยกว่าอายุ 18-45 ปีคือ 33.8% เทียบกับ 12.2% ของภาพคุณภาพต่ำ (ตารางที่ 1)การกระจายตัวของภาวะเบาหวานขึ้นจอประสาทตายังแตกต่างกันอย่างมีนัยสำคัญในด้านคุณภาพของภาพ (p < 0.017)ในบรรดาภาพคุณภาพสูงทั้งหมด เปอร์เซ็นต์ของผู้ป่วยที่มี PDR อยู่ที่ 18.8% เทียบกับ 38.8% ของภาพคุณภาพต่ำทั้งหมด (ตารางที่ 1)
การให้คะแนนภาพทั้งหมดแต่ละรายการแสดงให้เห็นความน่าเชื่อถือในการให้คะแนนระหว่างบุคคลที่อ่านภาพ (คัปปาแบบถ่วงน้ำหนักของโคเฮน = 0.79, 95% CI: 0.76-0.82) และไม่มีจุดภาพใดที่ผู้ประเมินแตกต่างกันมากกว่า 1 (รูปที่. 2เอ)-ความเข้มของสัญญาณมีความสัมพันธ์อย่างมีนัยสำคัญกับการให้คะแนนแบบแมนนวล (ความสัมพันธ์ระหว่างโมเมนต์ผลิตภัณฑ์ของเพียร์สัน = 0.58, 95% CI 0.51–0.65, p <0.001) แต่รูปภาพจำนวนมากถูกระบุว่ามีความเข้มของสัญญาณสูง แต่การให้คะแนนแบบแมนนวลต่ำ (รูปที่ .2B)
ในระหว่างการฝึกอบรมสถาปัตยกรรม ResNet152 และ AlexNet การสูญเสียข้ามเอนโทรปีในการตรวจสอบและการฝึกอบรมลดลงมากกว่า 50 ยุค (รูปที่ 3B,C)ความแม่นยำในการตรวจสอบความถูกต้องในยุคการฝึกอบรมขั้นสุดท้ายนั้นมากกว่า 90% สำหรับกรณีการใช้งานทั้งคุณภาพสูงและคุณภาพต่ำ
เส้นโค้งประสิทธิภาพของตัวรับแสดงให้เห็นว่ารุ่น ResNet152 มีประสิทธิภาพเหนือกว่ากำลังสัญญาณที่เครื่องรายงานอย่างมาก ทั้งในกรณีการใช้งานคุณภาพต่ำและสูง (p < 0.001)รุ่น ResNet152 ยังมีประสิทธิภาพเหนือกว่าสถาปัตยกรรม AlexNet อย่างมาก (p = 0.005 และ p = 0.014 สำหรับเคสคุณภาพต่ำและคุณภาพสูง ตามลำดับ)โมเดลผลลัพธ์สำหรับแต่ละงานเหล่านี้สามารถบรรลุค่า AUC ที่ 0.99 และ 0.97 ตามลำดับ ซึ่งดีกว่าค่า AUC ที่สอดคล้องกันที่ 0.82 และ 0.78 สำหรับดัชนีความแรงของสัญญาณเครื่องหรือ 0.97 และ 0.94 สำหรับ AlexNet อย่างมีนัยสำคัญ .-(รูปที่ 3)ความแตกต่างระหว่าง ResNet และ AUC ในด้านความแรงของสัญญาณจะสูงกว่าเมื่อรับรู้ภาพคุณภาพสูง ซึ่งบ่งบอกถึงประโยชน์เพิ่มเติมของการใช้ ResNet สำหรับงานนี้
กราฟแสดงความสามารถของผู้ประเมินอิสระแต่ละคนในการให้คะแนนและเปรียบเทียบกับความแรงของสัญญาณที่รายงานโดยเครื่อง(A) ผลรวมของคะแนนที่จะประเมินใช้เพื่อสร้างจำนวนคะแนนทั้งหมดที่จะประเมินรูปภาพที่มีคะแนนความสามารถในการปรับขนาดโดยรวม 4 จะได้รับมอบหมายคุณภาพสูง ในขณะที่รูปภาพที่มีคะแนนความสามารถในการปรับขนาดโดยรวม 1 หรือน้อยกว่านั้นจะได้รับมอบหมายคุณภาพต่ำ(B) ความเข้มของสัญญาณสัมพันธ์กับการประมาณค่าด้วยตนเอง แต่ภาพที่มีความเข้มของสัญญาณสูงอาจมีคุณภาพต่ำกว่าเส้นประสีแดงแสดงถึงเกณฑ์คุณภาพที่แนะนำของผู้ผลิตโดยพิจารณาจากความแรงของสัญญาณ (ความแรงของสัญญาณ \(\ge\)6)
การเรียนรู้การถ่ายโอน ResNet ให้การปรับปรุงที่สำคัญในการระบุคุณภาพของภาพสำหรับกรณีการใช้งานทั้งคุณภาพต่ำและคุณภาพสูงเมื่อเปรียบเทียบกับระดับสัญญาณที่รายงานโดยเครื่อง(A) ไดอะแกรมสถาปัตยกรรมที่เรียบง่ายของสถาปัตยกรรม (i) ResNet152 และ (ii) ที่ผ่านการฝึกอบรมมาแล้ว(B) ประวัติการฝึกอบรมและเส้นโค้งประสิทธิภาพของตัวรับสำหรับ ResNet152 เมื่อเปรียบเทียบกับความแรงของสัญญาณที่เครื่องรายงานและเกณฑ์คุณภาพต่ำของ AlexNet(C) ประวัติการฝึกอบรมตัวรับ ResNet152 และกราฟประสิทธิภาพเมื่อเปรียบเทียบกับความแรงของสัญญาณที่รายงานโดยเครื่องและเกณฑ์คุณภาพสูงของ AlexNet
หลังจากปรับเกณฑ์ขอบเขตการตัดสินใจแล้ว ความแม่นยำในการทำนายสูงสุดของโมเดล ResNet152 คือ 95.3% สำหรับเคสคุณภาพต่ำ และ 93.5% สำหรับเคสคุณภาพสูง (ตารางที่ 2)ความแม่นยำในการทำนายสูงสุดของรุ่น AlexNet คือ 91.0% สำหรับเคสคุณภาพต่ำ และ 90.1% สำหรับเคสคุณภาพสูง (ตารางที่ 2)ความแม่นยำในการทำนายความแรงของสัญญาณสูงสุดคือ 76.1% สำหรับกรณีการใช้งานคุณภาพต่ำ และ 77.8% สำหรับกรณีการใช้งานคุณภาพสูงจากข้อมูลของคัปปา (\(\kappa\)) ของโคเฮน ข้อตกลงระหว่างแบบจำลอง ResNet152 และตัวประมาณค่าคือ 0.90 สำหรับเคสคุณภาพต่ำและ 0.81 สำหรับเคสคุณภาพสูงAlexNet kappa ของ Cohen คือ 0.82 และ 0.71 สำหรับกรณีการใช้งานคุณภาพต่ำและคุณภาพสูง ตามลำดับความแรงของสัญญาณคัปปาของ Cohen คือ 0.52 และ 0.27 สำหรับกรณีการใช้งานคุณภาพต่ำและสูง ตามลำดับ
การตรวจสอบแบบจำลองการจดจำคุณภาพสูงและต่ำบนรูปภาพขนาด 6\(\x\) ของเพลตแบนขนาด 6 มม. แสดงให้เห็นถึงความสามารถของแบบจำลองที่ผ่านการฝึกอบรมในการกำหนดคุณภาพของรูปภาพในพารามิเตอร์การถ่ายภาพต่างๆเมื่อใช้แผ่นพื้นตื้น 6\(\x\) 6 มม. สำหรับคุณภาพการถ่ายภาพ โมเดลคุณภาพต่ำมีค่า AUC 0.83 (95% CI: 0.69–0.98) และรุ่นคุณภาพสูงมีค่า AUC 0.85(95% CI: 0.55–1.00) (ตารางที่ 2)
การตรวจสอบแผนที่การเปิดใช้งานคลาสเลเยอร์อินพุตด้วยสายตาแสดงให้เห็นว่าโครงข่ายประสาทเทียมที่ได้รับการฝึกอบรมทั้งหมดใช้ฟีเจอร์รูปภาพในระหว่างการจำแนกรูปภาพ (รูปที่ 4A, B)สำหรับรูปภาพ 8 \(\times \) 8 มม. และ 6 \(\times \) 6 มม. รูปภาพการเปิดใช้งาน ResNet จะติดตามหลอดเลือดจอประสาทตาอย่างใกล้ชิดแผนที่การเปิดใช้งาน AlexNet ยังติดตามเส้นเลือดจอประสาทตาด้วย แต่มีความละเอียดที่หยาบกว่า
แผนที่การเปิดใช้งานคลาสสำหรับรุ่น ResNet152 และ AlexNet จะเน้นคุณสมบัติที่เกี่ยวข้องกับคุณภาพของภาพ(A) แผนที่การเปิดใช้งานคลาสแสดงการเปิดใช้งานที่สอดคล้องกันหลังจากหลอดเลือดจอประสาทตาผิวเผินบนภาพตรวจสอบความถูกต้อง 8 \(\times \) 8 มม. และ (B) ขอบเขตบนภาพตรวจสอบความถูกต้อง 6 \(\times \) 6 มม. ที่เล็กกว่าแบบจำลอง LQ ฝึกฝนตามเกณฑ์คุณภาพต่ำ แบบจำลอง HQ ฝึกฝนตามเกณฑ์คุณภาพสูง
ก่อนหน้านี้แสดงให้เห็นแล้วว่าคุณภาพของภาพสามารถส่งผลกระทบอย่างมากต่อการกำหนดปริมาณของภาพ OCTAนอกจากนี้การปรากฏตัวของจอประสาทตายังเพิ่มอุบัติการณ์ของสิ่งประดิษฐ์ทางภาพ7,26ในความเป็นจริง ในข้อมูลของเรา ซึ่งสอดคล้องกับการศึกษาก่อนหน้านี้ เราพบความสัมพันธ์ที่สำคัญระหว่างการเพิ่มอายุและความรุนแรงของโรคจอประสาทตา และการเสื่อมสภาพของคุณภาพของภาพ (p < 0.001, p = 0.017 สำหรับอายุและสถานะ DR ตามลำดับ; ตารางที่ 1) 27 ดังนั้นจึงเป็นเรื่องสำคัญที่จะต้องประเมินคุณภาพของภาพก่อนที่จะทำการวิเคราะห์เชิงปริมาณของภาพ OCTAการศึกษาส่วนใหญ่ที่วิเคราะห์ภาพ OCTA จะใช้เกณฑ์ความเข้มของสัญญาณที่รายงานโดยเครื่องเพื่อแยกแยะภาพคุณภาพต่ำแม้ว่าความเข้มของสัญญาณจะแสดงให้เห็นว่าส่งผลต่อปริมาณของพารามิเตอร์ OCTA แต่ความเข้มของสัญญาณสูงเพียงอย่างเดียวอาจไม่เพียงพอที่จะแยกแยะภาพที่มีส่วนต่าง ๆ ของภาพ2,3,28,29ดังนั้นจึงจำเป็นต้องพัฒนาวิธีการควบคุมคุณภาพของภาพที่เชื่อถือได้มากขึ้นด้วยเหตุนี้ เราจึงประเมินประสิทธิภาพของวิธีการเรียนรู้เชิงลึกภายใต้การดูแลเทียบกับความแรงของสัญญาณที่รายงานโดยเครื่อง
เราได้พัฒนาแบบจำลองต่างๆ สำหรับการประเมินคุณภาพของภาพ เนื่องจากกรณีการใช้งาน OCTA ที่แตกต่างกันอาจมีข้อกำหนดด้านคุณภาพของภาพที่แตกต่างกันตัวอย่างเช่น รูปภาพควรมีคุณภาพสูงกว่านอกจากนี้ พารามิเตอร์เชิงปริมาณเฉพาะที่น่าสนใจก็มีความสำคัญเช่นกันตัวอย่างเช่นพื้นที่ของโซน foveal avascular ไม่ได้ขึ้นอยู่กับความขุ่นของตัวกลางที่ไม่ใช่ส่วนกลาง แต่ส่งผลต่อความหนาแน่นของหลอดเลือดแม้ว่าการวิจัยของเรายังคงมุ่งเน้นไปที่แนวทางทั่วไปในด้านคุณภาพของภาพ ซึ่งไม่ได้เชื่อมโยงกับข้อกำหนดของการทดสอบใดๆ โดยเฉพาะ แต่มีจุดมุ่งหมายเพื่อแทนที่ความแรงของสัญญาณที่รายงานโดยเครื่องโดยตรง เราหวังว่าจะให้ผู้ใช้มีการควบคุมในระดับที่มากขึ้น สามารถเลือกตัวชี้วัดเฉพาะที่น่าสนใจให้กับผู้ใช้ได้เลือกแบบจำลองที่สอดคล้องกับระดับสูงสุดของสิ่งประดิษฐ์รูปภาพที่ถือว่ายอมรับได้
สำหรับฉากคุณภาพต่ำและคุณภาพสูง เราจะแสดงประสิทธิภาพที่ยอดเยี่ยมของโครงข่ายประสาทเทียมเชิงลึกที่ขาดการเชื่อมต่อ โดยมี AUC 0.97 และ 0.99 และโมเดลคุณภาพต่ำตามลำดับนอกจากนี้เรายังแสดงให้เห็นถึงประสิทธิภาพที่เหนือกว่าของแนวทางการเรียนรู้เชิงลึกของเราเมื่อเปรียบเทียบกับระดับสัญญาณที่รายงานโดยเครื่องจักรเท่านั้นข้ามการเชื่อมต่อช่วยให้โครงข่ายประสาทเทียมเรียนรู้คุณสมบัติต่างๆ ในรายละเอียดหลายระดับ โดยจับภาพในแง่มุมที่ละเอียดยิ่งขึ้น (เช่น คอนทราสต์) รวมถึงคุณสมบัติทั่วไป (เช่น การจัดกึ่งกลางภาพ)เนื่องจากสิ่งประดิษฐ์ของภาพที่ส่งผลต่อคุณภาพของภาพน่าจะได้รับการระบุได้ดีที่สุดในช่วงกว้าง สถาปัตยกรรมโครงข่ายประสาทเทียมที่ไม่มีการเชื่อมต่ออาจแสดงประสิทธิภาพได้ดีกว่าสถาปัตยกรรมที่ไม่มีงานกำหนดคุณภาพของภาพ
เมื่อทดสอบโมเดลของเรากับรูปภาพ OCTA ขนาด 6\(\×6 มม.) เราสังเกตเห็นว่าประสิทธิภาพการจัดหมวดหมู่ลดลงสำหรับทั้งโมเดลคุณภาพสูงและคุณภาพต่ำ (รูปที่ 2) ตรงกันข้ามกับขนาดของโมเดลที่ผ่านการฝึกฝนเพื่อการจัดหมวดหมู่เมื่อเปรียบเทียบกับรุ่น ResNet แล้ว รุ่น AlexNet จะมีการสูญเสียที่มากกว่าประสิทธิภาพที่ค่อนข้างดีกว่าของ ResNet อาจเนื่องมาจากความสามารถของการเชื่อมต่อที่เหลือในการส่งข้อมูลในหลายระดับ ซึ่งทำให้แบบจำลองมีความแข็งแกร่งมากขึ้นในการจัดประเภทภาพที่ถ่ายในขนาดและ/หรือกำลังขยายที่แตกต่างกัน
ความแตกต่างบางประการระหว่างรูปภาพขนาด 8 \(\×\) 8 มม. และรูปภาพขนาด 6 \(\×\) 6 มม. อาจนำไปสู่การจำแนกประเภทที่ไม่ดี รวมถึงสัดส่วนที่ค่อนข้างสูงของรูปภาพที่มีบริเวณรอยบุ๋มของหลอดเลือด การเปลี่ยนแปลงในการมองเห็น หลอดเลือดโค้ง และ ไม่มีเส้นประสาทตาบนภาพ 6×6 มม.อย่างไรก็ตาม โมเดล ResNet คุณภาพสูงของเราสามารถบรรลุ AUC ที่ 85% สำหรับรูปภาพ 6 \(\x\) 6 มม. ซึ่งเป็นการกำหนดค่าที่โมเดลไม่ได้รับการฝึกฝน โดยแนะนำว่าข้อมูลคุณภาพของรูปภาพถูกเข้ารหัสในโครงข่ายประสาทเทียม เหมาะสม.สำหรับขนาดภาพเดียวหรือการกำหนดค่าเครื่องนอกการฝึก (ตารางที่ 2)อย่างมั่นใจแผนที่การเปิดใช้งานเหมือน ResNet- และ AlexNet ขนาด 8 \(\times \) 8 มม. และ 6 \(\times \) 6 มม. สามารถเน้นหลอดเลือดจอประสาทตาในทั้งสองกรณีโดยบอกว่าแบบจำลองมีข้อมูลที่สำคัญใช้สำหรับการจัดประเภทรูปภาพ OCTA ทั้งสองประเภท (รูปที่ 4)
ลอเออร์แมน และคณะการประเมินคุณภาพของภาพบนภาพ OCTA ดำเนินการในทำนองเดียวกันโดยใช้สถาปัตยกรรม Inception ซึ่งเป็นเครือข่ายประสาทเทียมแบบข้ามการเชื่อมต่ออีกเครือข่ายหนึ่ง6,32 โดยใช้เทคนิคการเรียนรู้เชิงลึกพวกเขายังจำกัดการศึกษาไว้เพียงภาพถ่ายของ capillary plexus ผิวเผิน แต่ใช้เฉพาะภาพขนาดเล็ก 3×3 มม. จาก Optovue AngioVue แม้ว่าจะมีผู้ป่วยที่เป็นโรค chorioretinal ต่างๆ รวมอยู่ด้วยก็ตามงานของเราสร้างขึ้นบนรากฐาน รวมถึงแบบจำลองหลายแบบเพื่อระบุเกณฑ์คุณภาพของภาพต่างๆ และตรวจสอบผลลัพธ์สำหรับภาพที่มีขนาดต่างกันนอกจากนี้เรายังรายงานตัวชี้วัด AUC ของโมเดลการเรียนรู้ของเครื่องและเพิ่มความแม่นยำที่น่าประทับใจอยู่แล้ว (90%)6 สำหรับทั้งโมเดลคุณภาพต่ำ (96%) และคุณภาพสูง (95.7%)6
การฝึกอบรมนี้มีข้อจำกัดหลายประการขั้นแรก ภาพได้มาจากเครื่อง OCTA เพียงเครื่องเดียว รวมถึงภาพเฉพาะของ capillary plexus ผิวเผินที่ 8\(\times\)8 มม. และ 6\(\times\)6 มม.เหตุผลในการยกเว้นภาพจากชั้นที่ลึกกว่านั้นก็คือ สิ่งประดิษฐ์ของการฉายภาพสามารถทำให้การประเมินภาพด้วยตนเองทำได้ยากขึ้นและอาจมีความสม่ำเสมอน้อยลงนอกจากนี้ ภาพถ่ายจะได้รับเฉพาะในผู้ป่วยโรคเบาหวานเท่านั้น ซึ่ง OCTA กลายเป็นเครื่องมือวินิจฉัยและการพยากรณ์โรคที่สำคัญ33,34แม้ว่าเราจะสามารถทดสอบแบบจำลองของเรากับรูปภาพขนาดต่างๆ เพื่อให้แน่ใจว่าผลลัพธ์มีความแข็งแกร่ง แต่เราไม่สามารถระบุชุดข้อมูลที่เหมาะสมจากศูนย์ต่างๆ ได้ ซึ่งจำกัดการประเมินความสามารถทั่วไปของแบบจำลองแม้ว่าภาพจะได้มาจากศูนย์เพียงแห่งเดียว แต่ก็ได้มาจากผู้ป่วยที่มีภูมิหลังทางชาติพันธุ์และเชื้อชาติที่แตกต่างกัน ซึ่งเป็นจุดแข็งที่เป็นเอกลักษณ์ของการศึกษาของเราด้วยการรวมความหลากหลายไว้ในกระบวนการฝึกอบรมของเรา เราหวังว่าผลลัพธ์ของเราจะได้รับการสรุปในความหมายที่กว้างขึ้น และเราจะหลีกเลี่ยงการเข้ารหัสอคติทางเชื้อชาติในแบบจำลองที่เราฝึกอบรม
การศึกษาของเราแสดงให้เห็นว่าโครงข่ายประสาทเทียมที่ข้ามการเชื่อมต่อสามารถได้รับการฝึกฝนเพื่อให้มีประสิทธิภาพสูงในการกำหนดคุณภาพของภาพ OCTAเราจัดเตรียมแบบจำลองเหล่านี้ไว้เป็นเครื่องมือสำหรับการวิจัยเพิ่มเติมเนื่องจากตัววัดที่ต่างกันอาจมีข้อกำหนดด้านคุณภาพของภาพที่แตกต่างกัน คุณจึงสามารถพัฒนาแบบจำลองการควบคุมคุณภาพเฉพาะตัวสำหรับตัววัดแต่ละตัวได้โดยใช้โครงสร้างที่สร้างขึ้นที่นี่
การวิจัยในอนาคตควรรวมรูปภาพที่มีขนาดแตกต่างกันจากความลึกที่แตกต่างกัน และเครื่อง OCTA ที่แตกต่างกัน เพื่อให้ได้กระบวนการประเมินคุณภาพของภาพการเรียนรู้เชิงลึก ซึ่งสามารถนำไปใช้ทั่วไปกับแพลตฟอร์ม OCTA และโปรโตคอลการถ่ายภาพได้การวิจัยในปัจจุบันยังอิงตามแนวทางการเรียนรู้เชิงลึกภายใต้การดูแลซึ่งจำเป็นต้องมีการประเมินโดยมนุษย์และการประเมินรูปภาพ ซึ่งอาจต้องใช้แรงงานเข้มข้นและใช้เวลานานสำหรับชุดข้อมูลขนาดใหญ่จะต้องคอยดูต่อไปว่าวิธีการเรียนรู้เชิงลึกแบบไม่มีผู้ดูแลสามารถแยกแยะระหว่างภาพคุณภาพต่ำและภาพคุณภาพสูงได้อย่างเพียงพอหรือไม่
เนื่องจากเทคโนโลยี OCTA มีการพัฒนาอย่างต่อเนื่องและความเร็วในการสแกนเพิ่มขึ้น อุบัติการณ์ของภาพที่ผิดปกติและภาพที่มีคุณภาพต่ำจึงอาจลดลงการปรับปรุงซอฟต์แวร์ เช่น คุณลักษณะการลบสิ่งแปลกปลอมในการฉายภาพที่เพิ่งเปิดตัว ยังสามารถบรรเทาข้อจำกัดเหล่านี้ได้เช่นกันอย่างไรก็ตาม ปัญหามากมายยังคงมีอยู่ เนื่องจากการถ่ายภาพผู้ป่วยที่มีการตรึงที่ไม่ดีหรือมีความขุ่นของตัวกลางที่มีนัยสำคัญจะส่งผลให้เกิดความผิดปกติของภาพอย่างสม่ำเสมอเนื่องจาก OCTA มีการใช้กันอย่างแพร่หลายมากขึ้นในการทดลองทางคลินิก จึงจำเป็นต้องมีการพิจารณาอย่างรอบคอบเพื่อสร้างแนวทางที่ชัดเจนสำหรับระดับสิ่งแปลกปลอมของภาพที่ยอมรับได้สำหรับการวิเคราะห์ภาพการประยุกต์ใช้วิธีการเรียนรู้เชิงลึกกับภาพ OCTA ถือเป็นความหวังที่ดีและจำเป็นต้องมีการวิจัยเพิ่มเติมในด้านนี้เพื่อพัฒนาแนวทางที่มีประสิทธิภาพในการควบคุมคุณภาพของภาพ
รหัสที่ใช้ในการวิจัยปัจจุบันมีอยู่ในพื้นที่เก็บข้อมูล octa-qc https://github.com/rahuldhodapkar/octa-qcชุดข้อมูลที่สร้างขึ้นและ/หรือวิเคราะห์ในระหว่างการศึกษาปัจจุบันสามารถหาได้จากผู้เขียนตามลำดับเมื่อมีการร้องขอที่สมเหตุสมผล
Spaide, RF, Fujimoto, JG & Waheed, NK Image artifacts ในการถ่ายภาพด้วยการเชื่อมโยงกันของแสงจอประสาทตา 35, 2163–2180 (2015)
เฟนเนอร์ บีเจ และคณะการระบุคุณสมบัติการถ่ายภาพที่กำหนดคุณภาพและความสามารถในการทำซ้ำของการวัดความหนาแน่นของเส้นเลือดฝอยของจอประสาทตาในการตรวจหลอดเลือดด้วย OCTบีอาร์.เจ. ออพธาลมล.102, 509–514 (2018)
ลอเออร์แมน, JL และคณะอิทธิพลของเทคโนโลยีการติดตามด้วยสายตาต่อคุณภาพของภาพของ OCT angiography ในการจอประสาทตาเสื่อมที่เกี่ยวข้องกับอายุซุ้มประตูหลุมฝังศพทางคลินิกประสบการณ์จักษุวิทยา255, 1535–1542 (2017)
Babyuch AS และคณะการวัดความหนาแน่นของการกำซาบของเส้นเลือดฝอยของ OCTA ใช้เพื่อตรวจจับและประเมินภาวะขาดเลือดของเม็ดเลือดแดงการผ่าตัดตาการถ่ายภาพด้วยเลเซอร์จอประสาทตา 51, S30–S36 (2020)
He, K. , Zhang, X. , Ren, S. และ Sun, J. การเรียนรู้ที่เหลืออย่างล้ำลึกเพื่อการจดจำภาพในปี 2559 ที่การประชุม IEEE เรื่อง Computer Vision and Pattern Recognition (2016)
ลอเออร์แมน, JL และคณะการประเมินคุณภาพภาพแองจิโอกราฟิก OCT อัตโนมัติโดยใช้อัลกอริธึมการเรียนรู้เชิงลึกซุ้มประตูหลุมฝังศพทางคลินิกประสบการณ์จักษุวิทยา257, 1641–1648 (2019)
ลอเออร์มันน์ เจ. และคณะความชุกของข้อผิดพลาดในการแบ่งส่วนและความผิดปกติของการเคลื่อนไหวใน OCT angiography ขึ้นอยู่กับโรคของจอตาซุ้มประตูหลุมฝังศพทางคลินิกประสบการณ์จักษุวิทยา256, 1807–1816 (2018)
ปาสก์, อดัม และคณะPytorch: ห้องสมุดการเรียนรู้เชิงลึกที่จำเป็นและมีประสิทธิภาพสูงการประมวลผลข้อมูลประสาทขั้นสูงระบบ.32, 8026–8037 (2019)
เติ้งเจและคณะImageNet: ฐานข้อมูลภาพแบบลำดับชั้นขนาดใหญ่การประชุม IEEE ปี 2009 เรื่องคอมพิวเตอร์วิทัศน์และการจดจำรูปแบบ248–255.(2552)
Krizhevsky A. , Sutzkever I. และ Hinton GE Imagenet การจำแนกประเภทโดยใช้โครงข่ายประสาทเทียมแบบลึกการประมวลผลข้อมูลประสาทขั้นสูงระบบ.25, 1 (2012)