← Blog

อ่าน paper ไม่ต้องเริ่มจากหน้าแรก: จดจาก How to Read a Paper ของ S. Keshav

paper สองหน้าที่บอกวิธีอ่าน paper เป็น 3 รอบ ผมจดไว้ตอนเตรียมบทที่ 2 ของโปรเจคจบ พร้อมข้อความจริงจาก paper และคำแปล

ช่วงเตรียมบทที่ 2 ผมเปิด paper แล้วอ่านจากบรรทัดแรกไปจนจบทุกครั้ง หลายชิ้นอ่านไปครึ่งเรื่องแล้วถึงรู้ว่าไม่เกี่ยวกับงานของเรา จนเจอ paper ชื่อ How to Read a Paper ของ S. Keshav จาก University of Waterloo ยาวแค่สองหน้า ประโยคแรกใน abstract ก็ตรงกับที่ผมเป็นอยู่พอดี

Researchers spend a great deal of time reading research papers. However, this skill is rarely taught, leading to much wasted effort.

นักวิจัยใช้เวลามากกับการอ่าน paper แต่ทักษะนี้แทบไม่มีใครสอน จึงเสียแรงไปเยอะ

ข้อเสนอของเขาคืออ่าน paper ไม่เกิน 3 รอบ รอบแรกเอาภาพรวม รอบที่สองเอาเนื้อหาโดยยังไม่ลงรายละเอียด รอบที่สามค่อยเข้าใจให้ลึก แต่ละรอบต่อจากรอบก่อน และหยุดได้ทุกเมื่อถ้าพบว่า paper นั้นไม่ใช่สิ่งที่เราต้องการ

รอบแรก ห้านาทีก็รู้ว่าควรอ่านต่อไหม

รอบแรกใช้ราว 5 ถึง 10 นาที อ่านชื่อเรื่อง abstract กับ introduction อย่างตั้งใจ ไล่ดูหัวข้อใหญ่และหัวข้อย่อยโดยข้ามเนื้อหาข้างใน อ่านบทสรุป แล้วกวาดตาดู references ว่ามีเรื่องไหนที่เราเคยอ่านแล้วบ้าง

พอจบ ให้ลองตอบสิ่งที่ Keshav เรียกว่า five Cs: paper นี้เป็นประเภทไหน (วัดผล วิเคราะห์ระบบที่มีอยู่ หรืออธิบายต้นแบบ) เกี่ยวกับงานไหนและใช้ทฤษฎีอะไร สมมติฐานดูสมเหตุสมผลไหม ผลงานหลักคืออะไร และเขียนดีไหม

ถ้าตอบแล้วพบว่าไม่สนใจ ไม่มีพื้นฐานพอ หรือผู้เขียนตั้งสมมติฐานผิด ก็เลิกอ่านได้เลย เขาบอกว่ารอบแรกพอแล้วสำหรับ paper ที่ไม่ได้อยู่ในสายของเรา ข้อนี้ช่วยผมได้มากที่สุด เพราะ paper ส่วนใหญ่ที่ค้นเจอจบตรงนี้

มีอีกย่อหน้าที่คนเขียนเล่มโปรเจคควรอ่าน เพราะกรรมการก็อ่านเล่มของเราแบบรอบแรกเหมือนกัน

If a reviewer cannot understand the gist after one pass, the paper will likely be rejected; if a reader cannot understand the highlights of the paper after five minutes, the paper will likely never be read.

ถ้าผู้ตรวจจับใจความไม่ได้ในรอบเดียว paper มักถูกปฏิเสธ ถ้าผู้อ่านไม่เห็นจุดเด่นใน 5 นาที paper มักไม่มีใครอ่าน

รอบที่สอง ดูกราฟให้ดี แล้วเล่าให้คนอื่นฟังได้

รอบที่สองอ่านละเอียดขึ้นแต่ยังข้าม proof ใช้เวลาไม่เกินหนึ่งชั่วโมง ระหว่างอ่านให้จดประเด็นหรือเขียนโน้ตข้างกระดาษ และจด references ที่ยังไม่ได้อ่านไว้ตามต่อ ส่วนที่เขาให้ใส่ใจเป็นพิเศษคือรูปและกราฟ

Are the axes properly labeled? Are results shown with error bars, so that conclusions are statistically significant? Common mistakes like these will separate rushed, shoddy work from the truly excellent.

แกนมีป้ายกำกับถูกต้องไหม ผลมี error bar ให้สรุปได้อย่างมีนัยสำคัญทางสถิติไหม ข้อผิดพลาดพวกนี้แยกงานที่ทำรีบๆ ออกจากงานที่ดีจริง

จบรอบนี้ควรเล่าใจความหลักของ paper พร้อมหลักฐานให้คนอื่นฟังได้ ซึ่งพอสำหรับ paper ที่เราสนใจแต่ไม่ได้อยู่ในสายของเราโดยตรง

แล้วถ้าอ่านรอบที่สองแล้วยังไม่เข้าใจล่ะ Keshav ไล่สาเหตุไว้ตรงๆ อาจเป็นเรื่องใหม่ที่มีศัพท์ไม่คุ้น ผู้เขียนใช้เทคนิคที่เราไม่รู้จัก paper เขียนไม่ดี หรือแค่ดึกแล้วเราเหนื่อย ทางเลือกมีสามทาง คือวางไว้แล้วหวังว่าไม่ต้องรู้เรื่องนี้ก็ทำงานได้ กลับมาอ่านใหม่หลังอ่านพื้นฐาน หรืออดทนไปรอบที่สาม ผมชอบที่เขายอมรับว่าความเหนื่อยก็เป็นสาเหตุได้

รอบที่สาม สร้างงานนั้นขึ้นใหม่ในหัว

The key to the third pass is to attempt to virtually re-implement the paper: that is, making the same assumptions as the authors, re-create the work.

หัวใจของรอบที่สามคือลองสร้างงานนั้นขึ้นใหม่ในหัว ใช้สมมติฐานเดียวกับผู้เขียน แล้วทำงานนั้นซ้ำ

เมื่อเทียบงานในหัวกับ paper จริง จะเห็นทั้งสิ่งใหม่ที่ paper เสนอและจุดอ่อนที่ซ่อนอยู่ รอบนี้ต้องตั้งคำถามกับทุกสมมติฐานในทุกประโยค คิดว่าถ้าเป็นเราจะนำเสนอแนวคิดนั้นยังไง และจดไอเดียสำหรับงานต่อไปไว้ด้วย

มือใหม่ใช้ราว 4 ถึง 5 ชั่วโมง คนที่อ่านคล่องแล้วใช้ราว 1 ชั่วโมง จบแล้วควรเรียบเรียงโครงสร้างของ paper ได้จากความจำ และชี้ได้ว่ามีสมมติฐานที่ไม่ได้บอกไว้ งานที่เกี่ยวข้องแต่ไม่ได้อ้างอิง หรือปัญหาในการทดลองตรงไหน สำหรับผม รอบนี้เก็บไว้ใช้กับ paper ไม่กี่ชิ้นที่งานของเราต่อยอดโดยตรง

เอาไปใช้ทำ literature survey

ส่วนท้ายของ paper ตอบคำถามที่ผมมีตอนเริ่มบทที่ 2 คือจะอ่านชิ้นไหนก่อน เขาแนะนำให้ใช้ Google Scholar หรือ CiteSeer กับคำค้นที่เลือกดีๆ หา paper ใหม่ 3 ถึง 5 ชิ้น อ่านรอบแรกแต่ละชิ้น แล้วอ่านส่วน related work ถ้าโชคดีจะเจอ survey paper ซึ่งอ่านชิ้นนั้นก็จบ

ถ้าไม่เจอ ให้ดูรายการอ้างอิงว่ามี citation ไหนซ้ำกันและชื่อผู้เขียนไหนโผล่บ่อย นั่นคือ paper และนักวิจัยหลักของสายนั้น โหลด paper หลักเก็บไว้ แล้วเข้าเว็บของนักวิจัยเหล่านั้นดูว่าช่วงหลังตีพิมพ์ที่ conference ไหน จากนั้นไปดู proceedings ล่าสุดของ conference เหล่านั้น paper ที่เจอรวมกับที่เก็บไว้คือ survey ฉบับแรก

Make two passes through these papers. If they all cite a key paper that you did not find earlier, obtain and read it, iterating as necessary.

อ่าน paper เหล่านี้ 2 รอบ ถ้าทุกชิ้นอ้างถึง paper หลักที่ยังไม่เจอ ให้หามาอ่าน แล้วทำซ้ำจนพอ

Keshav บอกว่าใช้วิธีนี้มา 15 ปี เพราะช่วยกะเวลาที่ต้องใช้กับ paper ชุดหนึ่งได้ และปรับความลึกตามเวลาที่มี สิ่งที่ผมจะลองทำต่อคือ อ่านรอบแรกให้ครบทุกชิ้นก่อน แล้วค่อยเลือกชิ้นที่จะอ่านรอบที่สอง

ที่มา: S. Keshav, “How to Read a Paper,” David R. Cheriton School of Computer Science, University of Waterloo