ทีมหนึ่งตัดสินใจรันโมเดลภาษาบนเซิร์ฟเวอร์ของตัวเองแทนการเรียก API ภายนอก เหตุผลคือความเป็นส่วนตัว เก็บข้อมูลอ่อนไหวไว้ภายในและไม่ส่งให้บุคคลที่สาม สัญชาตญาณนี้ถูกต้องและการควบคุมที่ได้มาก็เป็นเรื่องจริง แต่ก็ยังไม่ครบถ้วน โมเดลที่ฝึกด้วยข้อมูลส่วนบุคคลสามารถถูกทำให้เปิดเผยได้ว่าเรคคอร์ดของบุคคลใดบุคคลหนึ่งอยู่ในชุดข้อมูลฝึกหรือไม่ อัปเดตแบบ federated ที่ไม่เคยพาข้อมูลดิบไปด้วยก็ยังถูกย้อนกลับเป็นภาพต้นทางได้ โมเดลขนาดใหญ่สามารถจดจำและปล่อยชิ้นส่วนของสิ่งที่ถูกฝึกมาออกมาได้ ข้อมูลอยู่กับบ้าน แต่โมเดลก็ยังรั่วอยู่ดี
ช่องว่างระหว่างการรู้สึกว่าเป็นส่วนตัวกับการเป็นส่วนตัวอย่างพิสูจน์ได้ คือสิ่งที่ privacy-preserving machine learning เข้ามาจัดการ ไปป์ไลน์แมชชีนเลิร์นนิงมาตรฐานต้องการให้โครงสร้างพื้นฐานการฝึกเข้าถึงข้อมูลดิบได้ ซึ่งขัดกับกฎระเบียบด้านความเป็นส่วนตัว ข้อกำหนดอธิปไตยของข้อมูล และพันธมิตรที่ไม่ยอมแบ่งปันชุดข้อมูลเลย privacy-preserving machine learning คือกลุ่มเทคนิคที่คลี่คลายความขัดแย้งนี้
ความแตกต่างที่มีประโยชน์อยู่ระหว่างเทคนิคที่ลดการเคลื่อนย้ายข้อมูล เทคนิคที่จำกัดขอบเขตสิ่งที่ผลลัพธ์เปิดเผยได้ และเทคนิคที่รักษาความลับของข้อมูลระหว่างการประมวลผล การโฮสต์เองอยู่เคียงข้างมาตรการเหล่านี้ ไม่ได้มาแทนที่
เวอร์ชันสั้น
- Privacy-preserving machine learning (PPML) เป็นหมวดหมู่ร่ม ไม่ใช่วิธีเดียว บทความนี้เน้นสี่แนวทางหลัก ได้แก่ federated learning, differential privacy, homomorphic encryption และ secure multi-party computation สถาปัตยกรรมเสริมความเป็นส่วนตัวอื่น ๆ รวมถึง trusted execution environment ก็ปรากฏในระบบ PPML ได้เช่นกัน
- federated learning เพียงลำพังไม่ได้ให้การรับประกันความเป็นส่วนตัวเชิงรูปนัย มันเก็บข้อมูลดิบไว้ที่ต้นทาง แต่ gradient update ที่แชร์ออกไปบางครั้งก็ถูกย้อนกลับเป็นเรคคอร์ดฝึกได้ differential privacy เป็นวิธีที่นิยมใช้เพื่อเพิ่มขอบเขตการรั่วไหลเชิงรูปนัย
- ความแข็งแรงของ differential privacy มักถูกสรุปด้วยค่า epsilon การรับประกันยังขึ้นกับ delta หน่วยที่ถูกปกป้อง และวิธีทำบัญชีความเป็นส่วนตัว การรับประกันเชิงรูปนัยที่ตั้งพารามิเตอร์อ่อนอาจยังเป็นการรับประกันบนกระดาษ แต่เป็นเพียงการแสดงในทางปฏิบัติ
- homomorphic encryption มีอยู่จริงและช้า การคำนวณบนข้อมูลที่เข้ารหัสทำได้จริง แต่ค่าใช้จ่ายส่วนเกินทำให้วันนี้มันจำกัดอยู่กับโมเดลที่ง่ายกว่า การอนุมานที่ทนต่อความหน่วง และเวิร์กโฟลว์ fine-tuning เชิงทดลอง ไม่ใช่การฝึกโมเดลขนาดใหญ่ตามปกติหรือการ pretraining เต็มรูปแบบ
- การโฮสต์โมเดลเองคือการทำ data localization ไม่ใช่ PPML การเก็บข้อมูลไว้บนโครงสร้างพื้นฐานที่คุณควบคุมกำหนดว่าใครเข้าถึงข้อมูลได้ แต่ไม่ได้กำหนดว่าตัวโมเดลเองเปิดเผยอะไรได้บ้าง
หมายเหตุขอบเขต บทความนี้เป็นคำอธิบายเชิงแนวคิด ไม่ใช่คู่มือการติดตั้งใช้งาน ไม่ได้ลงลึกเรื่องการตั้งค่าไลบรารี การเลือกค่า epsilon การปฏิบัติตามกฎระเบียบ หรือการ fine-tune LLM แบบส่วนตัว เป้าหมายที่นี่คือแผนที่ ส่วนคำแนะนำทีละขั้นเป็นเรื่องของคู่มือเฉพาะทาง
Privacy-Preserving Machine Learning ปกป้องข้อมูลอย่างไร
Privacy-preserving machine learning เป็นคำร่มสำหรับวิธีการที่ลด จำกัด หรือกำหนดขอบเขตเชิงรูปนัยให้กับการเปิดเผยข้อมูล ตลอดการฝึกโมเดล การอนุมาน และการวิเคราะห์ร่วมกัน บทความนี้เน้นสี่แนวทางหลัก ได้แก่ federated learning, differential privacy, homomorphic encryption และ secure multi-party computation ทั้งสี่ปกป้องสินทรัพย์ต่างกันภายใต้แบบจำลองภัยคุกคามที่ต่างกัน จึงไม่ควรถือว่าเป็นการรับประกันที่ใช้แทนกันได้
ปัญหานั้นง่าย ไปป์ไลน์ ML มาตรฐานมักตั้งสมมติฐานว่ากระบวนการฝึกเข้าถึงเรคคอร์ดดิบได้ ขณะที่กฎระเบียบด้านความเป็นส่วนตัว ข้อกำหนดอธิปไตยของข้อมูล และข้อตกลงกับพันธมิตร มักห้ามการเข้าถึงนั้น ทั้งสี่ตระกูลตอบข้อจำกัดนี้ต่างกัน ย้ายการคำนวณไปหาข้อมูลแทนที่จะย้ายข้อมูลมาหาการคำนวณ (federated learning) เติมสัญญาณรบกวนที่ปรับเทียบไว้เพื่อให้ผลลัพธ์เปิดเผยเรื่องของบุคคลใดบุคคลหนึ่งน้อยลง (differential privacy) คำนวณบนข้อมูลที่ยังเข้ารหัสอยู่ (homomorphic encryption) หรือให้หลายฝ่ายร่วมกันคำนวณผลลัพธ์โดยไม่เปิดเผยอินพุตดิบให้กันและกัน (secure multi-party computation)
ความเสี่ยงที่เป็นรากฐานถูกระบุไว้อย่างตรงไปตรงมาใน แนวทาง responsible AI ของ Google: โมเดลแมชชีนเลิร์นนิงอาจจดจำหรือเปิดเผยบางแง่มุมของข้อมูลที่มันเคยเห็น และงานด้านความเป็นส่วนตัวมีอยู่เพื่อวางมาตรการป้องกันรอบเรื่องนี้ PPML จัดการกับความเสี่ยงดังกล่าว และแตกต่างจากการทำนิรนามธรรมดา ด้วยเหตุผลที่หัวข้อถัดไปจะทำให้เป็นรูปธรรม
ทำไมการทำนิรนามจึงไม่เพียงพอ
ข้อมูลที่ถูกทำนิรนามแล้วยังถูกระบุตัวตนกลับได้ การตัดชื่อและตัวระบุที่ชัดเจนออกจากชุดข้อมูลช่วยลดการเปิดเผยที่เห็นได้ชัด แต่ไม่รับประกันความเป็นส่วนตัวเมื่อข้อมูลนั้นถูกเชื่อมโยงกับข้อมูลภายนอกได้ นี่คือจุดอ่อนที่เกิดซ้ำของแนวทาง de-identification อย่าง k-anonymity มันลดความสามารถในการระบุตัวตนได้ภายใต้สมมติฐานเฉพาะ แต่ไม่ให้การรับประกันเชิงรูปนัยแบบที่ differential privacy หรือวิธี PPML เชิงวิทยาการเข้ารหัสให้ได้
ความแตกต่างในทางปฏิบัตินี้สำคัญกับใครก็ตามที่เคยได้ยินว่า "เราทำนิรนามแล้ว เลยไม่มีปัญหา" การทำนิรนามเป็นข้ออ้างเกี่ยวกับชุดข้อมูลภายใต้บริบทและแบบจำลองภัยคุกคามหนึ่ง ๆ การโจมตีแบบเชื่อมโยงไม่จำเป็นต้องเจาะการเข้ารหัสหรือหลบเลี่ยงการควบคุมการเข้าถึง มันต้องการเพียงชุดข้อมูลอีกชุดที่ทับซ้อนกับของคุณ ประเด็นนี้ถูกระบุไว้ตรง ๆ ใน แนวทาง de-identification ของ NISTซึ่งระบุว่าข้อมูลที่ถูก de-identify แล้วยังถูกระบุตัวตนกลับได้ด้วยการเชื่อมโยงกับชุดข้อมูลเสริม
differential privacy ให้สิ่งที่ de-identification ธรรมดาให้ไม่ได้ นั่นคือขอบเขตเชิงคณิตศาสตร์ว่าข้อมูลของบุคคลหนึ่งมีผลต่อผลลัพธ์ที่เผยแพร่ได้มากแค่ไหน ภายใต้หน่วยความเป็นส่วนตัวและแบบจำลองภัยคุกคามที่กำหนดไว้ homomorphic encryption และ SMPC ให้ความลับเชิงวิทยาการเข้ารหัสคนละแบบ ขณะที่ federated learning เปลี่ยนเป็นหลักว่าข้อมูลถูกประมวลผลที่ไหน การรับประกันเหล่านี้เกี่ยวข้องกัน แต่ไม่ใช่สิ่งเดียวกัน
federated learning ทำงานอย่างไร และทำไมลำพังจึงไม่พอ
ใน federated learning โมเดลกลางจะถูกส่งออกไปยังอุปกรณ์หรือเซิร์ฟเวอร์ปลายทาง ฝึกกับข้อมูลที่อยู่ตรงนั้น แล้วส่งกลับมายังศูนย์กลางเฉพาะการอัปเดตพารามิเตอร์เท่านั้น ข้อมูลดิบไม่เคยเคลื่อนย้าย นี่เป็นรูปแบบที่มีประโยชน์จริง และใช้งานจริงในระดับใหญ่ และในตัวมันเองก็ไม่ใช่การรับประกันความเป็นส่วนตัว
กลไกคือการนำโมเดลไปหาข้อมูล ไม่ใช่นำข้อมูลมาหาโมเดล การใช้งานจริงของ Gboard จาก Google รันโมเดลภาษาบนอุปกรณ์มากกว่า 30 ตัว ครอบคลุมกว่า 7 ภาษาและกว่า 15 ประเทศ โดยฝึกจากข้อความที่ไม่เคยออกจากโทรศัพท์ นี่คือ federated learning ที่ทำงานได้อย่างที่โฆษณาไว้ คีย์บอร์ดดีขึ้นโดยที่ Google ไม่ได้เก็บสิ่งที่คุณพิมพ์
ปัญหาอยู่ที่สิ่งที่เดินทางไปกับอัปเดต gradient พาข้อมูลเกี่ยวกับข้อมูลที่ผลิตมันขึ้นมาด้วย และข้อมูลนั้นสามารถกู้คืนได้ Zhu, Liu และ Han แสดงเรื่องนี้ไว้ใน Deep Leakage from Gradients (NeurIPS 2019) ซึ่งสาธิตการโจมตีแบบ gradient inversion ที่กู้ตัวอย่างฝึกส่วนบุคคลกลับมาจากอัปเดตโมเดลที่แชร์กัน โดยในการทดลองกู้ภาพได้ตรงระดับพิกเซลและจับคู่ข้อความได้ตรงระดับโทเคน federated learning ลดการเคลื่อนย้ายข้อมูลลง แต่ไม่ได้กำจัดความเสี่ยงการรั่วไหล
ถ้าเป้าหมายคือการจำกัดสิ่งที่การเข้าร่วมจะเปิดเผยได้ differential privacy คือส่วนเสริมที่พบบ่อย ส่วน secure aggregation จัดการความเสี่ยงคนละแบบ โดยซ่อนอัปเดตของไคลเอนต์แต่ละรายจากเซิร์ฟเวอร์ที่ทำหน้าที่ประสาน Gboard ผสม federated learning เข้ากับ differential privacy เชิงรูปนัย แทนที่จะพึ่งการทำ federation อย่างเดียว
หมายเหตุ: federated learning มักถูกอธิบายว่า "เป็นส่วนตัว" เพราะข้อมูลดิบอยู่ที่ต้นทาง คำอธิบายนี้ชวนเข้าใจผิด หากไม่มีการป้องกันเพิ่มเติม อัปเดตแบบ federated อาจพาสัญญาณมากพอที่จะประกอบเรคคอร์ดฝึกกลับขึ้นมาได้ DP-FL เพิ่มการรับประกัน differential privacy เชิงรูปนัย แทนที่จะพึ่ง federation อย่างเดียว การทำ federation ในตัวมันเองเป็นทางเลือกในการจัดการข้อมูล ไม่ใช่ข้อพิสูจน์ความเป็นส่วนตัว
differential privacy คืออะไร และ epsilon ควบคุมอะไรกันแน่
differential privacy คือคำนิยามเชิงคณิตศาสตร์ที่กำหนดขอบเขตว่าผลการวิเคราะห์เปลี่ยนได้มากแค่ไหนเมื่อเพิ่มหรือถอดหน่วยความเป็นส่วนตัวออกหนึ่งหน่วย กลไกจำนวนมากบรรลุการรับประกันนี้ด้วยการเติมความสุ่มที่ปรับเทียบไว้ epsilon เป็นพารามิเตอร์ที่มองเห็นได้ตัวหนึ่ง แต่การรับประกันที่มีความหมายยังขึ้นกับหน่วยความเป็นส่วนตัว ตัวแปรของ DP และพารามิเตอร์เพิ่มเติมอย่าง delta รวมถึงการประกอบกัน การทำบัญชี และรายละเอียดการนำไปใช้จริง
epsilon ถูกอธิบายว่าเป็นงบประมาณความเป็นส่วนตัวใน อภิธานศัพท์ของ NVIDIA: ค่าที่ต่ำกว่าหมายถึงความเป็นส่วนตัวแข็งแรงขึ้นแต่มีสัญญาณรบกวนมากขึ้น ค่าที่สูงกว่ารักษาความแม่นยำไว้โดยแลกกับการรับประกันที่อ่อนลง วิธีที่นิยมใช้ differential privacy ระหว่างการฝึกโมเดล deep learning คือ DP-SGD หรือ stochastic gradient descent แบบ differentially private ตัด gradient ของแต่ละตัวอย่างให้อยู่ในขนาดจำกัด เติมสัญญาณรบกวนแบบเกาส์เซียนที่ปรับเทียบไว้ แล้วจึงรวมกัน การตัดจำกัดว่าตัวอย่างใดตัวอย่างหนึ่งจะมีอิทธิพลต่อโมเดลได้แค่ไหน ส่วนสัญญาณรบกวนบดบังอิทธิพลที่เหลืออยู่
งบประมาณนี้ใช้แล้วหมดไป กลไกนี้ถูกอธิบายไว้ใน เอกสารเรื่องงบประมาณความเป็นส่วนตัวของ Tumult Analytics: ทุกคิวรีที่ยิงไปยังชุดข้อมูลที่ถูกปกป้องจะใช้งบประมาณความเป็นส่วนตัวไปส่วนหนึ่ง ส่วนการที่งบเหล่านั้นสะสมรวมกันอย่างไรคือทฤษฎี differential privacy มาตรฐาน ซึ่งวางไว้ใน The Algorithmic Foundations of Differential Privacy ของ Dwork และ Roth: ภายใต้การประกอบแบบพื้นฐาน คิวรี k ครั้งที่แต่ละครั้งมีพารามิเตอร์ epsilon จะรวมเป็นการสูญเสียความเป็นส่วนตัวทั้งหมดเท่ากับ k คูณ epsilon ส่วนทฤษฎีบทการประกอบขั้นสูงให้ขอบเขตที่แคบกว่า คุณไม่ได้มีคำถามได้ไม่จำกัด คุณมีงบประมาณ และคุณกำลังใช้มันไป
การเลือกพารามิเตอร์จึงเป็นตัวตัดสินว่าการรับประกันนั้นมีความหมายในทางปฏิบัติหรือไม่ มีงาน วิพากษ์แนวทางความเป็นส่วนตัวในแมชชีนเลิร์นนิงที่ผ่านการทบทวนโดยผู้เชี่ยวชาญ โต้แย้งว่าการวางกรอบเชิงคณิตศาสตร์อาจให้ "เปลือกนอกของความเป็นภววิสัย" ที่ถูกนำไปใช้ฟอกโครงการ ตั้งพารามิเตอร์ความเป็นส่วนตัวให้หลวมพอ การรับประกันก็แทบไร้ความหมาย ขณะที่ทีมยังอ้างได้อยู่ว่าทำตาม differential privacy แล้ว การรับประกันนั้นมีจริง ส่วนความแข็งแรงในทางปฏิบัติเป็นเรื่องของการเลือกออกแบบ
หมายเหตุ: การรับประกันแบบ differential privacy จะมีความหมายก็ต่อเมื่อคุณรู้พารามิเตอร์ความเป็นส่วนตัวและหน่วยที่มันปกป้อง epsilon ที่สูงมาก delta ที่หลวม หรือการทำบัญชีที่ไม่ชัดเจน ทำให้การรับประกันที่ถูกต้องทางเทคนิคแทบไม่ให้การป้องกันในทางปฏิบัติเลย การอ่านว่า "ระบบนี้ใช้ differential privacy" แทบไม่บอกอะไรเลยในตัวมันเอง สิ่งที่แบกความหมายไว้คือพารามิเตอร์ความเป็นส่วนตัว สิ่งที่มันถูกวัดครอบคลุม และวิธีที่มันประกอบกัน การนำไปใช้จริงทำให้เรื่องนี้เป็นรูปธรรม Google รายงานค่า epsilon เท่ากับ 1 ในระดับผู้ใช้ สำหรับระบบ Provably Private Insights แต่นั่นคือทางเลือกของการใช้งานหนึ่งสำหรับกรณีหนึ่ง ไม่ใช่ตัวเลขที่จะลอกไปใช้
homomorphic encryption คำนวณบนข้อมูลที่ไม่เคยถอดรหัสได้อย่างไร
fully homomorphic encryption (FHE) ให้เซิร์ฟเวอร์รันการคำนวณบนข้อมูลที่เข้ารหัสอยู่ได้โดยตรง แล้วคืนผลลัพธ์ที่เข้ารหัสไว้ซึ่งมีเพียงเจ้าของข้อมูลเท่านั้นที่ถอดได้ เซิร์ฟเวอร์ทำงานโดยไม่เคยเห็น plaintext เลย นี่คือหนึ่งในเครื่องมือด้านความเป็นส่วนตัวที่แข็งแรงที่สุดในสาขานี้ แต่สิ่งที่ต้องแลกคือประสิทธิภาพ
อุปมาที่ใช้ได้ดีคือกล่องกลัฟบ็อกซ์ที่ล็อกไว้และมีถุงมือติดอยู่ คนทำงานสามารถสอดมือเข้าไปจัดการสิ่งที่อยู่ข้างในได้ โดยไม่เคยเปิดกล่องหรือหยิบของออกมาเลย เจ้าของข้อมูลถือกุญแจเพียงคนเดียว การคำนวณเกิดขึ้นบนสิ่งที่ถูกผนึกไว้ และมีเพียงเจ้าของเท่านั้นที่เปิดกล่องเพื่ออ่านผลลัพธ์ได้ นั่นคือสิ่งที่ FHE ทำในเชิงคณิตศาสตร์ ทำงานบน ciphertext ในลักษณะที่การถอดรหัสผลลัพธ์ให้คำตอบเดียวกับที่การคำนวณบน plaintext จะให้
จุดติดขัดคือต้นทุน Concrete ML จาก Zama แปลงโมเดล scikit-learn และ PyTorch ให้เป็นเวอร์ชันที่เข้ากันได้กับ FHE โดยผู้ใช้ไม่ต้องยุ่งกับ primitive ทางวิทยาการเข้ารหัสโดยตรง และเวอร์ชัน v1.9 ออกเมื่อวันที่ 10 เมษายน 2025 แต่เบนช์มาร์กของโครงการเองแสดงค่าใช้จ่ายส่วนเกินไว้ เครือข่ายจำแนกภาพ CIFAR10 ทำงานภายใต้ FHE ที่ราว 4 นาทีต่อภาพ ตัวเลขนี้โอเคสำหรับการอนุมานบางแบบที่ทนความหน่วงได้ โมเดลที่ง่ายกว่า และการ fine-tune แบบเข้ารหัสเชิงทดลอง แต่ก็ยังไม่ใช่เส้นทางที่ใช้ได้จริงสำหรับการ pretraining โมเดลขนาดใหญ่เต็มรูปแบบ หรือภาระงานฝึกโมเดลขนาดใหญ่ตามปกติ วันนี้ FHE คือเครื่องมือความแม่นยำสำหรับงานกลุ่มแคบ ๆ ไม่ใช่ชั้นความเป็นส่วนตัวอเนกประสงค์
secure multi-party computation ในแมชชีนเลิร์นนิงคืออะไร
secure multi-party computation (SMPC) ให้หลายฝ่ายร่วมกันคำนวณฟังก์ชันบนอินพุตส่วนตัวที่รวมกัน โดยไม่มีฝ่ายใดเห็นข้อมูลดิบของอีกฝ่าย อินพุตของแต่ละฝ่ายยังคงเป็นความลับ มีเพียงผลลัพธ์ที่ตกลงกันเท่านั้นที่ถูกเปิดเผย SMPC สร้างได้ด้วยเทคนิคอย่าง secret sharing, garbled circuit, oblivious transfer และการผสมผสานของสิ่งเหล่านี้ ในโปรโตคอลแบบ secret sharing ค่าส่วนตัวจะถูกแบ่งเป็นส่วน ๆ เพื่อให้ส่วนเดี่ยว ๆ ไม่เปิดเผยอินพุต ส่วนโปรโตคอลแบบ garbled circuit ทำงานต่างออกไป มันเข้ารหัสการคำนวณเพื่อให้ฝ่ายต่าง ๆ ประเมินผลได้โดยไม่ต้องเปิดเผยอินพุตส่วนตัว
กรณีใช้งานตามธรรมชาติคือความร่วมมือข้ามองค์กร โรงพยาบาลหลายแห่งอยากฝึกโมเดลจากข้อมูลผู้ป่วยที่รวมกัน แต่ไม่มีแห่งไหนแบ่งปันเวชระเบียนให้กันได้ตามกฎหมาย SMPC ทำให้พวกเขาคำนวณโมเดลร่วมได้เสมือนข้อมูลถูกรวมกองไว้ ขณะที่เวชระเบียนของแต่ละโรงพยาบาลยังถูกผนึกอยู่ภายในโรงพยาบาลนั้น ค่าใช้จ่ายส่วนเกินของ SMPC ขึ้นกับโปรโตคอล แบบจำลองความมั่นคง สภาพเครือข่าย จำนวนฝ่าย และฟังก์ชันที่ถูกประเมิน อย่างมาก โปรโตคอลจำนวนมากใช้การสื่อสารหนัก ประสิทธิภาพจึงต้องวัดเทียบกับความร่วมมือเฉพาะกรณี แทนที่จะจัดอันดับกว้าง ๆ เทียบกับ differential privacy หรือ FHE รูปแบบนี้ในแมชชีนเลิร์นนิงด้านสุขภาพถูกครอบคลุมไว้ใน บทปริทัศน์ปี 2025 ในวารสาร WIREs Computational Statistics.
โมเดลแมชชีนเลิร์นนิงทำข้อมูลฝึกรั่วได้หรือไม่
ใช่ โมเดลที่ฝึกแล้วสามารถทรยศข้อมูลฝึกของตัวเองได้หลายทางที่แตกต่างกัน membership inference เปิดเผยว่าเรคคอร์ดหนึ่ง ๆ อยู่ในชุดฝึกหรือไม่ model inversion และ gradient leakage สามารถประกอบเรคคอร์ดกลับขึ้นมาได้ และโมเดลภาษาขนาดใหญ่สามารถจดจำและปล่อยชิ้นส่วนของข้อมูลฝึกออกมาแบบคำต่อคำ สิ่งเหล่านี้ไม่ใช่สมมติฐาน แต่เป็นการโจมตีที่มีการสาธิตแล้ว และเป็นเหตุผลที่เทคนิคข้างต้นมีอยู่
ผลงานรากฐานคือ membership inference Shokri และคณะ ในงาน Membership Inference Attacks Against Machine Learning Models (IEEE S&P 2017) แสดงว่าผู้โจมตีที่สังเกตพฤติกรรมการทำนายของโมเดล สามารถระบุได้ว่าเรคคอร์ดหนึ่ง ๆ เคยอยู่ในชุดฝึกหรือไม่ เรื่องนี้ฟังดูนามธรรมจนกระทั่งชุดฝึกคือ "ผู้ป่วยที่ได้รับการวินิจฉัยโรคหนึ่ง ๆ" ตอนนั้นการเป็นสมาชิกเองคือข้อเท็จจริงอ่อนไหว ส่วน model inversion และการโจมตีแบบ gradient leakage ที่กล่าวไปก่อนหน้า ขยายเรื่องนี้จาก "เรคคอร์ดนี้อยู่ไหม" ไปเป็น "ประกอบเรคคอร์ดขึ้นมาใหม่"
แนวหน้าอยู่ที่โมเดลภาษาขนาดใหญ่ และเป็นจุดที่กรอบ PPML รุ่นเก่าเข้ากันได้น้อยที่สุด งานวิจัยเรื่อง LLM ปล่อยข้อมูลฝึกออกมา บันทึกไว้ว่าโมเดลขนาดใหญ่จดจำบางส่วนของคลังข้อมูลฝึกไว้และถูกกระตุ้นให้ผลิตซ้ำออกมาได้ โดยการโจมตีแบบ extraction กู้ข้อมูลฝึกทั้งแบบคำต่อคำและเกือบคำต่อคำได้ DP-SGD นำไปใช้กับการ fine-tune แบบส่วนตัวได้ แต่ต้นทุนด้านความแม่นยำและการประมวลผลที่ระดับโมเดลขนาดใหญ่นั้นหนักมาก ซึ่งเป็นส่วนหนึ่งของเหตุผลที่ว่าทำไม เวิร์กช็อป PPML ปี 2026 ของ Apple จึงจัดสายงานทั้งสายว่าด้วย foundation model กับความเป็นส่วนตัว มาตรการป้องกันที่ได้ผลสะอาดกับตัวจำแนกแบบ logistic regression ไม่ได้ย้ายไปใช้กับโมเดลระดับพันล้านพารามิเตอร์ได้ฟรี ๆ
PPML กับ AI ที่โฮสต์เอง การอนุมานในเครื่องให้อะไรคุณ และไม่ให้อะไรคุณ
การโฮสต์โมเดลเองทำให้ข้อมูลของคุณอยู่บนโครงสร้างพื้นฐานที่คุณควบคุม นั่นคือชัยชนะจริงในแง่การควบคุมการเข้าถึงและการทำ data localization ข้อมูลไม่เดินทางไปยังบุคคลที่สาม และคุณเป็นคนกำหนดว่าใครเข้าถึงเครื่องที่มันรันอยู่ได้ แต่นั่นไม่ใช่ privacy-preserving machine learning การอนุมานในเครื่องไม่ได้ทำอะไรในตัวมันเองเพื่อหยุด membership inference ที่เล่นงานโมเดล และไม่ได้หยุดโมเดลจากการเปิดเผยสิ่งที่มันจดจำไว้
สองอย่างนี้แก้ปัญหาคนละครึ่ง และการเอามาปนกันคือความผิดพลาดที่พบบ่อยในวงการนี้ data localization กำกับว่าใครเข้าถึงข้อมูลได้ เป็นคำถามเรื่องขอบเขต ซึ่งตอบด้วยว่าไบต์อยู่ที่ไหนและใครถือกุญแจห้องนั้น ส่วน PPML กำกับว่าตัวโมเดลเองเปิดเผยอะไรได้ เป็นคำถามเรื่องการรั่วไหลของข้อมูล ซึ่งตอบด้วยสี่เทคนิคข้างต้น การรันโมเดลบนเซิร์ฟเวอร์ของตัวเองเป็นคำตอบที่หนักแน่นสำหรับคำถามแรก และไม่ใช่คำตอบเลยสำหรับคำถามที่สอง
ถ้าคำถามที่คุณกำลังชั่งน้ำหนักคือควรรันโมเดลเองหรือไม่ตั้งแต่แรก ด้านต้นทุนของการตัดสินใจนั้นเป็นบทวิเคราะห์ของตัวมันเอง ดูที่ การ self-host LLM แบบ open-weight vs API การคำนวณต้นทุนจริง.
พัฒนาบน Linux VPS พร้อมสิทธิ์รูท, NVMe และพลัง AMD EPYC
ดูแพ็กเกจ Linuxสำหรับวิศวกรแพลตฟอร์มหรือโครงสร้างพื้นฐาน การอ่านเชิงปฏิบัติการคือแบบนี้ ประโยคที่ว่า "มันรันบนเซิร์ฟเวอร์ของเราเอง" อาจตอบข้อกำหนดด้าน data localization และการควบคุมการเข้าถึงได้บางส่วน แต่ในตัวมันเองไม่ได้จำกัดว่าโมเดลเปิดเผยอะไรได้ ถ้าโมเดลหรือผลลัพธ์ของมันถูกแบ่งปันออกไปเมื่อไร ไม่ว่าข้ามทีม กับพันธมิตร หรือในตัวผลิตภัณฑ์ ขอบเขตที่คุณสร้างล้อมฮาร์ดแวร์ไว้ไม่ได้ตามโมเดลออกไปด้วย ทางเลือกเชิงสถาปัตยกรรมที่ขยับการรับประกันได้จริงคือทางเลือกฝั่ง PPML ใช้ differential privacy กับผลลัพธ์ที่คุณเผยแพร่ ใช้ DP-FL สำหรับการฝึกข้ามไซต์ที่รวมศูนย์ไม่ได้ ใช้การคำนวณบนการเข้ารหัสในที่ที่ข้อมูลเปิดเผยไม่ได้แม้แต่กับโครงสร้างพื้นฐานของคุณเอง การใช้งานจริงของ Provably Private Insights จาก Google นั้นให้บทเรียนตรงที่มันผสมมาตรการหลายอย่างเข้าด้วยกัน ทั้ง differential privacy, trusted execution environment และ confidential federated analytics แทนที่จะพึ่งอย่างใดอย่างหนึ่ง data localization เป็นส่วนหนึ่งของสถาปัตยกรรมจริง แต่ไม่ใช่ทั้งหมดของมัน
ควรใช้เทคนิค PPML ตัวไหนเมื่อไร
ตรรกะการเลือกเดินตามข้อจำกัด ไม่ใช่ตามกระแส ใช้ federated learning เมื่อรวมศูนย์ข้อมูลไม่ได้ ใช้ differential privacy เมื่อคุณต้องการการรับประกันเชิงรูปนัยว่าโมเดลเปิดเผยอะไรได้บ้าง ใช้ homomorphic encryption เมื่อการคำนวณต้องเกิดบนข้อมูลที่ไม่ถูกถอดรหัสเลยและความหน่วงยอมรับได้ ใช้ secure multi-party computation เมื่อหลายฝ่ายต้องคำนวณร่วมกันโดยไม่แบ่งปันอินพุตของตน
เทคนิคเหล่านี้ยังประกอบกันได้ด้วย DP-FL คือตัวอย่างที่ชัดที่สุด เลือกมาตรการตามการรับประกันที่ระบบต้องการ แทนที่จะยัดปัญหาให้เข้ากับเทคนิคใดเทคนิคหนึ่ง
สรุปข้อแลกเปลี่ยนแบบเห็นภาพรวม
| เทคนิค | การรับประกันความเป็นส่วนตัว | ค่าใช้จ่ายด้านการประมวลผล | ข้อมูลดิบถูกประมวลผลที่ไหน | ความเหมาะสมกับการฝึก LLM |
|---|---|---|---|---|
| federated learning | ไม่มี หากไม่ใช้ DP | ต่ำ | ที่ไคลเอนต์แต่ละราย | บางส่วน |
| differential privacy (DP-SGD) | เชิงรูปนัย กำหนดด้วย epsilon และ delta | ต่ำถึงปานกลาง | ขึ้นกับรูปแบบการใช้งาน | ได้ แต่แลกด้วยความแม่นยำและต้นทุนประมวลผล |
| homomorphic encryption (FHE) | ความลับเชิงรูปนัย | สูงมาก | อยู่ในรูปเข้ารหัสบนเซิร์ฟเวอร์ที่คำนวณ | ทำได้แค่ fine-tuning เชิงทดลอง ไม่ใช่การฝึกโมเดลใหญ่เต็มรูปแบบ |
| secure multi-party computation | ความลับเชิงรูปนัย | ขึ้นกับโปรโตคอล มักถูกจำกัดด้วยการสื่อสาร | แต่ละฝ่ายเก็บอินพุตของตนไว้ | บางส่วน |
การอธิบายลักษณะเหล่านี้มาจาก บทปริทัศน์ PPML ที่เน้น IoT เดือนมีนาคม 2026 เบนช์มาร์ก Concrete ML ของ Zama และวรรณกรรมด้านการระบุตัวตนกลับ
ตารางนี้เป็นเพียงจุดตั้งต้น ระบบจริงมักผสมหลายเทคนิคเข้าด้วยกัน ปัญหาการฝึกข้ามไซต์ที่ต้องการการรับประกันความเป็นส่วนตัวเชิงรูปนัยด้วย มักเป็นปัญหาแบบ DP-FL ไม่ใช่การเลือกระหว่าง federated learning กับ differential privacy ผู้อ่านที่อยากจัดโครงสร้างการตัดสินใจให้เข้มงวดกว่านี้ สามารถศึกษาผ่าน กรอบสนับสนุนการตัดสินใจแบบมีโครงสร้างสำหรับนักพัฒนา ซึ่งเผยแพร่ในช่วงปลายปี 2024
ในเรื่องเครื่องมือ TensorFlow Federated ให้เฟรมเวิร์กโอเพนซอร์สสำหรับ federated learning และการคำนวณบนข้อมูลแบบกระจาย TensorFlow Privacy ให้ยูทิลิตีสำหรับการฝึกแบบ differentially private ไลบรารี Differential Privacy ของ Google ครอบคลุมสถิติและการรวมข้อมูลแบบ differentially private ส่วน Concrete ML ให้เส้นทางฝั่ง FHE ขณะที่ PySyft ตอนนี้เน้นกว้างขึ้นไปทาง privacy-preserving remote data science ที่การคำนวณรันกับข้อมูลซึ่งเจ้าของถือไว้ และแบ่งปันเฉพาะผลลัพธ์ที่ได้รับอนุมัติ นี่คือรายชื่อและหน้าที่ของแต่ละตัว ส่วนการติดตั้งใช้งานเป็นเรื่องของคู่มือเฉพาะทาง ไม่ใช่ที่นี่ บทเรียนที่วนกลับมาเสมอคือคณิตศาสตร์อาจถูกต้องในขณะที่การนำไปใช้จริงยังล้มเหลวได้ การรับประกันจะมีความหมายก็ต่อเมื่อระบบถูกออกแบบรอบแบบจำลองภัยคุกคามที่ถูกต้อง และพารามิเตอร์ความเป็นส่วนตัวสอดคล้องกับความเสี่ยงที่ต้องการปกป้อง
คำถามที่พบบ่อย
PPML หมายถึงอะไร
Privacy-preserving machine learning เป็นคำร่มสำหรับวิธีการที่ลด จำกัด หรือกำหนดขอบเขตเชิงรูปนัยให้กับการเปิดเผยข้อมูลระหว่างการทำแมชชีนเลิร์นนิง แนวทางหลักได้แก่ federated learning, differential privacy, homomorphic encryption และ secure multi-party computation แต่ทั้งหมดปกป้องสินทรัพย์ต่างกันและให้การรับประกันคนละชนิด
federated learning เพียงพอต่อการปกป้องความเป็นส่วนตัวหรือไม่
ไม่ federated learning เก็บข้อมูลดิบไว้ที่ต้นทาง แต่การอัปเดตพารามิเตอร์ที่มันแชร์ออกไปสามารถถูกย้อนกลับเป็นเรคคอร์ดฝึกได้ผ่านการโจมตีแบบ gradient inversion ลำพังตัวมันเองไม่ได้ให้การรับประกันความเป็นส่วนตัวเชิงรูปนัยใด ๆ differential privacy สามารถเพิ่มขอบเขตการรั่วไหลเชิงรูปนัยเข้าไปได้ เกิดเป็นการผสมที่มักเรียกกันว่า DP-FL
ควรใช้ค่า epsilon เท่าไรสำหรับ differential privacy
ไม่มีค่าที่ใช้ได้กับทุกกรณี epsilon เป็นหนึ่งในพารามิเตอร์หลักของการแลกเปลี่ยนระหว่างความเป็นส่วนตัวกับความแม่นยำ ค่าที่ต่ำกว่ามักหมายถึงความเป็นส่วนตัวแข็งแรงขึ้นและสัญญาณรบกวนมากขึ้น ขณะที่ค่าที่สูงกว่ามักหมายถึงความเป็นส่วนตัวอ่อนลงและสัญญาณรบกวนน้อยลง การตั้งค่าที่ถูกต้องขึ้นกับความอ่อนไหวของข้อมูลและความเสี่ยงที่คุณรับได้ ไม่มีเส้นแบ่งสากลที่ทำให้ค่า epsilon ใด "ปลอดภัย" จงประเมิน epsilon ควบคู่กับหน่วยความเป็นส่วนตัว ตัวแปรของ DP และพารามิเตอร์เพิ่มเติมอย่าง delta วิธีประกอบกัน และแบบจำลองภัยคุกคามของระบบ
PPML ต่างจากการทำนิรนามอย่างไร
การทำนิรนามคือการตัดตัวระบุตัวตนออกจากชุดข้อมูล แต่เรคคอร์ดที่ทำนิรนามแล้วยังถูกระบุตัวตนกลับได้ด้วยการเชื่อมโยงกับข้อมูลเสริมจากแหล่งอื่น เทคนิค PPML บางตัวให้การรับประกันเชิงรูปนัยที่การทำนิรนามทั่วไปให้ไม่ได้ differential privacy สามารถกำหนดขอบเขตว่าข้อมูลของบุคคลหนึ่งมีผลต่อผลลัพธ์ที่เผยแพร่มากแค่ไหน ขณะที่ FHE และ SMPC ให้ความลับเชิงวิทยาการเข้ารหัสในรูปแบบที่ต่างออกไป
สามารถดึงข้อมูลฝึกออกจากโมเดลแมชชีนเลิร์นนิงได้หรือไม่
ได้ การโจมตีแบบ membership inference เปิดเผยว่าเรคคอร์ดหนึ่ง ๆ อยู่ในชุดฝึกหรือไม่ model inversion และ gradient leakage สามารถประกอบเรคคอร์ดกลับขึ้นมาได้ และโมเดลภาษาขนาดใหญ่สามารถจดจำและปล่อยข้อมูลฝึกออกมาแบบคำต่อคำ ทั้งหมดนี้เป็นการโจมตีที่มีการสาธิตและบันทึกไว้ในวรรณกรรมด้านความมั่นคง ไม่ใช่ความเสี่ยงเชิงสมมติ
การโฮสต์โมเดลเองรับประกันความเป็นส่วนตัวของข้อมูลหรือไม่
ไม่ การโฮสต์เองทำให้ข้อมูลอยู่บนโครงสร้างพื้นฐานที่คุณควบคุม ซึ่งคือการควบคุมการเข้าถึงและการทำ data localization และเป็นชัยชนะจริงในการกำกับว่าใครเข้าถึงข้อมูลได้ แต่มันไม่ใช่ privacy-preserving machine learning และไม่ได้หยุด membership inference หรือการรั่วไหลจากการจดจำ มันเข้ากันได้ดีกับเทคนิค PPML แต่ไม่ได้มาแทนที่
มีเครื่องมือโอเพนซอร์สอะไรบ้างสำหรับ privacy-preserving machine learning
มีเครื่องมือโอเพนซอร์สหลายตัวที่ครอบคลุมส่วนต่าง ๆ ของ PPML TensorFlow Federated รองรับ federated learning และการคำนวณบนข้อมูลแบบกระจาย TensorFlow Privacy ให้ยูทิลิตีการฝึกแบบ differentially private และ Concrete ML ครอบคลุมแมชชีนเลิร์นนิงด้วย FHE ส่วน PySyft ตอนนี้เน้นไปที่ privacy-preserving remote data science ที่การคำนวณรันกับข้อมูลซึ่งอยู่ในความควบคุมของเจ้าของ และแบ่งปันเฉพาะผลลัพธ์ที่ได้รับอนุมัติ
