क्या उचित है?
यह एक सरल प्रश्न लगता है, लेकिन यह सरल उत्तरों के बिना एक है। यह कृत्रिम बुद्धिमत्ता (एआई) के रहस्यमय दुनिया में विशेष रूप से सच है, जहां पूर्वाग्रह से मुक्त निर्णय लेने वाले स्मार्ट, भावनाहीन मशीनों की धारणा तेजी से लुप्त हो रही है।
शायद उस धारणा का सबसे सार्वजनिक रूप से 2016 प्रोपोब्ला जांच के साथ आया था, जिसमें निष्कर्ष निकाला गया था कि एक दोषी अपराधी द्वारा अपराध करने की संभावना निर्धारित करने के लिए जजों द्वारा उपयोग किए जाने वाले डेटा का उपयोग करके यह निर्धारित किया जाता है कि अल्पसंख्यकों के खिलाफ पक्षपातपूर्ण अपराध अधिक होते हैं। नॉर्थपॉइंट, जिस कंपनी ने एल्गोरिदम बनाया, जिसे COMPAS के रूप में जाना जाता है, ने परिणामों की ProPublica की व्याख्या को विवादित किया, लेकिन टकराव ने बहस और विश्लेषण दोनों को छिड़ दिया कि स्मार्ट मशीनों पर भी कितना भरोसा किया जाना चाहिए।
"यह वास्तव में एक गर्म विषय है - आप एल्गोरिदम को निष्पक्ष और विश्वसनीय कैसे बना सकते हैं, " डैनियल नील कहते हैं। "यह एक महत्वपूर्ण मुद्दा है।"
नील अब खुद को उस चर्चा के बीच में पाता है। कार्नेगी मेलन विश्वविद्यालय के एक कंप्यूटर वैज्ञानिक, वह और एक अन्य शोधकर्ता, विल गोर्र, ने कई साल पहले क्राइमस्कैन नामक एक अपराध-भविष्यवाणी सॉफ्टवेयर उपकरण विकसित किया था। उनकी मूल अवधारणा यह थी कि कुछ मायनों में हिंसक अपराध एक संचारी रोग की तरह है, कि यह भौगोलिक समूहों में टूट जाता है। उन्हें यह भी विश्वास था कि कम अपराध अधिक हिंसक लोगों का एक अग्रदूत हो सकता है, इसलिए उन्होंने "प्रमुख संकेतक" डेटा की एक विस्तृत श्रृंखला का उपयोग करके एक एल्गोरिथ्म का निर्माण किया, जिसमें अपराधों की रिपोर्टें शामिल हैं, जैसे कि साधारण हमले, बर्बरता और अव्यवस्था आचरण, और 911 ऐसी चीजों के बारे में कॉल करता है जैसे शॉट फायर किया गया हो या किसी हथियार से देखा गया व्यक्ति हो। कार्यक्रम में मौसमी और सप्ताह के रुझानों के दिन, साथ ही गंभीर हिंसक अपराधों की अल्पकालिक और दीर्घकालिक दरें शामिल हैं।
आग लगने से पहले स्पार्क ट्रैक करने का विचार है। "हम अधिक छोटे अपराधों को देखते हैं, " नील कहते हैं। "सरल हमले बढ़े हुए हमलों को कठोर कर सकते हैं। या आपके पास दो गिरोहों के बीच हिंसा का एक बड़ा पैटर्न हो सकता है। ”
कब और कहां की भविष्यवाणी
क्राइमस्कैन पहला सॉफ्टवेयर नहीं है जिसे भविष्य कहनेवाला पुलिसिंग के रूप में जाना जाता है। प्रेडपोल नामक एक कार्यक्रम लॉस एंजिल्स पुलिस विभाग के साथ काम करने वाले यूसीएलए वैज्ञानिकों द्वारा आठ साल पहले बनाया गया था, यह देखने के लक्ष्य के साथ कि अपराध डेटा का वैज्ञानिक विश्लेषण कैसे आपराधिक व्यवहार के स्पॉट पैटर्न में मदद कर सकता है। अब देश भर के 60 से अधिक पुलिस विभागों द्वारा उपयोग किया जाता है, प्रिडपोल एक ऐसे क्षेत्र में क्षेत्रों की पहचान करता है जहां एक विशेष अवधि के दौरान गंभीर अपराध होने की संभावना होती है।
कंपनी का दावा है कि उसके शोध ने मानव विश्लेषकों के रूप में सॉफ्टवेयर को दो बार सटीक पाया है जब यह भविष्यवाणी करने के लिए आता है कि अपराध कहां होंगे। हालांकि, किसी भी स्वतंत्र अध्ययन ने उन परिणामों की पुष्टि नहीं की है।
प्रेडपोल और क्राइमस्कैन दोनों अपने अनुमानों को सीमित करते हैं जहां अपराध हो सकते हैं, और भविष्यवाणी करने के अगले चरण को लेने से बचें जो उन्हें प्रतिबद्ध कर सकते हैं - एक विवादास्पद दृष्टिकोण जो कि शिकागो शहर ने लोगों की "सामरिक विषय सूची" के आसपास बनाया है। भविष्य की शूटिंग में, या तो एक शूटर या शिकार के रूप में।
अमेरिकन सिविल लिबर्टीज यूनियन [एसीएलयू], ब्रेनन सेंटर फॉर जस्टिस और विभिन्न नागरिक अधिकार संगठनों ने सभी पक्षपात के जोखिमों के बारे में सवाल उठाए हैं। पुलिस प्रथाओं से ऐतिहासिक डेटा, आलोचकों का तर्क है, एक फीडबैक लूप बना सकते हैं जिसके माध्यम से एल्गोरिदम निर्णय लेते हैं जो दोनों को प्रतिबिंबित करते हैं और उन दृष्टिकोणों को सुदृढ़ करते हैं जिनके बारे में "बुरे" हैं और जो "अच्छे हैं।" इसीलिए एआई मुख्य रूप से गिरफ्तार डेटा पर आधारित उच्चतर होता है। पूर्वाग्रह का जोखिम - यह पुलिस के फैसलों से अधिक प्रतिबिंबित होता है, जैसा कि वास्तविक रिपोर्ट किए गए अपराधों के विपरीत है। उदाहरण के लिए, क्राइमस्कैन, अपराधों का पूर्वानुमान लगाने की कोशिश से दूर रहता है, जैसा कि नील ने कहा है, "आप केवल खोजने जा रहे हैं यदि आप उन्हें ढूंढते हैं।"
"मैं यह नहीं कह सकता कि हम पूर्वाग्रह से मुक्त हैं, " नील कहते हैं, "लेकिन यह निश्चित रूप से कम है अगर हम नशीली दवाओं के निदान की कोशिश कर रहे थे।"
फिर फीडबैक लूप का दूसरा पक्ष है। यदि एक पूर्वानुमान उपकरण एक निश्चित पड़ोस में अपराधों की अपेक्षाओं को बढ़ाता है, तो क्या वहां गश्त करने वाली पुलिस गिरफ्तारी करने में अधिक आक्रामक होगी?
"एक वास्तविक खतरा है, किसी भी तरह के डेटा-चालित पुलिसिंग के साथ, यह भूल जाने के लिए कि समीकरण के दोनों किनारों पर मानव हैं, " एंड्रयू फर्ग्यूसन, कोलंबिया जिले के कानून के प्रोफेसर और लेखक के नोट्स। पुस्तक, द राइज़ ऑफ़ बिग डेटा पुलिसिंग: निगरानी, दौड़ और भविष्य का कानून प्रवर्तन। “अधिकारियों को इन विचारों का अनुवाद करने में सक्षम होना चाहिए जो सुझाव देते हैं कि विभिन्न पड़ोस में अलग-अलग खतरे के स्कोर हैं। और, आपके सामने मानव के बजाय संख्याओं पर ध्यान केंद्रित करने से आपके संबंध उनके प्रति बदल जाते हैं। ”
ब्लैक बॉक्स के अंदर
वास्तविकता यह है कि कृत्रिम बुद्धिमत्ता अब एक भूमिका निभाती है - भले ही पृष्ठभूमि में अक्सर - दैनिक जीवन को प्रभावित करने वाले कई फैसलों में- कंपनियों की मदद करने से लेकर शिक्षकों के मूल्यांकन के लिए क्रेडिट स्कोर स्थापित करने के लिए किसे नियुक्त करना है। आश्चर्य की बात नहीं है, कि मशीन लर्निंग एल्गोरिदम कैसे बनाया जाता है, के सार्वजनिक जांच को तेज कर दिया है, जो अनपेक्षित परिणाम वे पैदा करते हैं, और वे आम तौर पर बहुत समीक्षा के अधीन क्यों नहीं हैं।
शुरुआत के लिए, अधिकांश सॉफ्टवेयर मालिकाना है, इसलिए एल्गोरिदम कैसे कार्य करता है, इसके पीछे थोड़ी पारदर्शिता है। और, जैसे-जैसे मशीन लर्निंग अधिक परिष्कृत होती जाती है, वैसे इंजीनियरों के लिए भी मुश्किल होती जा रही है, जिन्होंने अपने द्वारा चुने गए विकल्पों की व्याख्या करने के लिए AI सिस्टम बनाया। थोड़ा जवाबदेही के साथ यह अपारदर्शी निर्णय लेने का परिणाम है, जिसे "ब्लैक बॉक्स" एल्गोरिदम के रूप में जाना जाता है।
एआई नाउ इंस्टीट्यूट के सह-संस्थापक, मेरेडिथ व्हिटेकर, न्यूयॉर्क विश्वविद्यालय का एक शोध संगठन, जो समाज में एआई के प्रभाव पर ध्यान केंद्रित करता है, कहते हैं, "जनता को कभी भी ऑडिट या बहस करने का मौका नहीं मिलता है।" "और, डेटा और लॉजिक्स जो कि किए गए पूर्वानुमानों को नियंत्रित करते हैं, अक्सर उन लोगों के लिए भी अज्ञात होते हैं जो उनका उपयोग करते हैं, उन लोगों को अकेले करते हैं जिनके जीवन प्रभावित होते हैं।"
पिछली बार जारी की गई एक रिपोर्ट में, एआई नाउ इतनी दूर चला गया था कि यह सिफारिश करने के लिए कि आपराधिक न्याय, स्वास्थ्य देखभाल, कल्याण और शिक्षा जैसे मामलों के लिए जिम्मेदार कोई भी सार्वजनिक एजेंसी ब्लैक बॉक्स एआई सिस्टम का उपयोग न करें। एआई नाउ के अनुसार, सॉफ्टवेयर बनाए जाने पर शायद ही कभी कानूनी और नैतिक मुद्दों पर अधिक ध्यान दिया जाता है।
"जैसा कि आप एक गहरे तंत्रिका नेटवर्क के निर्माण के लिए एक न्यायाधीश पर भरोसा नहीं करेंगे, हमें यह मानकर चलना बंद कर देना चाहिए कि आपराधिक न्याय जैसे डोमेन में जटिल निर्णय लेने के लिए इंजीनियरिंग की डिग्री पर्याप्त है, " व्हिटकर कहते हैं।
एक अन्य संगठन, सेंटर फॉर डेमोक्रेसी एंड टेक्नोलॉजी ने इंजीनियरों और कंप्यूटर वैज्ञानिकों को उचित और निष्पक्ष परिणाम देने वाले एल्गोरिदम बनाने में मदद करने के लिए एक "डिजिटल निर्णय" उपकरण उत्पन्न किया है। यह उपकरण बहुत सारे सवाल पूछता है जिसका अर्थ है कि उन्हें अपनी मान्यताओं को तौलना और अप्रत्याशित तरंग प्रभावों की पहचान करना है।
नताशा डुटर्टे कहती हैं, "हम लोगों को इस बात पर सोचने के लिए एक ठोस शुरुआत देना चाहते थे कि उनका डेटा कितना प्रतिनिधि है, लोगों के किस समूह को छोड़ा जा सकता है, और क्या उनके मॉडल के आउटपुट अनपेक्षित नकारात्मक परिणाम होने वाले हैं।" परियोजना।
कौन जवाबदेह है?
हालांकि, डेवलपर्स को उनके एल्गोरिदम के संभावित नतीजों के बारे में अधिक जानकारी देने के लिए एक धक्का दिया गया है, दूसरों का कहना है कि एआई पर भरोसा करने वाली सार्वजनिक एजेंसियों और कंपनियों को भी जवाबदेह होने की आवश्यकता है।
“एक प्रणाली को समझने वाले डिजाइनरों पर यह जोर है। लेकिन यह व्यवस्था को लागू करने और लागू करने वाले लोगों के बारे में भी है, ”न्यूयॉर्क विश्वविद्यालय में कानून के प्रोफेसर जेसन शुल्त्स कहते हैं, जो कानूनी और नीतिगत मुद्दों पर एआई नाउ संस्थान के साथ काम करता है। "यही वह जगह है जहां रबर जवाबदेही में सड़क को पूरा करता है। एआई का उपयोग करने वाली एक सरकारी एजेंसी की सबसे अधिक जिम्मेदारी है और उन्हें इसे भी समझने की आवश्यकता है। यदि आप प्रौद्योगिकी को समझ नहीं सकते हैं, तो आपको इसका उपयोग करने में सक्षम नहीं होना चाहिए।"
उस अंत तक, एआई नाउ "एल्गोरिथम प्रभाव आकलन" के उपयोग को बढ़ावा दे रहा है, जिसके लिए सार्वजनिक एजेंसियों को उन प्रणालियों का खुलासा करने की आवश्यकता होगी, और बाहरी शोधकर्ताओं को संभावित समस्याओं के लिए उनका विश्लेषण करने की अनुमति दें। जब यह पुलिस विभागों की बात आती है, तो कुछ कानूनी विशेषज्ञ सोचते हैं कि उनके लिए यह स्पष्ट रूप से महत्वपूर्ण है कि वे प्रौद्योगिकी का उपयोग कैसे कर रहे हैं और स्थानीय समुदाय के साथ साझा करने के लिए तैयार हैं।
"अगर इन प्रणालियों को जवाबदेही, निष्पक्षता और उचित प्रक्रिया के दृष्टिकोण से डिज़ाइन किया गया है, तो सिस्टम को लागू करने वाले व्यक्ति को यह समझना होगा कि उनके पास एक जिम्मेदारी है, " शुल्त्स कहते हैं। "और जब हम डिजाइन करते हैं कि हम इन्हें कैसे लागू करने जा रहे हैं, तो पहले प्रश्नों में से एक है 'यह पुलिस मैनुअल में कहां जाता है?" यदि आप पुलिस मैनुअल में कहीं ऐसा नहीं करने जा रहे हैं, तो आइए एक कदम वापस लेते हैं, लोग। "
एंड्रयू फर्ग्यूसन को एक "निगरानी शिखर सम्मेलन" के रूप में संदर्भित करने की आवश्यकता दिखाई देती है।
"साल में कम से कम एक बार हर स्थानीय क्षेत्राधिकार में पुलिस प्रौद्योगिकी के लिए एक जवाबदेही क्षण होना चाहिए, " वे कहते हैं। “पुलिस प्रमुख, महापौर या शायद नगर परिषद के प्रमुख को समुदाय को यह समझाना होगा कि वे निगरानी और प्रौद्योगिकी के मामले में करदाता डॉलर का क्या उपयोग कर रहे हैं, उन्हें क्यों लगता है कि यह पैसे का अच्छा उपयोग है, वे क्या करते हैं 'यह ऑडिट करने और डेटा की सुरक्षा करने के लिए कर रहे हैं, गोपनीयता के निहितार्थ क्या हैं। और समुदाय सवाल पूछने के लिए वहाँ होगा। ”
क्राइमस्कैन के निर्माता, डैनियल नील का कहना है कि वह एआई परिणामों के नियमित ऑडिट के विचार पर कोई आपत्ति नहीं करेंगे, हालांकि उनके पास इस बारे में आरक्षण है कि एल्गोरिथम पर्याप्त रूप से फ़ील्ड-परीक्षण से पहले किया जा रहा है। वह वर्तमान में क्राइमस्कैन परीक्षण पर पिट्सबर्ग ब्यूरो ऑफ पुलिस के साथ काम कर रहा है, और कम से कम शुरू में "अनुमानित हॉट स्पॉट के लिए सही गश्ती तीव्रता प्राप्त करने" के साथ एक चुनौती थी।
यह एक सीखने की प्रक्रिया है, वह कहते हैं, क्राइमस्कैन को अनुकूलित करने के लिए ताकि सड़क के स्तर पर पुलिस अधिकारियों का मानना है कि यह मददगार है। "हमें यह दिखाने की जरूरत है कि न केवल हम अपराध की भविष्यवाणी कर सकते हैं, बल्कि यह भी कि हम वास्तव में इसे रोक सकते हैं, " नील नोट करते हैं। "यदि आप सिर्फ दीवार पर उपकरण फेंकते हैं और सबसे अच्छे के लिए आशा करते हैं, तो यह कभी भी अच्छी तरह से काम नहीं करता है।"
वह एक एल्गोरिथ्म के लिए बहुत ज्यादा डिफ्रेंसिंग के जोखिम को भी स्वीकार करता है।
"एक उपकरण पुलिस अधिकारियों को अच्छे निर्णय लेने में मदद कर सकता है, " वे कहते हैं। "मुझे नहीं लगता कि मशीनों को निर्णय लेना चाहिए। उन्हें निर्णय समर्थन के लिए इस्तेमाल किया जाना चाहिए। ”
नील कहते हैं, "मैं समझता हूँ कि, व्यवहार में, यह कुछ ऐसा नहीं है जो हर समय होता है।"
