AI QA टेस्टिंग: सिर्फ लक्षण नहीं, बग रीप्रोड्यूस करें और कारण बताएं

स्क्रीनशॉट डायग्नोसिस नहीं है

विज़ुअल टेस्टिंग बताती है कि एक बटन फेल हुआ। यह शायद ही बताती है क्यों। काम की बात इसके करीब है: "क्लिक हुआ, /api/checkout ने 2.1 सेकंड बाद 500 लौटाया, और यह कंसोल स्टैक फेल होते हैंडलर की ओर इशारा करता है", न कि "चेकआउट पेज गलत दिख रहा है"।

इसके लिए तीन चीज़ों को मिलाना पड़ता है जिन्हें कोई इंसान आमतौर पर अलग-अलग जांचता है: पेज ने क्या किया, कंसोल ने क्या कहा, और नेटवर्क क्या दिखाता है।

• लॉगिन, चेकआउट, अपलोड या फॉर्म फ्लो को शुरू से आखिर तक रीप्रोड्यूस करें
• ट्रांसक्रिप्ट को भरे बिना कंसोल एरर और दोहराई गई चेतावनियां पढ़ें
• रिक्वेस्ट स्टेटस, टाइमिंग और हेडर जांचें, संवेदनशील वैल्यू छिपाकर
• पूरा वॉटरफॉल दिखाने के बजाय संभावित परफॉर्मेंस कारणों को रैंक करें

यह किसकी जगह नहीं लेता

एजेंट डिटर्मिनिस्टिक रिग्रेशन टेस्ट का विकल्प नहीं हैं। जिस टेस्ट को हर कमिट पर वही नतीजा देना है, उसे स्क्रिप्ट और पिन किया जाना चाहिए। एजेंट वहां इस्तेमाल करें जहां वैरायटी ही मुद्दा है: एक्सप्लोरेटरी पास, वन-ऑफ रीप्रोडक्शन, और किसी फेलियर को समझाना जिसे बाद में कोई इंसान ठीक करे।

ब्राउज़र के फ़र्क छिपाए नहीं, बताए जाते हैं

Chromium ब्राउज़र एक डिबगिंग प्रोटोकॉल देते हैं जो Firefox नहीं देता, इसलिए रिस्पॉन्स बॉडी और कुछ परफॉर्मेंस मेज़रमेंट Chrome, Edge और दूसरे Chromium ब्राउज़र में मिलते हैं पर Firefox में नहीं। Melaya उस फ़र्क को साफ़ बताता है, अधूरी रिपोर्ट को पूरी बताकर पेश नहीं करता।