تحول Coinbase إلى العمليات بقيادة الذكاء الاصطناعي لا يسير على ما يرام

أظهرت Coinbase (Nasdaq: COIN) مرة أخرى لتداولي العملات المشفرة كيف يمكن للأجهزة السحابية البطيئة أن تفسد حتى أسرع بورصة. يبدو أن استراتيجية الشركة للتحول إلى العمليات المدعومة بالذكاء الاصطناعي قد تكون أسوأ خطوة لها حتى الآن.

في يوم الجمعة، قالت الشركة إن فشل التبريد داخل Amazon Web Services (Nasdaq: AMZN) ساعد في triggering انقطاع متعدد الساعات أثر على التداول، والوصول إلى البورصة، وتحديثات الأرصدة عبر منصتها.

بدأت المشكلة في حوالي الساعة 23:50 بتوقيت UTC عندما اكتشفت المراقبة الداخلية انتشاراً واسعاً لفشل الاقتباسات داخل أنظمة الشركة.

في تلك النقطة، تم إنشاء عدة حوادث Sev1 من قبل المهندسين، وكان العملاء قد تأثروا بالفعل من حيث الخدمات مثل التداول الفوري، Coinbase Prime، الدولية، المشتقات، التجزئة، المتقدمة، وبورصات المؤسسات.

كتب براين أرمسترونغ، الرئيس التنفيذي لشركة Coinbase، على X أن شركته "عانت من انقطاع" وأن مثل هذا الحدث "لم يكن مقبولاً أبداً". ووفقاً له، كان السبب وراء ذلك "ارتفاع درجة حرارة غرفة في مركز بيانات AWS بسبب فشل عدة مبردات".

ووفقاً لبريان، تضمن الشركة أن جميع خدماتها مصممة بطريقة لا تنقطع في حالة فشل منطقة توفر AWS واحدة. معظم الخدمات مهيأة بهذه الطريقة، باستثناء البورصة، التي تستخدم بنية تحتية مختلفة بسبب متطلبات زمن الوصول المنخفض العالي.

تلقى Coinbase اللوم على فشل مبردات AWS بينما تبدأ أنظمة الاقتباس في الانهيار قبل منتصف الليل بتوقيت UTC

كان مبلغاً من قبل Cryptopolitan في وقت سابق أن Coinbase تخطط لإنهاء 700 موظف من موظفيها لأن ذلك يمثل حوالي 14% من إجمالي القوى العاملة. ويتم ذلك بهدف استبدال العمليات اليدوية بالذكاء الاصطناعي.

قدم روب ويتوف، الذي يرأس منصة Coinbase، التفاصيل التقنية للمسألة. ووفقاً له، استمر الانقطاع لفترة طويلة وأثر على "التداول، والوصول إلى البورصة، وتحديثات الأرصدة".

جاء التحذير الأولي في الساعة 23:50 بتوقيت UTC بسبب فشل الاقتباسات الناتجة عن الأنظمة الداخلية. تلت ذلك تحليل فوري لحوادث Sev1. ووفقاً لروب، كان سبب هذه المشكلة هو "حدث حراري" في نسبة صغيرة من الرفوف في إحدى المرافق في AWS us-east-1.

كانت هذه البنية للبنية التحتية للبورصة مفيدة. قال روب إن Coinbase تحافظ على بنية التحتية للبورصة في منطقة توفر واحدة، لأن الصناعة تقدر السرعة.

بالإضافة إلى ذلك، لدى الشركة نسخة احتياطية موزعة لهذه البنية التحتية للبورصة في حالة مثل هذه السيناريوهات. لكن فشل جزء من بنية التحتية للبورصة المعنية في الوقت الحالي لم يبقَ ضمن حدوده، مما أطال عملية إصلاح الوضع.

فشل مكونان. كان هناك خلل في الأجهزة أسفل محرك المطابقة. لذلك، قبل أي شيء آخر، كانت هناك حاجة لإجراء عمليات الاستعادة والتحويل إلى النظام الاحتياطي.

أيضاً، انخفضت مجموعة Kafka الموزعة، المكلفة بمشاركة المعلومات عبر جميع الأنظمة داخل المنظمة. استغرق استعادة أقسام Kafka على وسيط عتادي جديد، مما يعادل تيرابايتات من المعلومات.

يعيد المهندسون بناء الإجماع ويعيدون أسواق Coinbase للعمل من خلال إلغاء-only وأوضاع المزاد

كان محرك المطابقة مسؤولاً عن أكبر توقف للتداول. يعالج محرك المطابقة الطلبات ويحافظ على كتب الطلبات. يعمل النظام في مجموعة موزعة ويتطلب إجماعاً قبل اختيار قائد وإجراء تداولات بأمان.

بما أن جميع العقد لم تبقَ سليمة بسبب القيود في مركز البيانات أثناء الانقطاع، لم يتم تحقيق الإجماع، مما منع أنشطة التداول على بورصات التجزئة والمتقدمة والمؤسسات.

ذكر روب أن فرق الدعم الهندسي على مدار الساعة اضطررت إلى تنفيذ إجراءات التعافي من الكوارث الخاصة بالشركة، وإقامة الإجماع، وتقييم صحة النظام في ظل ظروف بنية تحتية صعبة.

ووفقاً له، كان على الفريق تطوير واختبار ونشر وتحليل حل بينما يدير الانقطاع الأوسع. كان Kafka سيتطلب استعادة يدوية واسعة النطاق لأن بنيته المقسمة تدير آلاف التيرابايت يومياً.

كانت هناك بعض المشاكل مع تدفقات الأرصدة المتأخرة لأن Kafka كان متأخراً. stated روب أن هذه المشاكل مع الأرصدة اختفت بعد أن أصبح النسخ متزامناً. ووفقاً لـ Coinbase، لم يتم فقدان أي بيانات.

عندما عاد محرك المطابقة إلى الخدمة، لم يتم تمكين الأسواق في وقت واحد. أولاً، حولت Coinbase جميع المنتجات إلى وضع إلغاء-only، وتحققت من حالات المنتجات، وحوّلت جميع الأسواق إلى وضع المزاد، وأخيراً، مكنّت التداول على Coinbase Exchange.

علاوة على ذلك، شدد روب على أنه لا ينبغي عزل حسابات العملاء مؤقتاً. وأكدت كوينبيس للجميع أن الشركة ستقدم شرحاً مفصلاً لهذا الحادث خلال عدة أسابيع.

ومع ذلك، ردّ جوش إيليثورب على الشائعات بعد قراءة منشور روب على تويتر. وقال: «لم يقم أحد بكتابة كود عشوائي فشل. لم يدفع «غير المبرمج» كود الإنتاج وأوقف محرك التداول. لم يكن الأمر متعمداً. ولم يكن بسبب فشل كوينبيس في تصميم نظام احتياطي. تحدث أشياء في النطاق الواسع، فلا تدعوا المتفرجين من المقاعد الخلفية يخبرونكم بقصص مبالغ فيها.»