サービス停止の更新と計画されたアップグレード

12 月 10 日金曜日、サービス中断が発生し、取引所が 10 時間停止しました。その停止期間中、すべてのお客様の資金は安全に保たれました。取引および保管プラットフォームの維持に加えて、システム容量と拡張性を向上させるために、バックエンドの取引所プラットフォームのアップグレードに並行して取り組んできました。これには、取引所を 24 時間 365 日運営し続けながら、調整されたスケジュールで 79 の取引ペアを新しいプラットフォームに移行する作業が含まれます。

この投稿では、最近のサービス中断に関する追加情報と、一連のアップグレードを通じて取引所の信頼性とパフォーマンスをどのように改善しているかについて説明します。

事件概要

金曜日に予定されていた BTC/USD と ETH/USD の新プラットフォームへの最終移行の前に、このシステムが依存するメッセージングインフラストラクチャに障害が発生しました。

このメッセージングシステムは、分散型交換プラットフォーム内で高速かつ大容量で信頼性の高いメッセージ配信を担っています。マルチノードで、一般的にフォールトトレラントです。通常、このメッセージングインフラストラクチャは、それに依存するアプリケーションに対して強力な信頼性保証を可能にします。このメッセージングプラットフォームを構成する 3 つのノードすべてが、同じ例外で同時に障害を起こしました。メッセージングシステムは自動的に再起動しましたが、多くの内部メッセージコンシューマーとプロデューサーは手動による介入を必要としました。影響を受けたシステムを再起動した後、システムとメッセージングシステムのやり取りが原因で、メッセージングシステムのエラーが一部のダウンストリームシステムの状態の相違を引き起こしたことが判明しました。

このインシデントは、Gemini が注文フローを取引所マッチングエンジンのアップグレードバージョンに移行しているときに発生したため、実稼働サービスを再開する前の状態調整プロセスでは、2 つの取引システム間で状態を調整する必要がありました。状態調整が完了し、すべてのサービスが安定した後、最初に ActiveTrader と API 接続を制限のみモードで有効にし、次にモバイルと小売 Web を再度有効にすることで、市場が復元されました。

インシデントのフォローアップ

今後、カオスエンジニアリングアプローチをサポートするために、テスト環境でこの障害モードの再現性を確保し、取引プラットフォームを改善して、この種のサブシステムの中断から適切に機能低下して回復できるようにします。この障害モードをより頻繁にテストすることで、システムがこの課題や同様の課題に適切に対処できることを確信できます。

パフォーマンスとスケーラビリティの向上

弊社は、コア取引所取引プラットフォームへの追加の計画されたアップグレードに非常に期待しています。以下でプレビューし、今後の投稿で詳細をお知らせします。新しいシステムでは、取引所の高スループット、低レイテンシのメッセージングドメインを汎用ストア/フォワードドメインから分離するなどのメッセージングの改善を含む、複数のアーキテクチャの改善が導入されています。

事件ブログ投稿画像

スケーラブルな交換アーキテクチャ

システムのこの部分で、注文の配置や注文のキャンセルなど、遅延の影響を受けやすい取引操作に関連するメッセージトラフィックを分離することにより、取引所のパフォーマンスの向上を確認できます。これについては、以下で詳しく説明します。

アップグレードされた取引所システムの開発プロセスにおいて、取引所の複数のパフォーマンス特性を測定するツールを開発しました。これには、内部注文ゲートウェイによって観測される往復時間を測定できるアプリケーションが含まれており、単一の注文パイプラインのレイテンシ分布を大まかに把握できます。

以下に、新しいバックエンド取引プラットフォームでの注文配置のレイテンシープロファイルを示します。これは、単純な注文配置と約定フローを表しています。今後、より詳細なレイテンシー分析を共有する予定です。観察された結果は、取引プラットフォームを水平に拡張する機能が追加されたことに加えて、レイテンシーとスループットが桁違いに改善されたことを示しています。

チャート