クイックダウンロード:
シャードの割り当てやレコードの順序を損なうことなく、AWS Kinesis 全体に OpenTelemetry トレースコンテキストを伝播させることができます。
-
KinesisはPartitionKeyのMD5ハッシュからシャードの配置を決定するため、PartitionKeyにtraceparentを含めるようにオーバーロードすると、レコードが意図しないシャードに移動されます。
-
ExplicitHashKey パラメータはハッシュ処理を上書きし、シャードの配置を直接設定できるようにします。
-
ハッシュキーを自分で計算します Int128(MD5(PartitionKey))、 置く トレースペアレント in パーティションキーレコードは元のシャードにルーティングされ、トレースはそのまま維持されます。
-
この機能を実装する前に、OpenTelemetryを使用してKinesisのプロデューサーとコンシューマーを計測し、シャードの割り当てが元のPartitionKeyと照合されていることを確認してください。
AWS Kinesis での OpenTelemetry を使用したトレースに関するシリーズの続きとして、この記事では、 パート2。 そこで私たちはキネシスを使用しました パーティションキー OpenTelemetryを普及させる トレースペアレント 非同期境界を越えて。トレースの連続性は維持されるが、Kinesis がハッシュ化するため、シャードの割り当ても変更される。 パーティションキー どのシャードが各レコードを受け取るかを決定する。
分散トレーシングは、トレースコンテキストがサービス間のすべてのホップで維持される場合にのみ機能します。しかし、AWS Kinesisのような非同期トランスポートでは、トレース親ヘッダーを渡す明確な場所がないままレコードがプロデューサーからコンシューマーに移動するため、これは言うほど簡単ではありません。一般的な回避策では、シャードの割り当てが変更され、多くのアプリケーションが依存している順序保証が損なわれる可能性もあります。OpenTelemetryを使用するチームにとって、Kinesis全体でトレースコンテキストを維持することが、キュー境界でトレースの連続性が途切れることなく、エンドツーエンドのトレースを完全かつ信頼できるものにする鍵となります。
この記事では、PartitionKeyとExplicitHashKeyを組み合わせることで、トレースの連続性と元のシャード割り当ての両方を維持し、レコードの順序を損なうことなく、分散トレースを非同期のKinesisワークフローにまたがって実行できることを示します。
2回目の試みと解決策:「PartitionKey」を介してトレースコンテキストを伝播するが、「ExplicitHashKey」パラメータを使用してパーティションを分割する
最初の試みでは、PartitionKey パラメータを使用してトレース親を伝播することに成功しましたが、その過程でイベントの正しいパーティション割り当てが損なわれてしまいました。そこで、PartitionKey パラメータを使用してトレース親を伝播する際に、ユーザーが指定した元の PartitionKey 値に従ってイベントが正しいシャードに割り当てられるようにするにはどうすればよいでしょうか? ここでの答えは 明示的なハッシュキー パラメータに一致する最初のデバイスのリモートコントロール URL を返します。 しかし、解決策に入る前に、AWS Kinesis サービスにおけるキースペースのパーティショニングについて見ていきましょう。
レコードをシャードに分割する際に PartitionKey がどのように使用されるかについての説明を以下に示します。 AWS Kinesis API リファレンスドキュメント:
パーティションキーは、Kinesis Data Streams がデータをシャード間で分散するために使用されます。Kinesis Data Streams は、ストリームに属するデータレコードを複数のシャードに分割し、各データレコードに関連付けられたパーティションキーを使用して、特定のデータレコードが属するシャードを決定します。
パーティションキーはUnicode文字列で、各キーの最大長は256文字です。MD5ハッシュ関数を使用して、パーティションキーを128ビット整数値にマッピングし、シャードのハッシュキー範囲を使用して、関連付けられたデータレコードをシャードにマッピングします。ExplicitHashKeyパラメーターを使用してハッシュ値を明示的に指定することで、パーティションキーのハッシュ化によるシャードの決定を上書きできます。
したがって、パーティショニング時に使用するハッシュキーは、PartitionKey から次のように計算されます。
HashKey = Int128(MD5( ))
つまり、ハッシュキーの範囲(およびKinesisキー空間)は次のようになります。
[0, 2^128) => [0, 340282366920938463463374607431768211455]
キネシスシャードの作成、分割、結合がキー範囲に与える影響
Kinesisシャードを作成、分割、結合して、シャードのキー範囲がどのように影響を受けるかを理解するために、少し操作してみましょう。
#1 – 作成する イベント ストリーム:
> aws kinesis create-stream --stream-name events --shard-count 1#2 – 確認する イベント ストリームが作成されました:
> aws kinesis describe-stream --stream-name events
{
"StreamDescription": {
"Shards": [
{
"ShardId": "shardId-000000000000",
"HashKeyRange": {
"StartingHashKey": "0",
"EndingHashKey": "340282366920938463463374607431768211455"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646421264737784557324905820411013094940000525450477570"
}
}
],
"StreamARN": "arn:aws:kinesis:us-west-2:*************:stream/events",
"StreamName": "events",
"StreamStatus": "ACTIVE",
"RetentionPeriodHours": 24,
"EnhancedMonitoring": [
{
"ShardLevelMetrics": []
}
],
"EncryptionType": "NONE",
"KeyId": null,
"StreamCreationTimestamp": "2023-11-14T12:31:26+03:00"
}
}ご覧のとおり、キー空間全体 [0, 340282366920938463463374607431768211455] は、唯一のシャード shardId-000000000000 に割り当てられています。
#3 – シャード数を増やして 2:
> aws kinesis update-shard-count --stream-name events --target-shard-count 2 --scaling-type UNIFORM_SCALING
{
"StreamName": "events",
"CurrentShardCount": 1,
"TargetShardCount": 2,
"StreamARN": "arn:aws:kinesis:us-west-2:*************:stream/events"
}シャード数の増加により、シャード shardId-000000000000 が子シャード (shardId-000000000001 および shardId-000000000002) に分割されます。
> aws kinesis describe-stream --stream-name events
{
"StreamDescription": {
"Shards": [
{
"ShardId": "shardId-000000000000",
"HashKeyRange": {
"StartingHashKey": "0",
"EndingHashKey": "340282366920938463463374607431768211455"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646421264737784557324905820411013094940000525450477570",
"EndingSequenceNumber": "49646421264748934929924171131980572028256847859579617282"
}
},
{
"ShardId": "shardId-000000000001",
"ParentShardId": "shardId-000000000000",
"HashKeyRange": {
"StartingHashKey": "0",
"EndingHashKey": "170141183460469231731687303715884105727"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646421980524803194562316794282962492134597634174222354"
}
},
{
"ShardId": "shardId-000000000002",
"ParentShardId": "shardId-000000000000",
"HashKeyRange": {
"StartingHashKey": "170141183460469231731687303715884105728",
"EndingHashKey": "340282366920938463463374607431768211455"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646421980547103939760847417424498210407245995680202786"
}
}
],
"StreamARN": "arn:aws:kinesis:us-west-2:*************:stream/events",
"StreamName": "events",
"StreamStatus": "ACTIVE",
"RetentionPeriodHours": 24,
"EnhancedMonitoring": [
{
"ShardLevelMetrics": []
}
],
"EncryptionType": "NONE",
"KeyId": null,
"StreamCreationTimestamp": "2023-11-14T12:31:26+03:00"
}
}応答からわかるように、シャードのハッシュキーの範囲は不変です。シャードが分割されると、親シャード (ここでは shardId-000000000000) はまだ利用可能ですが、ここでは CLOSED 状態に切り替わり、そのハッシュ キー範囲全体が子シャード shardId-000000000001 ([0, 170141183460469231731687303715884105727]) と shardId-000000000002 ([170141183460469231731687303715884105728, 340282366920938463463374607431768211455]) に引き継がれ (均等に半分に分割) ます。
シャードがCLOSED状態であるかどうかは、そのシャードの説明にEndingSequenceNumberプロパティが存在することで識別できます。
#4 – では、シャード数を再び減らすとどうなるか見てみましょう。 1:
> aws kinesis update-shard-count --stream-name events --target-shard-count 1 --scaling-type UNIFORM_SCALING
{
"StreamName": "events",
"CurrentShardCount": 2,
"TargetShardCount": 1,
"StreamARN": "arn:aws:kinesis:us-west-2:************:stream/events"
}シャード数の減少により、シャード shardId-000000000001 と shardId-000000000002 が新しい親シャード (shardId-000000000003) にマージされます。
> aws kinesis describe-stream --stream-name events
{
"StreamDescription": {
"Shards": [
{
"ShardId": "shardId-000000000000",
"HashKeyRange": {
"StartingHashKey": "0",
"EndingHashKey": "340282366920938463463374607431768211455"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646421264737784557324905820411013094940000525450477570",
"EndingSequenceNumber": "49646421264748934929924171131980572028256847859579617282"
}
},
{
"ShardId": "shardId-000000000001",
"ParentShardId": "shardId-000000000000",
"HashKeyRange": {
"StartingHashKey": "0",
"EndingHashKey": "170141183460469231731687303715884105727"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646421980524803194562316794282962492134597634174222354",
"EndingSequenceNumber": "49646421980535953567161582105852521425451370064073719826"
}
},
{
"ShardId": "shardId-000000000002",
"ParentShardId": "shardId-000000000000",
"HashKeyRange": {
"StartingHashKey": "170141183460469231731687303715884105728",
"EndingHashKey": "340282366920938463463374607431768211455"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646421980547103939760847417424498210407245995680202786",
"EndingSequenceNumber": "49646421980558254312360112728994057143724018425579700258"
}
},
{
"ShardId": "shardId-000000000003",
"ParentShardId": "shardId-000000000001",
"AdjacentParentShardId": "shardId-000000000002",
"HashKeyRange": {
"StartingHashKey": "0",
"EndingHashKey": "340282366920938463463374607431768211455"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646422307409126314624190802913520932614343535875850290"
}
}
],
"StreamARN": "arn:aws:kinesis:us-west-2:************:stream/events",
"StreamName": "events",
"StreamStatus": "ACTIVE",
"RetentionPeriodHours": 24,
"EnhancedMonitoring": [
{
"ShardLevelMetrics": []
}
],
"EncryptionType": "NONE",
"KeyId": null,
"StreamCreationTimestamp": "2023-11-14T12:31:26+03:00"
}
}シャード分割の場合と同様に、閉じられたシャード shardId-000000000001 と shardId-000000000002 は依然として存在しますが、閉じられていることを示す EndingSequenceNumber プロパティがあるため、CLOSED 状態になっています。
新しく作成されたシャード shardId-000000000003 は、親シャード shardId-000000000001 と shardId-000000000002 から履歴を継承しています。親シャード ID として shardId-000000000001 を指し、また、生成に使用された隣接親シャード ID として shardId-000000000002 を指しています。
分割とは対照的に、分割後、新しく作成されたシャードは、親 (shardId-000000000001 と shardId-000000000002) のハッシュキー範囲 ([0, 170141183460469231731687303715884105727] と [170141183460469231731687303715884105728, 340282366920938463463374607431768211455]) をマージして、独自のハッシュキー範囲 [0, 340282366920938463463374607431768211455]) を取得します。
ExplicitHashKey パラメータの使用方法
さて、元の問題に戻りましょう。
トレース親ヘッダーを伝播するために PartitionKey パラメータを使用していますが、今度は、元の PartitionKey パラメータ (ユーザーが指定したもの) に基づいてハッシュキーを直接指定する方法を見つける必要があります。そうすれば、AWS はイベントを正しいシャードに配置します。
このセクションの冒頭で述べたように、 私たちは使用することができます 明示的なハッシュキー ハッシュキーを明示的に指定するためのパラメータ。
PartitionKey に基づくハッシュキーの計算方法を思い出してみましょう。
HashKey = Int128(MD5( ))
そして、その実装例がこちらです。
private String toHashKey(String partitionKey) throws Exception {
MessageDigest md = MessageDigest.getInstance("MD5");
md.update(partitionKey.getBytes());
byte[] digest = md.digest();
BigInteger bi = new BigInteger(1, digest);
return bi.toString();
}次に、ExplicitHashKey パラメータを介してカスタム生成されたハッシュキーでパーティションが指定されている場合、AWS Kinesis がレコードを正しいシャードに配置するかどうかを、カスタムハッシュキー計算アルゴリズムをテストして検証してみましょう。
#1 – まず、Kinesisストリームを作成します。 5 破片:
> aws kinesis create-stream --stream-name events --shard-count 5#2 – 次に、ハッシュキーがシャード間でどのように分割されるかを見てみましょう。
> aws kinesis describe-stream --stream-name events
{
"StreamDescription": {
"Shards": [
{
"ShardId": "shardId-000000000000",
"HashKeyRange": {
"StartingHashKey": "0",
"EndingHashKey": "68056473384187692692674921486353642290"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646447835808079664180011482520906336196071965037953026"
}
},
{
"ShardId": "shardId-000000000001",
"HashKeyRange": {
"StartingHashKey": "68056473384187692692674921486353642291",
"EndingHashKey": "136112946768375385385349842972707284581"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646447835830380409378542105662442054468720326543933458"
}
},
{
"ShardId": "shardId-000000000002",
"HashKeyRange": {
"StartingHashKey": "136112946768375385385349842972707284582",
"EndingHashKey": "204169420152563078078024764459060926872"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646447835852681154577072728803977772741368688049913890"
}
},
{
"ShardId": "shardId-000000000003",
"HashKeyRange": {
"StartingHashKey": "204169420152563078078024764459060926873",
"EndingHashKey": "272225893536750770770699685945414569163"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646447835874981899775603351945513491014017049555894322"
}
},
{
"ShardId": "shardId-000000000004",
"HashKeyRange": {
"StartingHashKey": "272225893536750770770699685945414569164",
"EndingHashKey": "340282366920938463463374607431768211455"
},
"SequenceNumberRange": {
"StartingSequenceNumber": "49646447835897282644974133975087049209286665411061874754"
}
}
],
"StreamARN": "arn:aws:kinesis:us-west-2:************:stream/test",
"StreamName": "test",
"StreamStatus": "ACTIVE",
"RetentionPeriodHours": 24,
"EnhancedMonitoring": [
{
"ShardLevelMetrics": []
}
],
"EncryptionType": "NONE",
"KeyId": null,
"StreamCreationTimestamp": "2023-11-15T09:12:34+03:00"
}
}以下は、5つのシャードすべてのハッシュキーの範囲です。
表1 – 全シャードのハッシュキー範囲
| シャードID | 開始ハッシュキー | 終了ハッシュキー |
|---|---|---|
| 000000000000 | 0 | 68056473384187692692674921486353642290 |
| 000000000001 | 68056473384187692692674921486353642291 | 136112946768375385385349842972707284581 |
| 000000000002 | 136112946768375385385349842972707284582 | 204169420152563078078024764459060926872 |
| 000000000003 | 204169420152563078078024764459060926873 | 272225893536750770770699685945414569163 |
| 000000000004 | 272225893536750770770699685945414569164 | 340282366920938463463374607431768211455 |
#3 – 次に送信します 20 からのイベント プロデューサー 異なるイベントグループIDを持つアプリケーション(グループ1、…、グループ20グループIDをパーティションキーとして使用する 痕跡コンテキスト伝播なし.
以下は、コンシューマー関数のログから収集したパーティション割り当て結果です。
表2 – PartitionKeyを使用したイベントグループIDシャード割り当て
| グループID | 割り当てられたシャードID |
|---|---|
| グループ-1 | 000000000000 |
| グループ-2 | 000000000004 |
| グループ-3 | 000000000004 |
| グループ-4 | 000000000003 |
| グループ-5 | 000000000001 |
| グループ-6 | 000000000002 |
| グループ-7 | 000000000001 |
| グループ-8 | 000000000001 |
| グループ-9 | 000000000001 |
| グループ-10 | 000000000002 |
| グループ-11 | 000000000001 |
| グループ-12 | 000000000004 |
| グループ-13 | 000000000001 |
| グループ-14 | 000000000003 |
| グループ-15 | 000000000001 |
| グループ-16 | 000000000001 |
| グループ-17 | 000000000003 |
| グループ-18 | 000000000004 |
| グループ-19 | 000000000004 |
| グループ-20 | 000000000002 |
#4 – 次に、パーティションキー(ここではイベントグループID)に基づくハッシュキー生成アルゴリズムを検証するために、各イベントグループIDに対してハッシュキー生成器を実行します(グループ1、…、グループ20ハッシュキーを生成するには:
表3 – イベントグループIDから生成されたハッシュキー
| グループID | 生成されたハッシュキー |
|---|---|
| グループ-1 | 36878702945378520736626047775679136663 |
| グループ-2 | 306061958545308461565701106111834939294 |
| グループ-3 | 292735753390589125910426864564403662374 |
| グループ-4 | 269007284811237496684139904908027348900 |
| グループ-5 | 134599845387778953616504356620047892735 |
| グループ-6 | 172404274464367626337742804044690822722 |
| グループ-7 | 120051614284874321986263574254488428932 |
| グループ-8 | 96003601987456478459892371035583429633 |
| グループ-9 | 124399773740621873695985890065916563322 |
| グループ-10 | 148110075274167556626459053393330135135 |
| グループ-11 | 114645606660698920883266061759514048378 |
| グループ-12 | 278195397729494683269018512556856246017 |
| グループ-13 | 103647572796091141221952419811970549173 |
| グループ-14 | 238058499068402564349796027478307801963 |
| グループ-15 | 135187142084058751121981517202764523229 |
| グループ-16 | 126372876827453074963320105050964021236 |
| グループ-17 | 250808695372119527102005148552638263311 |
| グループ-18 | 294194029414536733417445446143685926310 |
| グループ-19 | 303879463638450793897400745877701295675 |
| グループ-20 | 194160077621386137990572866333304120589 |
表1に示す5つのシャードのハッシュキー範囲に基づき、表3に示すカスタム生成されたハッシュキーを使用して、イベントは次のシャードに割り当てられます。
表4 – 生成されたハッシュキーを使用したイベントグループIDシャードの割り当て
| グループID | 生成されたハッシュキー | 割り当てられたシャードID |
|---|---|---|
| グループ-1 | 36878702945378520736626047775679136663 | 000000000000 |
| グループ-2 | 306061958545308461565701106111834939294 | 000000000004 |
| グループ-3 | 292735753390589125910426864564403662374 | 000000000004 |
| グループ-4 | 269007284811237496684139904908027348900 | 000000000003 |
| グループ-5 | 134599845387778953616504356620047892735 | 000000000001 |
| グループ-6 | 172404274464367626337742804044690822722 | 000000000002 |
| グループ-7 | 120051614284874321986263574254488428932 | 000000000001 |
| グループ-8 | 96003601987456478459892371035583429633 | 000000000001 |
| グループ-9 | 124399773740621873695985890065916563322 | 000000000001 |
| グループ-10 | 148110075274167556626459053393330135135 | 000000000002 |
| グループ-11 | 114645606660698920883266061759514048378 | 000000000001 |
| グループ-12 | 278195397729494683269018512556856246017 | 000000000004 |
| グループ-13 | 103647572796091141221952419811970549173 | 000000000001 |
| グループ-14 | 238058499068402564349796027478307801963 | 000000000003 |
| グループ-15 | 135187142084058751121981517202764523229 | 000000000001 |
| グループ-16 | 126372876827453074963320105050964021236 | 000000000001 |
| グループ-17 | 250808695372119527102005148552638263311 | 000000000003 |
| グループ-18 | 294194029414536733417445446143685926310 | 000000000004 |
| グループ-19 | 303879463638450793897400745877701295675 | 000000000004 |
| グループ-20 | 194160077621386137990572866333304120589 | 000000000002 |
ご覧のとおり、グループ ID に基づく Kinesis のイベントのシャード割り当ては、標準の PartitionKey メソッドとカスタム生成されたハッシュ キー メソッドの両方で同じです。
ExplicitHashKey パラメータにカスタムハッシュキーを生成することで、正確なシャード割り当てを維持できると結論づけても差し支えないだろう。これにより、PartitionKey パラメータを効果的に使用してトレースコンテキストを伝播させることができる。
「PartitionKey」を介してトレースコンテキストを伝播するが、「ExplicitHashKey」パラメータを持つパーティション
それでは、以下の実装手順を通して、私たちの新しいアプローチが実際にどのように機能するかを見ていきましょう。
private PutRecordRequest injectTraceHeader(PutRecordRequest request) throws Exception {
if (!TRACE_CONTEXT_PROPAGATION_ENABLED) {
return request;
}
Span currentSpan = Span.current();
if (currentSpan == null) {
return request;
}
SpanContext currentSpanContext = currentSpan.getSpanContext();
if (currentSpanContext == null) {
return request;
}
String partitionKey = request.partitionKey();
PutRecordRequest.Builder requestBuilder = request.toBuilder();
String traceParent = String.format("00-%s-%s-%s",
currentSpanContext.getTraceId(),
currentSpanContext.getSpanId(),
currentSpanContext.getTraceFlags().asHex());
requestBuilder.partitionKey(traceParent);
if (partitionKey != null) {
requestBuilder.explicitHashKey(toHashKey(partitionKey));
}
return requestBuilder.build();
}
private String toHashKey(String partitionKey) throws Exception {
MessageDigest md = MessageDigest.getInstance("MD5");
md.update(partitionKey.getBytes());
byte[] digest = md.digest();
BigInteger bi = new BigInteger(1, digest);
return bi.toString();
}テストシナリオを再度実行すると、PutRecord リクエストの PartitionKey パラメータを介してトレース ID が伝播されるため、イベント プロデューサー アプリケーションとイベント コンシューマー アプリケーションが同じトレースに含まれることがわかります。また、ExplicitHashKey パラメータでハッシュ キーが設定され、正しいパーティションに配置されたため、イベントのシャード割り当てが壊れることもありませんでした。

画像6 – 同じトレースIDを持つイベントプロデューサーアプリケーションとイベントコンシューマーアプリケーションのトレース(生成されたハッシュキーによる正しいパーティショニング)
ログから確認すると、イベントはイベントグループIDによって適切に分割されており、PartitionKeyパラメータを使用した最初の試みのようにトレースIDに基づいてランダムに分割されていないことがわかります。

画像7 – カスタムハッシュキーを持つグループID group-1の最初のイベントを処理するためのイベントコンシューマー関数呼び出しログ

画像8 – カスタムハッシュキーを持つグループID group-1の2番目のイベントを処理するためのイベントコンシューマー関数呼び出しログ

画像9 – カスタムハッシュキーを持つグループID group-1の3番目のイベントを処理するためのイベントコンシューマー関数呼び出しログ

画像10 – カスタムハッシュキーを持つグループID group-1の4番目のイベントを処理するためのイベントコンシューマー関数呼び出しログ

画像11 – カスタムハッシュキーを持つグループID group-1の5番目のイベントを処理するためのイベントコンシューマー関数呼び出しログ
このアプローチを使用する場合
- プロデューサーはレコードのペイロードやデータを変更できないため、トレースコンテキストはメッセージ本文ではなく、Kinesisのメタデータで伝送される必要があります。
- キーごとの順序保証が必要であり、レコードを別のシャードに移動すると、利用者が依存している順序が崩れてしまう。
- プロデューサーとコンシューマーが別々のサービスと別々のトレースで実行される非同期Kinesisの境界を越えて、トレースの継続性を確保したい場合。
トレースの継続性からインフラストラクチャの可観測性へ
非同期Kinesisの境界を越えてトレースコンテキストを維持することで、孤立したスパンが完全なエンドツーエンドのトレースへと変化します。プロデューサーからコンシューマーへの因果関係が維持されることで、チームはサービス間をまたいでリクエストを追跡し、トラブルシューティング時の推測を減らし、根本原因をより迅速に特定できます。
LogicMonitorは、OpenTelemetryベースの分散トレーシングをサポートし、アプリケーションのトレースを基盤となるインフラストラクチャおよびサービスの健全性と関連付けることで、この基盤をさらに強化しています。トレースを個別に表示するのではなく、チームはインフラストラクチャのテレメトリと併せてアプリケーションの動作を調査することで、問題の発生源と、それが下流のサービスにどのような影響を与えるかを理解できます。
このアプローチを実践するには、Kinesis プロデューサーとコンシューマーに OpenTelemetry を組み込み、元の PartitionKey に対してシャード割り当てを検証し、結果として得られるトレースを分析します。 LMエンビジョン非同期リクエストフローを関連付けることで インフラストラクチャの可観測性 単一のプラットフォームでサービスの状態を監視できるため、チームは分散アプリケーションのトラブルシューティングをより迅速に行うために必要なコンテキストを取得し、アプリケーションの動作が基盤となるインフラストラクチャにどのような影響を与えるかを理解できます。
OpenTelemetryのトレースデータをLM Envisionのインフラストラクチャの状態と関連付けます。
LogicMonitorは、非同期Kinesisワークフロー全体にわたる分散トレースと、その背後にあるインフラストラクチャの状態を連携させることで、根本原因をより迅速に特定できるようにします。Catchpointと組み合わせることで、アプリケーション層とインターネット層の両方を単一のビューで可視化できます。
よくあるご質問
トレース親を保持するためにPartitionKeyを使用すると、レコードが割り当てられるシャードが変わるのはなぜですか?
Kinesis は、各レコードをシャードにマッピングするために、PartitionKey を MD5 でハッシュ化します。PartitionKey の値を traceparent ヘッダーに置き換えると、ハッシュ値が変化するため、レコードは意図したキーではなくトレース ID に基づいて分散されます。これにより、多くのコンシューマーが依存しているキーごとの順序付けが崩れてしまいます。
ExplicitHashKey パラメータは何をしますか?
ExplicitHashKey を使用すると、Kinesis がシャード配置に使用する 128 ビットのハッシュ値を直接指定でき、PartitionKey のデフォルトの MD5 ハッシュを上書きできます。つまり、PartitionKey にトレース親を設定しながら、各レコードがどのシャードに配置されるかを制御できます。
指定されたPartitionKeyに対応するハッシュキーを計算するにはどうすればよいですか?
Kinesis が使用するのと同じ式、HashKey = Int128(MD5(PartitionKey)) を適用します。元のパーティションキーを MD5 ダイジェストに通し、結果を 128 ビット整数に変換して、その値を ExplicitHashKey として渡します。レコードは、標準パーティショニングの場合と同じシャードに配置されます。




