ASM網關CRD欄位說明 - Alibaba Cloud Service Mesh

ASM提供了一個kind為IstioGateway、apiVersion為istio.alibabacloud.com/v1beta1的自訂資源定義CRD（Custom Resource Definition），並提供了相應的Controller。通過監聽該CRD資源變化事件，對應的Controller可以在Kubernetes叢集中同步對應的Service、Deployment以及相關聯的ServiceAccount等。本文介紹ASM網關CRD的配置樣本和欄位說明。

配置樣本

前提條件

已添加叢集到ASM執行個體。

重要

新增ASM網關必須建立在命名空間istio-system中，以便擷取相關的配置資訊。在Istio1.6及以上的版本中，部署到其他命名空間，會因為不能擷取相關配置而導致ASM網關無法正常啟動。

樣本一：使用KubeAPI管理入口網關

登入ASM控制台，在左側導覽列，選擇服務網格 > 網格管理。
在網格管理頁面，單擊目標執行個體名稱，然後在左側導覽列，選擇ASM網關 > 入口網關。
在入口網關頁面，單擊使用YAML建立。

在建立頁面，輸入網關的名稱，選擇命名空間為istio-system，配置如下YAML，然後單擊建立。

關於欄位的說明，請參見CRD欄位說明。

展開查看YAML檔案

apiVersion: istio.alibabacloud.com/v1beta1
kind: IstioGateway
metadata:   
  name: "myexample-customingressgateway"  
  namespace: "istio-system"
spec:  
  clusterIds:
    - "${實際的叢集ID}"
    - "${實際的叢集ID}"   # ASM網關支援部署在多個叢集中。
  cpu: 
    targetAverageUtilization: 80
  env:
    - name: "envname1"
      value: "envvalue1"
  externalTrafficPolicy: Local
  gatewayType: ingress
  podLabels:
    key1: value1
  ports:  
  - name: status-port    
    port: 15020    
    targetPort: 15020  
  - name: http2    
    port: 80    
    targetPort: 80  
  - name: https    
    port: 443    
    targetPort: 0  
  - name: tls    
    port: 15443    
    targetPort: 15443  
  replicaCount: 1  
  resources:
    limits:
      cpu: '2'
      memory: 2G
    requests:
      cpu: 200m
      memory: 256Mi
# - name: config-volume-lua
#  configMapName: lua-libs
#  mountPath: /var/lib/lua
# secretVolumes:
# - name: myexample-customingressgateway-certs
#   secretName: istio-myexample-customingressgateway-certs
#   mountPath: /etc/istio/myexample-customingressgateway-certs
  serviceType: LoadBalancer  
  serviceAnnotations:    
    service.beta.kubernetes.io/alicloud-loadbalancer-address-type: internet  
  serviceLabels:
    serviceLabelKey1: "serviceLabelValue1"
  podAnnotations:
    podAnnotationsKey1: "podAnnotationsValue1"
  rollingMaxSurge: "100%"
  rollingMaxUnavailable: "25%"
  overrides:
    cluster1Id:
      replicaCount: 1 
      resources:
        limits:
          cpu: '2'
          memory: 2G
        requests:
          cpu: 200m
          memory: 256Mi
      serviceAnnotations:    
        service.beta.kubernetes.io/alicloud-loadbalancer-address-type: internet
        service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: "slb.s1.small"
    cluster2Id:
      replicaCount: 2
      resources:
        limits:
          cpu: '4'
          memory: 4G
        requests:
          cpu: 400m
          memory: 512Mi
      serviceAnnotations:    
        service.beta.kubernetes.io/alicloud-loadbalancer-address-type: internet
        service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: "slb.s2.small"

說明

若您需要使用Kubernetes Client操作入口網關，請參見網關Go Struct實現。

查看入口網關的服務資訊。
1. 登入Container Service管理主控台，在左側導覽列選擇叢集。
2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇網路 > 服務。
3. 在服務頁面上方，從命名空間下拉式清單中，選擇istio-system。
4. 在服務列表中，單擊目標服務名稱，查看入口網關的服務資訊。
查看入口網關的Pod資訊。
1. 登入Container Service管理主控台，在左側導覽列選擇叢集。
2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇工作負載 > 容器組。
3. 在容器組頁面上方，從命名空間下拉式清單中，選擇istio-system。
4. 在Pod列表中，單擊目標Pod名稱，查看入口網關的Pod資訊。

樣本二：使用KubeAPI管理出口網關

ASM提供出口網關服務，為網格內應用提供統一的流量出口。

登入ASM控制台，在左側導覽列，選擇服務網格 > 網格管理。
在網格管理頁面，單擊目標執行個體名稱，然後在左側導覽列，選擇ASM網關 > 出口網關。
在出口網關頁面，單擊使用YAML建立。

在建立頁面，輸入出口網關的名稱，選擇命名空間為istio-system，配置如下YAML，然後單擊建立。

關於欄位的說明，請參見CRD欄位說明。

展開查看YAML檔案

apiVersion: istio.alibabacloud.com/v1beta1
kind: IstioGateway
metadata:
  name: egressgateway
  namespace: istio-system
spec:
  autoCreateGatewayYaml: false
  clusterIds:
    - ${實際的叢集ID}
  disableContainerPortExposed: true
  dnsPolicy: ClusterFirst
  gatewayType: egress
  hostNetwork: false
  podLabels:
    security.istio.io/tlsMode: istio
  ports:
    - name: http-0
      port: 80
      protocol: HTTP
      targetPort: 80
    - name: https-1
      port: 443
      protocol: HTTPS
      targetPort: 443
  readinessProbe: {}
  replicaCount: 1
  resources:
    limits:
      cpu: '2'
      memory: 4G
    requests:
      cpu: 200m
      memory: 256Mi
  rollingMaxSurge: 25%
  rollingMaxUnavailable: 25%
  runAsRoot: true
  serviceType: ClusterIP

查看出口網關的服務資訊。
1. 登入Container Service管理主控台，在左側導覽列選擇叢集。
2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇網路 > 服務。
3. 在服務頁面，從命名空間下拉式清單中選擇istio-system。
4. 在服務列表中，單擊目標服務名稱，查看出口網關的服務資訊。
查看出口網關的Pod資訊。
1. 登入Container Service管理主控台，在左側導覽列選擇叢集。
2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇工作負載 > 容器組。
3. 在容器組頁面，從命名空間下拉式清單中選擇istio-system。
4. 在Pod列表中，單擊目標Pod名稱，查看出口網關的Pod資訊。

CRD欄位說明

欄位	說明	預設值
metadata.name	名稱。產生的Kubernetes Service和Deployment名稱為istio-{該值}。	無
metadata.namespace	命名空間，產生的Kubernetes Service和Deployment所在的命名空間。重要為相容Istio 1.6及以後的版本，該命名空間必須為istio-system。	istio-system
clusterIds	數群組類型。將部署網關的叢集ID，這些叢集隸屬於當前網格執行個體所管理。	無
env	數群組類型。網關Pod的環境變數。	無
externalTrafficPolicy	表示此服務是否希望將外部流量路由到節點本地或叢集範圍的端點，取值為Cluster或Local。說明該欄位僅適用於入口網關。	Cluster
ports	數群組類型。網關Pod定義的連接埠和協議列表。例如： `name: http2 port: 80 targetPort: 80 protocol: HTTP2` `name: https port: 443 targetPort: 443 protocol: HTTPS` 說明 1.9.7.107之前的版本，protocol屬性欄位未做具體化聲明，您需要統一聲明配置為TCP。	無
gatewayType	網關類型，可以指定為ingress或egress。 ingress：入口網關，為網格內應用提供統一的流量入口。 egress：出口網關，為網格內應用提供統一的流量出口。	ingress
replicaCount	副本數。	1
configVolumes	網關Pod所使用的ConfigMap掛載卷，例如： `- name: config-volume-lua configMapName: lua-libs mountPath: /var/lib/lua`	無
resources	網關Pod的資源配置。	limits: cpu: '2' memory: 2G requests: cpu: 200m memory: 256Mi
secretVolumes	網關Pod所使用到的Secret掛載卷，例如： `- name: myexample-customingressgateway-certs secretName: istio-myexample-customingressgateway-certs mountPath: /etc/istio/myexample-customingressgateway-certs`	無
serviceType	網關的服務類型，取值為LoadBalancer、NodePort或者ClusterIP。出口網關通常設定為ClusterIP。重要如果您選擇的資料面叢集是註冊叢集且該欄位為LoadBalancer時，請確保叢集支援LoadBalancer類型的Service，避免ASM網關建立失敗。	LoadBalancer
loadBalancerClass	為網關服務指定loadBalancerClass，僅當serviceType為LoadBalancer類型時有效。該欄位從ASM 1.18版本開始支援。更多資訊，請參見在ASM入口網關中使用網路型負載平衡NLB。	無
serviceAnnotations	網關服務的Annotation定義，例如`service.beta.kubernetes.io/alibaba-cloud-loadbalancer-connection-drain: 'on' service.beta.kubernetes.io/alibaba-cloud-loadbalancer-connection-drain-timeout: '20'`。關於Annotation的常用註解，請參見通過Annotation配置負載平衡。說明僅適用於serviceType為LoadBalancer類型的網關，出口網關通常不配置。	無
serviceLabels	網關服務的Label定義。	無
podLabels	網關Pod的Label定義。	無
podAnnotations	網關Pod的Annotation定義。	無
rollingMaxSurge	變換過程中運行操作期望副本數的最大Pod數。取值可以為絕對數值或百分數。	"100%"
rollingMaxUnavailable	變換過程中停用最大Pod數。取值為絕對數值或百分數。	"25%"
overrides	當clusterIds指定了2個及以上的叢集時，可以針對特定的叢集指定不同於上述參數定義的配置值，配置值為Map類型。說明 key：本次定義的`clusterIds`中某一個叢集ID。 overrides支援的欄位如下： serviceAnnotations podAnnotations resources replicaCount HPA相關配置（從ASM 1.16版本開始支援） serviceType（從ASM 1.16版本開始支援）	無
kernel.enabled	是否啟用自訂核心參數。	false
kernel.parameters	核心參數設定，當前支援設定以下核心參數： net.core.somaxconn net.core.netdev_max_backlog net.ipv4.tcp_rmem net.ipv4.tcp_wmem net.ipv4.ip_local_port_range net.ipv4.tcp_fin_timeout net.ipv4.tcp_tw_timeout net.ipv4.tcp_tw_reuse net.ipv4.tcp_tw_recycle net.ipv4.tcp_timestamps net.ipv4.tcp_retries2 net.ipv4.tcp_slow_start_after_idle net.ipv4.tcp_max_orphans net.ipv4.tcp_max_syn_backlog net.ipv4.tcp_no_metrics_save net.ipv4.tcp_autocorking kernel.printk vm.swappiness 說明 ASM支援的核心參數修改項可能因宿主機核心版本不同，而出現部分參數不支援的情況。如果出現這種情況，網格Pod可能會報錯。您可以通過`kubectl describe pod`命令查看網關報錯情況。刪除不支援的參數後，容器即可正常啟動。所有的核心參數值為字串格式，因YAML文法會將純數字解析為數實值型別，您需要使用半形雙引號（""）包裹您的值，例如net.core.somaxconn: "65535"。	無
compression.enabled	是否啟用入口網關壓縮能力。說明 compression相關欄位僅適用於入口網關。	false
compression.content_type	需要被壓縮的ContentType列表，例如： text/html application/json	無
compression.disable_on_etag_header	設定為true：當Response中存在etag_header時，禁用壓縮。設定為false：當Response中存在etag_header時，進行壓縮。	false
compression.min_content_length	當ContentLength大於或等於設定的值時，觸發壓縮。	30
compression.remove_accept_encoding_header	設定為true：入口網關在將用戶端請求轉寄至上遊之前，移除請求內的Accept-Encoding Header。設定為false：入口網關在將用戶端請求轉寄至上遊之前，保留請求內的Accept-Encoding Header。	false
compression.gzip	當前僅支援gzip壓縮格式。若要啟用壓縮，必須填寫該欄位。若所有參數保持預設，也需要填寫空結構，例如`gzip: {}`。	無
compression.gzip.memory_level	zlib內部的記憶體使用量層級。合法值為1~9。取值越大佔用記憶體越多，同時也會帶來更快的壓縮速度和更好的壓縮品質。	5
compression.gzip.compression_level	zlib的壓縮層級，合法值如下： COMPRESSION_LEVEL_1 COMPRESSION_LEVEL_2 COMPRESSION_LEVEL_3 COMPRESSION_LEVEL_4 COMPRESSION_LEVEL_5 COMPRESSION_LEVEL_6 COMPRESSION_LEVEL_7 COMPRESSION_LEVEL_8 COMPRESSION_LEVEL_9 DEFAULT_COMPRESSION BEST_COMPRESSION BEST_SPEED 說明 BEST_COMPRESSION是最高壓縮品質；BEST_SPEED是最快壓縮速度。其中： COMPRESSION_LEVEL_1壓縮層級等價於BEST_SPEED。最快壓縮，壓縮率較低。 COMPRESSION_LEVEL_9壓縮層級等價於BEST_COMPRESSION。7-9壓縮層級對應最大壓縮率，壓縮速度較慢。 COMPRESSION_LEVEL_6壓縮層級等價於DEFAULT_COMPRESSION。2-6壓縮層級對應中等壓縮,壓縮率和速度值之間權衡。	DEFAULT_COMPRESSION
compression.gzip.compression_strategy	zlib的壓縮策略，合法值如下： DEFAULT_STRATEGY FILTERED FIXED HUFFMAN_ONLY RLE 說明 DEFAULT_STRATEGY 預設的壓縮策略，使用底層預設的行為，在多數情況下都能產生滿意的壓縮結果。 FILTERED 針對大部分存在重複資料的情境，優先使用過濾層壓縮演算法。對於一些文本資料和人工產生的資料壓縮率較高。 HUFFMAN_ONLY 只使用哈夫曼編碼進行壓縮，不使用其他壓縮演算法。一般用於產生待用資料，產生的壓縮資料可以更快地解壓縮。 RLE 使用連續相同資料壓縮演算法，對於壓縮連續相同的資料非常高效。比如位元影像資料等。 FIXED 使用預定義的編碼樹進行哈夫曼編碼，不根據具體資料動態產生編碼樹。這樣的好處是高速壓縮和解壓縮，但壓縮率一般會比較低。	DEFAULT_STRATEGY
compression.gzip.window_bits	zlib視窗大小。合法值為9~15。	12
compression.gzip.chunk_size	zlib輸出緩衝區大小。	4096
hostNetwork	主機網路。設定為true：網關Pod將使用宿主機的網路。設定為false：網關Pod將使用自身的網路。	false
dnsPolicy	DNS策略。關於dnsPolicy的詳細介紹，請參見DNS for Services and Pods。	ClusterFirst
cpu.targetAverageUtilization	開啟HPA時的CPU目標使用率。取值為1~100。如果超過該值，會增加副本；如果低於該值，會減少副本。	無
memory.targetAverageUtilization	開啟HPA時的記憶體目標使用率。取值為1~100。如果超過該值，會增加副本；如果低於該值，會減少副本。	無
maxReplicas	HPA調節的最大副本數。取值為正整數。	無
minReplicas	HPA調節的最小副本數。取值為正整數，最小值為1。	無
nodeSelector	指定網關Pod所在的節點。在該欄位下，您可以自訂Key和Value的值，樣本如下： `nodeSelector: key1: value1`	無
affinity	通過配置節點親和性來指定網關Pod所在的節點。更多資訊，請參見親和性與反親和性。	無
tolerations	和節點Taint配合使用。更多資訊，請參見汙點和容忍度。	無

導致網關滾動重啟的欄位

以下欄位變更會導致網關滾動重啟，請謹慎操作。

env
ports（ASM執行個體版本為1.16以下會導致網關重啟，1.16及以上不會重啟）
configVolumes
resources
secretVolumes
podLabels
podAnnotations
kernel.enabled
kernel.parameters
hostNetwork
dnsPolicy
nodeSelector（視調度情況而定）
affinity（視調度情況而定）
tolerations（視調度情況而定）

網關Go Struct實現

展開查看檔案樣本

package v1beta1

import (
    corev1 "k8s.io/api/core/v1"
    metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
)

type GatewayType string
type ConfigState string

const (
    GatewayTypeIngress GatewayType = "ingress"
    GatewayTypeEgress  GatewayType = "egress"
)

// IstioGatewaySpec defines the desired state of Istio
// +k8s:openapi-gen=true
type IstioGatewaySpec struct {
    // +kubebuilder:validation:Enum=ingress;egress
    GatewayType                    GatewayType `json:"gatewayType,omitempty"`
    IstioGatewayBasicConfiguration `json:",inline"`
    ClusterIds                     []string                                  `json:"clusterIds,omitempty"`
    clusterId                      string                                    `json:"clusterId,omitempty"`
    Overrides                      map[string]IstioGatewayBasicConfiguration `json:"overrides,omitempty"`
}

type KernelParameters struct {
    NetCoreSoMaxConn             *string `json:"net.core.somaxconn,omitempty"`
    NetCoreNetdevMaxBacklog      *string `json:"net.core.netdev_max_backlog,omitempty"`
    NetIpv4TcpRMem               *string `json:"net.ipv4.tcp_rmem,omitempty"`
    NetIpv4TcpWMem               *string `json:"net.ipv4.tcp_wmem,omitempty"`
    NetIpv4IpLocalPortRange      *string `json:"net.ipv4.ip_local_port_range,omitempty"`
    NetIpv4TcpFinTimeout         *string `json:"net.ipv4.tcp_fin_timeout,omitempty"`
    NetIpv4TcpTwTimeout          *string `json:"net.ipv4.tcp_tw_timeout,omitempty"`
    NetIpv4TcpTwReuse            *string `json:"net.ipv4.tcp_tw_reuse,omitempty"`
    NetIpv4TcpTwRecycle          *string `json:"net.ipv4.tcp_tw_recycle,omitempty"`
    NetIpv4TcpTimestamps         *string `json:"net.ipv4.tcp_timestamps,omitempty"`
    NetIpv4TcpRetries2           *string `json:"net.ipv4.tcp_retries2,omitempty"`
    NetIpv4TcpSlowStartAfterIdle *string `json:"net.ipv4.tcp_slow_start_after_idle,omitempty"`
    NetIpv4TcpMaxOrphans         *string `json:"net.ipv4.tcp_max_orphans,omitempty"`
    NetIpv4TcpMaxSynBacklog      *string `json:"net.ipv4.tcp_max_syn_backlog,omitempty"`
    NetIpv4TcpNoMetricsSave      *string `json:"net.ipv4.tcp_no_metrics_save,omitempty"`
    NetIpv4TcpAutocorking        *string `json:"net.ipv4.tcp_autocorking,omitempty"`
    KernelPrintk                 *string `json:"kernel.printk,omitempty"`
    VmSwappiness                 *string `json:"vm.swappiness,omitempty"`
}

type KernelConfiguration struct {
    Enabled    *bool            `json:"enabled,omitempty"`
    Parameters KernelParameters `json:"parameters,omitempty"`
}

type GzipCompressorConfiguration struct {
    MemoryLevel         *uint32 `json:"memory_level,omitempty"`
    CompressionLevel    *string `json:"compression_level,omitempty"`
    CompressionStrategy *string `json:"compression_strategy,omitempty"`
    WindowBits          *uint32 `json:"window_bits,omitempty"`
    ChunkSize           *uint32 `json:"chunk_size,omitempty"`
}

type CompressorConfiguration struct {
    Enabled                    *bool                        `json:"enabled,omitempty"`
    MinContentLength           *uint32                      `json:"min_content_length,omitempty"`
    ContentType                *[]string                    `json:"content_type,omitempty"`
    DisableOnETagHeader        *bool                        `json:"disable_on_etag_header,omitempty"`
    RemoveAcceptEncodingHeader *bool                        `json:"remove_accept_encoding_header,omitempty"`
    Gzip                       *GzipCompressorConfiguration `json:"gzip,omitempty"`
}

type ReadinessProbeConfiguration struct {
    FailureThreshold int32 `json:"failureThreshold,omitempty"`
    PeriodSeconds    int32 `json:"periodSeconds,omitempty"`
    SuccessThreshold int32 `json:"successThreshold,omitempty"`
}

// +k8s:openapi-gen=true
type IstioGatewayBasicConfiguration struct {
    ReplicaCount     int32 `json:"replicaCount,omitempty"`
    AutoscaleEnabled bool  `json:"autoscaleEnabled,omitempty"`
    MinReplicas      int32 `json:"minReplicas,omitempty"`
    MaxReplicas      int32 `json:"maxReplicas,omitempty"`
    // +kubebuilder:validation:Enum=ClusterIP;NodePort;LoadBalancer
    ServiceType           corev1.ServiceType           `json:"serviceType,omitempty"`
    LoadBalancerIP        string                       `json:"loadBalancerIP,omitempty"`
    ExternalTrafficPolicy string                       `json:"externalTrafficPolicy,omitempty"`
    ServiceAnnotations    map[string]string            `json:"serviceAnnotations,omitempty"`
    PodAnnotations        map[string]string            `json:"podAnnotations,omitempty"`
    ServiceLabels         map[string]string            `json:"serviceLabels,omitempty"`
    PodLabels             map[string]string            `json:"podLabels,omitempty"`
    Resources             *corev1.ResourceRequirements `json:"resources,omitempty"`
    EnvVars               []corev1.EnvVar              `json:"env,omitempty"`
    Ports                 []corev1.ServicePort         `json:"ports,omitempty"`
    MeshExpansionPorts    []corev1.ServicePort         `json:"meshExpansionPorts,omitempty"`
    NodeSelector          map[string]string            `json:"nodeSelector,omitempty"`
    ApplicationPorts      string                       `json:"applicationPorts,omitempty"`
    RequestedNetworkView  string                       `json:"requestedNetworkView,omitempty"`
    Affinity              *corev1.Affinity             `json:"affinity,omitempty"`
    Tolerations           []corev1.Toleration          `json:"tolerations,omitempty"`
    SecretVolumes         []SecretVolume               `json:"secretVolumes,omitempty"`
    ConfigVolumes         []ConfigVolume               `json:"configVolumes,omitempty"`
    RollingMaxSurge       *string                      `json:"rollingMaxSurge,omitempty"`
    RollingMaxUnavailable *string                      `json:"rollingMaxUnavailable,omitempty"`
    CPU                   HpaCPU                       `json:"cpu,omitempty"`
    Memory                HpaMemory                    `json:"memory,omitempty"`
    Kernel                KernelConfiguration          `json:"kernel,omitempty"`
    Compressor            CompressorConfiguration      `json:"compression,omitempty"`
    RunAsRoot             *bool                        `json:"runAsRoot,omitempty"`
    Lifecycle             *corev1.Lifecycle            `json:"lifecycle,omitempty"`
    ReadinessProbe        ReadinessProbeConfiguration  `json:"readinessProbe,omitempty"`
    HostNetwork           *bool                        `json:"hostNetwork,omitempty"`
    DnsPolicy             corev1.DNSPolicy             `json:"dnsPolicy,omitempty"`
    AutoCreateGatewayYaml *bool                        `json:"autoCreateGatewayYaml,omitempty"`
}

type SecretVolume struct {
    Name       string `json:"name,omitempty"`
    SecretName string `json:"secretName,omitempty"`
    MountPath  string `json:"mountPath,omitempty"`
}

type ConfigVolume struct {
    Name          string `json:"name,omitempty"`
    ConfigMapName string `json:"configMapName,omitempty"`
    MountPath     string `json:"mountPath,omitempty"`
}

// +k8s:openapi-gen=true
type HpaCPU struct {
    TargetAverageUtilization *int32 `json:"targetAverageUtilization,omitempty"`
}

// +k8s:openapi-gen=true
type HpaMemory struct {
    TargetAverageUtilization *int32 `json:"targetAverageUtilization,omitempty"`
}

// +k8s:openapi-gen=true
type IstioGatewayStatus struct {
    // INSERT ADDITIONAL STATUS FIELD - define observed state of cluster
    // Important: Run "operator-sdk generate k8s" to regenerate code after modifying this file
    // Add custom validation using kubebuilder tags: https://book.kubebuilder.io/beyond_basics/generating_crd.html
    Status                     ConfigState      `json:"Status,omitempty"`
    GatewayAddress             []string         `json:"GatewayAddress,omitempty"`
    ClusterIdGatewayAddressMap []GatewayAddress `json:"ClusterIdGatewayAddressMap,omitempty"`

    ErrorMessage string `json:"ErrorMessage,omitempty"`
}

// +k8s:openapi-gen=true
type GatewayAddress struct {
    IPAddress string `json:"ipAddress,omitempty"`
    ClusterId string `json:"clusterId,omitempty"`
}

// +k8s:deepcopy-gen:interfaces=k8s.io/apimachinery/pkg/runtime.Object

// IstioGateway is the Schema for the istiogateways API
// +k8s:openapi-gen=true
// +kubebuilder:subresource:status
type IstioGateway struct {
    metav1.TypeMeta   `json:",inline"`
    metav1.ObjectMeta `json:"metadata,omitempty"`

    Spec   IstioGatewaySpec   `json:"spec,omitempty"`
    Status IstioGatewayStatus `json:"status,omitempty"`
}

// +k8s:deepcopy-gen:interfaces=k8s.io/apimachinery/pkg/runtime.Object

// IstioGatewayList contains a list of IstioGateway
type IstioGatewayList struct {
    metav1.TypeMeta `json:",inline"`
    metav1.ListMeta `json:"metadata,omitempty"`
    Items           []IstioGateway `json:"items"`
}