全部产品
Search
文档中心

服务网格 ASM:ASM网关CRD说明

更新时间:Sep 24, 2024

ASM提供了一个kindIstioGatewayapiVersionistio.alibabacloud.com/v1beta1的自定义资源定义CRD(Custom Resource Definition),并提供了相应的Controller。通过监听该CRD资源变化事件,对应的Controller可以在Kubernetes集群中同步对应的Service、Deployment以及相关联的ServiceAccount等。本文介绍ASM网关CRD的配置示例和字段说明。

配置示例

前提条件

添加集群到ASM实例

重要

新增ASM网关必须创建在命名空间istio-system中,以便获取相关的配置信息。在Istio1.6及以上的版本中,部署到其他命名空间,会因为不能获取相关配置而导致ASM网关无法正常启动。

示例一:使用KubeAPI管理入口网关

  1. 登录ASM控制台,在左侧导航栏,选择服务网格 > 网格管理

  2. 网格管理页面,单击目标实例名称,然后在左侧导航栏,选择ASM网关 > 入口网关

  3. 入口网关页面,单击使用YAML创建

  4. 创建页面,输入网关的名称,选择命名空间为istio-system,配置如下YAML,然后单击创建

    关于字段的说明,请参见CRD字段说明

    展开查看YAML文件

    apiVersion: istio.alibabacloud.com/v1beta1
    kind: IstioGateway
    metadata:   
      name: "myexample-customingressgateway"  
      namespace: "istio-system"
    spec:  
      clusterIds:
        - "${实际的集群ID}"
        - "${实际的集群ID}"   # ASM网关支持部署在多个集群中。
      cpu: 
        targetAverageUtilization: 80
      env:
        - name: "envname1"
          value: "envvalue1"
      externalTrafficPolicy: Local
      gatewayType: ingress
      podLabels:
        key1: value1
      ports:  
      - name: status-port    
        port: 15020    
        targetPort: 15020  
      - name: http2    
        port: 80    
        targetPort: 80  
      - name: https    
        port: 443    
        targetPort: 443
      - name: tls    
        port: 15443    
        targetPort: 15443  
      replicaCount: 1  
      resources:
        limits:
          cpu: '2'
          memory: 2G
        requests:
          cpu: 200m
          memory: 256Mi
    # - name: config-volume-lua
    #  configMapName: lua-libs
    #  mountPath: /var/lib/lua
    # secretVolumes:
    # - name: myexample-customingressgateway-certs
    #   secretName: istio-myexample-customingressgateway-certs
    #   mountPath: /etc/istio/myexample-customingressgateway-certs
      serviceType: LoadBalancer  
      serviceAnnotations:    
        service.beta.kubernetes.io/alicloud-loadbalancer-address-type: internet  
      serviceLabels:
        serviceLabelKey1: "serviceLabelValue1"
      podAnnotations:
        podAnnotationsKey1: "podAnnotationsValue1"
      rollingMaxSurge: "100%"
      rollingMaxUnavailable: "25%"
      overrides:
        cluster1Id:
          replicaCount: 1 
          resources:
            limits:
              cpu: '2'
              memory: 2G
            requests:
              cpu: 200m
              memory: 256Mi
          serviceAnnotations:    
            service.beta.kubernetes.io/alicloud-loadbalancer-address-type: internet
            service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: "slb.s1.small"
        cluster2Id:
          replicaCount: 2
          resources:
            limits:
              cpu: '4'
              memory: 4G
            requests:
              cpu: 400m
              memory: 512Mi
          serviceAnnotations:    
            service.beta.kubernetes.io/alicloud-loadbalancer-address-type: internet
            service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: "slb.s2.small"

    说明

    若您需要使用Kubernetes Client操作入口网关,请参见网关Go Struct实现

  5. 查看入口网关的服务信息。

    1. 登录容器服务管理控制台,在左侧导航栏选择集群

    2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择网络 > 服务

    3. 服务页面上方,从命名空间下拉列表中,选择istio-system

    4. 在服务列表中,单击目标服务名称,查看入口网关的服务信息。

  6. 查看入口网关的Pod信息。

    1. 登录容器服务管理控制台,在左侧导航栏选择集群

    2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择工作负载 > 容器组

    3. 容器组页面上方,从命名空间下拉列表中,选择istio-system

    4. 在Pod列表中,单击目标Pod名称,查看入口网关的Pod信息。

示例二:使用KubeAPI管理出口网关

ASM提供出口网关服务,为网格内应用提供统一的流量出口。

  1. 登录ASM控制台,在左侧导航栏,选择服务网格 > 网格管理

  2. 网格管理页面,单击目标实例名称,然后在左侧导航栏,选择ASM网关 > 出口网关

  3. 出口网关页面,单击使用YAML创建

  4. 创建页面,输入出口网关的名称,选择命名空间为istio-system,配置如下YAML,然后单击创建

    关于字段的说明,请参见CRD字段说明

    展开查看YAML文件

    apiVersion: istio.alibabacloud.com/v1beta1
    kind: IstioGateway
    metadata:
      name: egressgateway
      namespace: istio-system
    spec:
      autoCreateGatewayYaml: false
      clusterIds:
        - ${实际的集群ID}
      disableContainerPortExposed: true
      dnsPolicy: ClusterFirst
      gatewayType: egress
      hostNetwork: false
      podLabels:
        security.istio.io/tlsMode: istio
      ports:
        - name: http-0
          port: 80
          protocol: HTTP
          targetPort: 80
        - name: https-1
          port: 443
          protocol: HTTPS
          targetPort: 443
      readinessProbe: {}
      replicaCount: 1
      resources:
        limits:
          cpu: '2'
          memory: 4G
        requests:
          cpu: 200m
          memory: 256Mi
      rollingMaxSurge: 25%
      rollingMaxUnavailable: 25%
      runAsRoot: true
      serviceType: ClusterIP
  5. 查看出口网关的服务信息。

    1. 登录容器服务管理控制台,在左侧导航栏选择集群

    2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择网络 > 服务

    3. 服务页面,从命名空间下拉列表中选择istio-system

    4. 在服务列表中,单击目标服务名称,查看出口网关的服务信息。

  6. 查看出口网关的Pod信息。

    1. 登录容器服务管理控制台,在左侧导航栏选择集群

    2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择工作负载 > 容器组

    3. 容器组页面,从命名空间下拉列表中选择istio-system

    4. 在Pod列表中,单击目标Pod名称,查看出口网关的Pod信息。

CRD字段说明

字段

说明

默认值

metadata.name

名称。生成的Kubernetes Service和Deployment名称为istio-{该值}。

metadata.namespace

命名空间,生成的Kubernetes Service和Deployment所在的命名空间。

重要

为兼容Istio 1.6及以后的版本,该命名空间必须为istio-system。

istio-system

clusterIds

数组类型。将部署网关的集群ID,这些集群隶属于当前网格实例所管理。

env

数组类型。网关Pod的环境变量。

externalTrafficPolicy

表示此服务是否希望将外部流量路由到节点本地或集群范围的端点,取值为ClusterLocal

说明

该字段仅适用于入口网关。

Cluster

ports

数组类型。网关Pod定义的端口和协议列表。例如:

  • name: http2 port: 80 targetPort: 80 protocol: HTTP2

  • name: https port: 443 targetPort: 443 protocol: HTTPS

说明

1.9.7.107之前的版本,protocol属性字段未做具体化声明,您需要统一声明配置为TCP。

gatewayType

网关类型,可以指定为ingressegress

  • ingress:入口网关,为网格内应用提供统一的流量入口。

  • egress:出口网关,为网格内应用提供统一的流量出口。

ingress

replicaCount

副本数。

1

configVolumes

网关Pod所使用的ConfigMap挂载卷,例如:

- name: config-volume-lua
  configMapName: lua-libs
  mountPath: /var/lib/lua

resources

网关Pod的资源配置。

  • limits:

    • cpu: '2'

    • memory: 2G

  • requests:

    • cpu: 200m

    • memory: 256Mi

secretVolumes

网关Pod所使用到的Secret挂载卷,例如:

- name: myexample-customingressgateway-certs
  secretName: istio-myexample-customingressgateway-certs
  mountPath: /etc/istio/myexample-customingressgateway-certs

serviceType

网关的服务类型,取值为LoadBalancerNodePort或者ClusterIP。出口网关通常设置为ClusterIP。

重要

如果您选择的数据面集群是注册集群且该字段为LoadBalancer时,请确保集群支持LoadBalancer类型的Service,避免ASM网关创建失败。

LoadBalancer

loadBalancerClass

为网关服务指定loadBalancerClass,仅当serviceType为LoadBalancer类型时有效。该字段从ASM 1.18版本开始支持。更多信息,请参见在ASM入口网关中使用网络型负载均衡NLB

serviceAnnotations

网关服务的Annotation定义,例如service.beta.kubernetes.io/alibaba-cloud-loadbalancer-connection-drain: 'on' service.beta.kubernetes.io/alibaba-cloud-loadbalancer-connection-drain-timeout: '20'。关于Annotation的常用注解,请参见通过Annotation配置负载均衡

说明

仅适用于serviceType为LoadBalancer类型的网关,出口网关通常不配置。

serviceLabels

网关服务的Label定义。

podLabels

网关Pod的Label定义。

podAnnotations

网关Pod的Annotation定义。

rollingMaxSurge

滚动更新过程中运行操作期望副本数的最大Pod数。取值可以为绝对数值或百分数。

"100%"

rollingMaxUnavailable

滚动更新过程中不可用的最大Pod数。取值为绝对数值或百分数。

"25%"

overrides

clusterIds指定了2个及以上的集群时,可以针对特定的集群指定不同于上述参数定义的配置值,配置值为Map类型。

说明
  • key:本次定义的clusterIds中某一个集群ID。

  • overrides支持的字段如下:

    • serviceAnnotations

    • podAnnotations

    • resources

    • replicaCount

    • HPA相关配置(从ASM 1.16版本开始支持)

    • serviceType(从ASM 1.16版本开始支持)

kernel.enabled

是否启用自定义内核参数。

false

kernel.parameters

内核参数设置,当前支持设置以下内核参数:

  • net.core.somaxconn

  • net.core.netdev_max_backlog

  • net.ipv4.tcp_rmem

  • net.ipv4.tcp_wmem

  • net.ipv4.ip_local_port_range

  • net.ipv4.tcp_fin_timeout

  • net.ipv4.tcp_tw_timeout

  • net.ipv4.tcp_tw_reuse

  • net.ipv4.tcp_tw_recycle

  • net.ipv4.tcp_timestamps

  • net.ipv4.tcp_retries2

  • net.ipv4.tcp_slow_start_after_idle

  • net.ipv4.tcp_max_orphans

  • net.ipv4.tcp_max_syn_backlog

  • net.ipv4.tcp_no_metrics_save

  • net.ipv4.tcp_autocorking

  • kernel.printk

  • vm.swappiness

说明

ASM支持的内核参数修改项可能因宿主机内核版本不同,而出现部分参数不支持的情况。如果出现这种情况,网格Pod可能会报错。

您可以通过kubectl describe pod命令查看网关报错情况。删除不支持的参数后,容器即可正常启动。

所有的内核参数值为字符串格式,因YAML语法会将纯数字解析为数值类型,您需要使用半角双引号("")包裹您的值,例如net.core.somaxconn: "65535"。

compression.enabled

是否启用入口网关压缩能力。

说明

compression相关字段仅适用于入口网关。

false

compression.content_type

需要被压缩的ContentType列表,例如:

  • text/html

  • application/json

compression.disable_on_etag_header

  • 设置为true:当Response中存在etag_header时,禁用压缩。

  • 设置为false:当Response中存在etag_header时,进行压缩。

false

compression.min_content_length

当ContentLength大于或等于设置的值时,触发压缩。

30

compression.remove_accept_encoding_header

  • 设置为true:入口网关在将客户端请求转发至上游之前,移除请求内的Accept-Encoding Header。

  • 设置为false:入口网关在将客户端请求转发至上游之前,保留请求内的Accept-Encoding Header。

false

compression.gzip

当前仅支持gzip压缩格式。若要启用压缩,必须填写该字段。若所有参数保持默认,也需要填写空结构,例如gzip: {}

compression.gzip.memory_level

zlib内部的内存使用级别。合法值为1~9。取值越大占用内存越多,同时也会带来更快的压缩速度和更好的压缩质量。

5

compression.gzip.compression_level

zlib的压缩级别,合法值如下:

  • COMPRESSION_LEVEL_1

  • COMPRESSION_LEVEL_2

  • COMPRESSION_LEVEL_3

  • COMPRESSION_LEVEL_4

  • COMPRESSION_LEVEL_5

  • COMPRESSION_LEVEL_6

  • COMPRESSION_LEVEL_7

  • COMPRESSION_LEVEL_8

  • COMPRESSION_LEVEL_9

  • DEFAULT_COMPRESSION

  • BEST_COMPRESSION

  • BEST_SPEED

说明

BEST_COMPRESSION是最高压缩质量;BEST_SPEED是最快压缩速度。其中:

  • COMPRESSION_LEVEL_1压缩级别等价于BEST_SPEED。最快压缩,压缩率较低。

  • COMPRESSION_LEVEL_9压缩级别等价于BEST_COMPRESSION。7-9压缩级别对应最大压缩率,压缩速度较慢。

  • COMPRESSION_LEVEL_6压缩级别等价于DEFAULT_COMPRESSION。2-6压缩级别对应中等压缩,压缩率和速度值之间权衡。

DEFAULT_COMPRESSION

compression.gzip.compression_strategy

zlib的压缩策略,合法值如下:

  • DEFAULT_STRATEGY

  • FILTERED

  • FIXED

  • HUFFMAN_ONLY

  • RLE

说明

DEFAULT_STRATEGY 

默认的压缩策略,使用底层默认的行为,在多数情况下都能产生满意的压缩结果。

FILTERED 

针对大部分存在重复数据的场景,优先使用过滤层压缩算法。对于一些文本数据和人工生成的数据压缩率较高。

HUFFMAN_ONLY 

只使用哈夫曼编码进行压缩,不使用其他压缩算法。一般用于生成静态数据,生成的压缩数据可以更快地解压缩。

RLE 

使用连续相同数据压缩算法,对于压缩连续相同的数据非常高效。比如位图数据等。

FIXED 

使用预定义的编码树进行哈夫曼编码,不根据具体数据动态生成编码树。这样的好处是高速压缩和解压缩,但压缩率一般会比较低。

DEFAULT_STRATEGY

compression.gzip.window_bits

zlib窗口大小。合法值为9~15。

12

compression.gzip.chunk_size

zlib输出缓冲区大小。

4096

hostNetwork

主机网络。

  • 设置为true:网关Pod将使用宿主机的网络。

  • 设置为false:网关Pod将使用自身的网络。

false

dnsPolicy

DNS策略。关于dnsPolicy的详细介绍,请参见DNS for Services and Pods

ClusterFirst

cpu.targetAverageUtilization

开启HPA时的CPU目标使用率。取值为1~100。如果超过该值,会增加副本;如果低于该值,会减少副本。

memory.targetAverageUtilization

开启HPA时的内存目标使用率。取值为1~100。如果超过该值,会增加副本;如果低于该值,会减少副本。

maxReplicas

HPA调节的最大副本数。取值为正整数。

minReplicas

HPA调节的最小副本数。取值为正整数,最小值为1。

nodeSelector

指定网关Pod所在的节点。在该字段下,您可以自定义Key和Value的值,示例如下:

nodeSelector:
  key1: value1

affinity

通过配置节点亲和性来指定网关Pod所在的节点。更多信息,请参见亲和性与反亲和性

tolerations

和节点Taint配合使用。更多信息,请参见污点和容忍度

导致网关滚动重启的字段

以下字段变更会导致网关滚动重启,请谨慎操作。

  • env

  • ports(ASM实例版本为1.16以下会导致网关重启,1.16及以上不会重启)

  • configVolumes

  • resources

  • secretVolumes

  • podLabels

  • podAnnotations

  • kernel.enabled

  • kernel.parameters

  • hostNetwork

  • dnsPolicy

  • nodeSelector(视调度情况而定)

  • affinity(视调度情况而定)

  • tolerations(视调度情况而定)

网关Go Struct实现

展开查看文件示例

package v1beta1

import (
    corev1 "k8s.io/api/core/v1"
    metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
)

type GatewayType string
type ConfigState string

const (
    GatewayTypeIngress GatewayType = "ingress"
    GatewayTypeEgress  GatewayType = "egress"
)

// IstioGatewaySpec defines the desired state of Istio
// +k8s:openapi-gen=true
type IstioGatewaySpec struct {
    // +kubebuilder:validation:Enum=ingress;egress
    GatewayType                    GatewayType `json:"gatewayType,omitempty"`
    IstioGatewayBasicConfiguration `json:",inline"`
    ClusterIds                     []string                                  `json:"clusterIds,omitempty"`
    clusterId                      string                                    `json:"clusterId,omitempty"`
    Overrides                      map[string]IstioGatewayBasicConfiguration `json:"overrides,omitempty"`
}

type KernelParameters struct {
    NetCoreSoMaxConn             *string `json:"net.core.somaxconn,omitempty"`
    NetCoreNetdevMaxBacklog      *string `json:"net.core.netdev_max_backlog,omitempty"`
    NetIpv4TcpRMem               *string `json:"net.ipv4.tcp_rmem,omitempty"`
    NetIpv4TcpWMem               *string `json:"net.ipv4.tcp_wmem,omitempty"`
    NetIpv4IpLocalPortRange      *string `json:"net.ipv4.ip_local_port_range,omitempty"`
    NetIpv4TcpFinTimeout         *string `json:"net.ipv4.tcp_fin_timeout,omitempty"`
    NetIpv4TcpTwTimeout          *string `json:"net.ipv4.tcp_tw_timeout,omitempty"`
    NetIpv4TcpTwReuse            *string `json:"net.ipv4.tcp_tw_reuse,omitempty"`
    NetIpv4TcpTwRecycle          *string `json:"net.ipv4.tcp_tw_recycle,omitempty"`
    NetIpv4TcpTimestamps         *string `json:"net.ipv4.tcp_timestamps,omitempty"`
    NetIpv4TcpRetries2           *string `json:"net.ipv4.tcp_retries2,omitempty"`
    NetIpv4TcpSlowStartAfterIdle *string `json:"net.ipv4.tcp_slow_start_after_idle,omitempty"`
    NetIpv4TcpMaxOrphans         *string `json:"net.ipv4.tcp_max_orphans,omitempty"`
    NetIpv4TcpMaxSynBacklog      *string `json:"net.ipv4.tcp_max_syn_backlog,omitempty"`
    NetIpv4TcpNoMetricsSave      *string `json:"net.ipv4.tcp_no_metrics_save,omitempty"`
    NetIpv4TcpAutocorking        *string `json:"net.ipv4.tcp_autocorking,omitempty"`
    KernelPrintk                 *string `json:"kernel.printk,omitempty"`
    VmSwappiness                 *string `json:"vm.swappiness,omitempty"`
}

type KernelConfiguration struct {
    Enabled    *bool            `json:"enabled,omitempty"`
    Parameters KernelParameters `json:"parameters,omitempty"`
}

type GzipCompressorConfiguration struct {
    MemoryLevel         *uint32 `json:"memory_level,omitempty"`
    CompressionLevel    *string `json:"compression_level,omitempty"`
    CompressionStrategy *string `json:"compression_strategy,omitempty"`
    WindowBits          *uint32 `json:"window_bits,omitempty"`
    ChunkSize           *uint32 `json:"chunk_size,omitempty"`
}

type CompressorConfiguration struct {
    Enabled                    *bool                        `json:"enabled,omitempty"`
    MinContentLength           *uint32                      `json:"min_content_length,omitempty"`
    ContentType                *[]string                    `json:"content_type,omitempty"`
    DisableOnETagHeader        *bool                        `json:"disable_on_etag_header,omitempty"`
    RemoveAcceptEncodingHeader *bool                        `json:"remove_accept_encoding_header,omitempty"`
    Gzip                       *GzipCompressorConfiguration `json:"gzip,omitempty"`
}

type ReadinessProbeConfiguration struct {
    FailureThreshold int32 `json:"failureThreshold,omitempty"`
    PeriodSeconds    int32 `json:"periodSeconds,omitempty"`
    SuccessThreshold int32 `json:"successThreshold,omitempty"`
}

// +k8s:openapi-gen=true
type IstioGatewayBasicConfiguration struct {
    ReplicaCount     int32 `json:"replicaCount,omitempty"`
    AutoscaleEnabled bool  `json:"autoscaleEnabled,omitempty"`
    MinReplicas      int32 `json:"minReplicas,omitempty"`
    MaxReplicas      int32 `json:"maxReplicas,omitempty"`
    // +kubebuilder:validation:Enum=ClusterIP;NodePort;LoadBalancer
    ServiceType           corev1.ServiceType           `json:"serviceType,omitempty"`
    LoadBalancerIP        string                       `json:"loadBalancerIP,omitempty"`
    ExternalTrafficPolicy string                       `json:"externalTrafficPolicy,omitempty"`
    ServiceAnnotations    map[string]string            `json:"serviceAnnotations,omitempty"`
    PodAnnotations        map[string]string            `json:"podAnnotations,omitempty"`
    ServiceLabels         map[string]string            `json:"serviceLabels,omitempty"`
    PodLabels             map[string]string            `json:"podLabels,omitempty"`
    Resources             *corev1.ResourceRequirements `json:"resources,omitempty"`
    EnvVars               []corev1.EnvVar              `json:"env,omitempty"`
    Ports                 []corev1.ServicePort         `json:"ports,omitempty"`
    MeshExpansionPorts    []corev1.ServicePort         `json:"meshExpansionPorts,omitempty"`
    NodeSelector          map[string]string            `json:"nodeSelector,omitempty"`
    ApplicationPorts      string                       `json:"applicationPorts,omitempty"`
    RequestedNetworkView  string                       `json:"requestedNetworkView,omitempty"`
    Affinity              *corev1.Affinity             `json:"affinity,omitempty"`
    Tolerations           []corev1.Toleration          `json:"tolerations,omitempty"`
    SecretVolumes         []SecretVolume               `json:"secretVolumes,omitempty"`
    ConfigVolumes         []ConfigVolume               `json:"configVolumes,omitempty"`
    RollingMaxSurge       *string                      `json:"rollingMaxSurge,omitempty"`
    RollingMaxUnavailable *string                      `json:"rollingMaxUnavailable,omitempty"`
    CPU                   HpaCPU                       `json:"cpu,omitempty"`
    Memory                HpaMemory                    `json:"memory,omitempty"`
    Kernel                KernelConfiguration          `json:"kernel,omitempty"`
    Compressor            CompressorConfiguration      `json:"compression,omitempty"`
    RunAsRoot             *bool                        `json:"runAsRoot,omitempty"`
    Lifecycle             *corev1.Lifecycle            `json:"lifecycle,omitempty"`
    ReadinessProbe        ReadinessProbeConfiguration  `json:"readinessProbe,omitempty"`
    HostNetwork           *bool                        `json:"hostNetwork,omitempty"`
    DnsPolicy             corev1.DNSPolicy             `json:"dnsPolicy,omitempty"`
    AutoCreateGatewayYaml *bool                        `json:"autoCreateGatewayYaml,omitempty"`
}

type SecretVolume struct {
    Name       string `json:"name,omitempty"`
    SecretName string `json:"secretName,omitempty"`
    MountPath  string `json:"mountPath,omitempty"`
}

type ConfigVolume struct {
    Name          string `json:"name,omitempty"`
    ConfigMapName string `json:"configMapName,omitempty"`
    MountPath     string `json:"mountPath,omitempty"`
}

// +k8s:openapi-gen=true
type HpaCPU struct {
    TargetAverageUtilization *int32 `json:"targetAverageUtilization,omitempty"`
}

// +k8s:openapi-gen=true
type HpaMemory struct {
    TargetAverageUtilization *int32 `json:"targetAverageUtilization,omitempty"`
}

// +k8s:openapi-gen=true
type IstioGatewayStatus struct {
    // INSERT ADDITIONAL STATUS FIELD - define observed state of cluster
    // Important: Run "operator-sdk generate k8s" to regenerate code after modifying this file
    // Add custom validation using kubebuilder tags: https://book.kubebuilder.io/beyond_basics/generating_crd.html
    Status                     ConfigState      `json:"Status,omitempty"`
    GatewayAddress             []string         `json:"GatewayAddress,omitempty"`
    ClusterIdGatewayAddressMap []GatewayAddress `json:"ClusterIdGatewayAddressMap,omitempty"`

    ErrorMessage string `json:"ErrorMessage,omitempty"`
}

// +k8s:openapi-gen=true
type GatewayAddress struct {
    IPAddress string `json:"ipAddress,omitempty"`
    ClusterId string `json:"clusterId,omitempty"`
}

// +k8s:deepcopy-gen:interfaces=k8s.io/apimachinery/pkg/runtime.Object

// IstioGateway is the Schema for the istiogateways API
// +k8s:openapi-gen=true
// +kubebuilder:subresource:status
type IstioGateway struct {
    metav1.TypeMeta   `json:",inline"`
    metav1.ObjectMeta `json:"metadata,omitempty"`

    Spec   IstioGatewaySpec   `json:"spec,omitempty"`
    Status IstioGatewayStatus `json:"status,omitempty"`
}

// +k8s:deepcopy-gen:interfaces=k8s.io/apimachinery/pkg/runtime.Object

// IstioGatewayList contains a list of IstioGateway
type IstioGatewayList struct {
    metav1.TypeMeta `json:",inline"`
    metav1.ListMeta `json:"metadata,omitempty"`
    Items           []IstioGateway `json:"items"`
}