Realtime Compute for Apache Flink：Window TVF

新增、刪除、修改非Distinct的統計指標（Aggregate Function）。

• 對於新增統計指標，屬於部分相容，從當前作業啟動時開始累計。

• 對於刪除統計指標，屬於完全相容變更。刪除的統計指標對應的狀態資料會被丟棄。

• 對於既有新增又有刪除統計指標，則屬於部分相容變更。新增的統計指標從當前作業啟動時開始累計，刪除的統計指標對應的狀態資料會被丟棄。

• 對於修改統計指標，被視為刪除和新增兩個操作，屬於部分相容變更。新增的統計指標從當前作業啟動時開始累計，刪除的統計指標對應的狀態資料會被丟棄。

-- 原始SQL。
select a, sum(b), max(c)
from table (tumble(table MyTable, descriptor(ts), interval '1' minute))
group by a, window_start, window_end;

-- 新增統計指標：count(c)，屬於部分相容變更。
-- sum(b)、max(c)的計算結果不受影響，count(c)的值在作業啟動時從0開始累計。
select a, sum(b), max(c), count(c)
from table (tumble(table MyTable, descriptor(ts), interval '1' minute))
group by a, window_start, window_end;

-- 刪除統計指標：sum(b)，屬於完全相容變更。
-- max(c)的計算結果不受影響。
select a, max(c)
from table (tumble(table MyTable, descriptor(ts), interval '1' minute))
group by a, window_start, window_end;

-- 修改統計指標：max(c) -> min(c)，屬於部分相容變更。
-- sum(b)的計算結果不受影響。max(c)被認為刪除，其對應的狀態資料會被丟棄。
-- min(c)被認為是新增指標，其值在作業啟動時開始計算。
select a, sum(b), min(c)
from table (tumble(table MyTable, descriptor(ts), interval '1' minute))
group by a, window_start, window_end;

調整非Distinct的統計指標位置，該修改屬於完全相容變更。

-- 原始SQL。
select a, sum(b), max(c)
from table (tumble(table MyTable, descriptor(ts), interval '1' minute))
group by a, window_start, window_end;

-- 調整統計指標位置：sum(b)、max(c)，屬於完全相容變更。
-- sum(b)、max(c) 的計算結果不受影響。
select a, max(c), sum(b)
from table (tumble(table MyTable, descriptor(ts), interval '1' minute))
group by a, window_start, window_end;

當非Distinct的統計指標涉及的欄位有計算邏輯變化時，該統計指標被認為做了修改操作，該修改屬於部分相容變更。

-- 原始SQL。
select a, sum(b), max(c)
from table (tumble(table MyTable, descriptor(ts), interval '1' minute))
group by a, window_start, window_end;

-- 修改統計指標：max(c) -> max(substring(c, 1, 5))，屬於部分相容變更。
-- sum(b)的計算結果不受影響。max(c)被認為刪除，其對應的狀態資料會被丟棄。
-- max(substring(c, 1, 5)) 被認為新增指標，其值在作業啟動時開始計算。
create temporary view MyView select a, b, substring(c, 1, 5) as c, ts from MyTable;
select a, sum(b), max(c)
from table (tumble(table MyView, descriptor(ts), interval '1' minute))
group by a, window_start, window_end;

新增、刪除window屬性欄位，該修改屬於完全相容變更。

-- 原始SQL。
select a,
  sum(b),
  max(c),
  window_start
from table (tumble(table MyTable, descriptor(ts), interval '1' minute))
  group by a, window_start, window_end;

-- 新增window end屬性，該修改屬於完全相容變更。
select a,
  sum(b),
  max(c),
  window_start,
  window_end
from table (tumble(table MyTable, descriptor(ts), interval '1' minute))
  group by a, window_start, window_end;

-- 刪除window start屬性，該修改屬於完全相容變更。
select a,
  sum(b),
  max(c)
from table (tumble(table MyTable, descriptor(ts), interval '1' minute))
  group by a, window_start, window_end;

修改window相關屬性（window的類型，window的大小，時間相關屬性），該修改屬於不相容變更。

--原始SQL。
select a,
  sum(b),
  max(c),
  window_start
from table (tumble(table MyTable, descriptor(ts), interval '1' minute))
  group by a, window_start, window_end;

-- 修改window類型：tumble -> hop，該修改屬於不相容修改。
select a,
  sum(b),
  max(c),
  hop_start(ts, interval '1' minute, interval '2' minute) as window_start
from MyTable
  group by a, hop(ts, interval '1' minute, interval '2' minute);

-- 修改window大小：'1' minute -> '2' minute，該修改屬於不相容修改。
select a,
  sum(b),
  max(c),
  tumble_start(ts, interval '2' minute) as window_start
from MyTable
  group by a, tumble(ts, interval '2' minute);

-- 修改時間相關屬性：ts -> proctime，該修改屬於不相容修改。
select a,
  sum(b),
  max(c),
  tumble_start(ts, interval '1' minute) as window_start
from MyTable
  group by a, tumble(proctime, interval '1' minute);

新增、刪除、修改統計維度（group key）或者統計維度涉及欄位的計算邏輯發生變化，該修改屬於不相容變更。

-- 原始SQL。
select a,
  sum(b),
  max(c),
  tumble_start(ts, interval '1' minute) as window_start
from MyTable
  group by a, tumble(ts, interval '1' minute);

-- 新增統計維度：d，該修改屬於不相容修改。
select a,
  sum(b),
  max(c),
  tumble_start(ts, interval '1' minute) as window_start
from MyTable
  group by a, d, tumble(ts, interval '1' minute);

-- 其他樣本可參考Group Aggregate修改group key樣本。

新增、刪除、修改Distinct統計指標（distinct aggregate function）或者Distinct統計指標涉及欄位的計算邏輯發生變化，該修改屬於不相容變更。

-- 原始SQL。
select a,
  sum(b),
  count(distinct b),
  max(c),
  count(distinct c),
  tumble_start(ts, interval '1' minute) as window_start
from MyTable
  group by a, tumble(ts, interval '1' minute);

-- 新增Distinct統計指標：count(distinct b)，該修改屬於不相容修改。
select a,
  sum(b),
  max(c),
  count(distinct c),
  tumble_start(ts, interval '1' minute) as window_start
from MyTable
  group by a, tumble(ts, interval '1' minute);

-- 其他樣本可參考Group Aggregate修改Distinct統計指標樣本。

刪除了所有統計指標，該修改屬於不相容變更。（所有統計指標的狀態資料都被丟棄，沒有狀態複用。）

-- 原始SQL。
select a,
  sum(b),
  count(distinct b),
  max(c),
  count(distinct c),
  tumble_start(ts, interval '1' minute) as window_start
from MyTable
  group by a, tumble(ts, interval '1' minute);

-- 刪除所有統計指標：sum(b), max(c)，該修改屬於不相容修改。
select a,
  tumble_start(ts, interval '1' minute) as window_start
from MyTable
  group by a, tumble(ts, interval '1' minute);