[enhancement](memory) Add PODArray UT and pick some patch

[xinyiZzz]

Proposed changes

1. Add PODArray ut
2. pick Cleanup PODArray ClickHouse/ClickHouse#21533
3. pick PODArray swap fix ClickHouse/ClickHouse#21678
4. pick Get rid of boost::iterator_adaptor ClickHouse/ClickHouse#9498
5. pick Fix PODArray.insert ClickHouse/ClickHouse#7791
6. pick Use memmove in PODArray::insert to handle memory overlapping. ClickHouse/ClickHouse#24271
7. if c_end_of_storage == null, allocated_bytes return 0.
8. Add some checks for DEBUG.
9. TODO: Adapt internal data structures to 512-bit era Adapt internal data structures to 512-bit era ClickHouse/ClickHouse#42564

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[xinyiZzz]

run buildall

[github-actions]

clang-tidy made some suggestions

[doris-robot]

TPC-H: Total hot run time: 41441 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cb6b5875248bdbebb81e622580bb7fbdb9a40bff, data reload: false

------ Round 1 ----------------------------------
q1	17611	4365	4289	4289
q2	2028	198	216	198
q3	10428	1254	1224	1224
q4	10195	858	813	813
q5	7494	2720	2768	2720
q6	219	136	139	136
q7	983	614	605	605
q8	9235	2159	2129	2129
q9	9419	6715	6722	6715
q10	9086	3932	3887	3887
q11	469	247	246	246
q12	442	230	234	230
q13	17321	3257	3176	3176
q14	269	217	221	217
q15	522	475	476	475
q16	515	396	398	396
q17	1020	767	674	674
q18	8371	7816	7817	7816
q19	8340	1661	1615	1615
q20	647	313	321	313
q21	5190	3249	4005	3249
q22	382	333	318	318
Total cold run time: 120186 ms
Total hot run time: 41441 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4548	4426	4392	4392
q2	392	276	262	262
q3	3136	2973	2871	2871
q4	1978	1735	1715	1715
q5	5421	5309	5498	5309
q6	215	128	127	127
q7	2160	1840	1846	1840
q8	3241	3380	3389	3380
q9	8737	8659	8711	8659
q10	4075	3892	3870	3870
q11	609	491	507	491
q12	768	595	607	595
q13	16548	3096	3162	3096
q14	304	283	262	262
q15	534	490	487	487
q16	487	438	454	438
q17	1823	1548	1510	1510
q18	8302	7673	7353	7353
q19	2646	1573	1531	1531
q20	2048	1817	1791	1791
q21	10080	4674	4627	4627
q22	589	554	539	539
Total cold run time: 78641 ms
Total hot run time: 55145 ms

[doris-robot]

TPC-DS: Total hot run time: 171920 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cb6b5875248bdbebb81e622580bb7fbdb9a40bff, data reload: false

query1	926	384	382	382
query2	6919	2399	2372	2372
query3	6643	208	209	208
query4	19171	17300	17352	17300
query5	4202	422	428	422
query6	247	158	175	158
query7	4587	298	288	288
query8	318	273	282	273
query9	8466	2402	2373	2373
query10	460	272	253	253
query11	10639	10077	10361	10077
query12	131	87	93	87
query13	1643	378	371	371
query14	9298	6918	7470	6918
query15	237	195	183	183
query16	7762	277	263	263
query17	1549	539	539	539
query18	1963	282	277	277
query19	207	177	166	166
query20	97	91	84	84
query21	195	139	131	131
query22	4248	3908	4018	3908
query23	34110	32910	33108	32910
query24	6687	2967	2761	2761
query25	463	360	384	360
query26	691	150	151	150
query27	1898	320	319	319
query28	3808	2082	2067	2067
query29	849	611	602	602
query30	229	151	150	150
query31	927	741	747	741
query32	60	52	52	52
query33	498	285	274	274
query34	861	468	474	468
query35	697	581	590	581
query36	1046	888	891	888
query37	99	70	65	65
query38	2911	2813	2770	2770
query39	849	791	790	790
query40	191	123	120	120
query41	52	50	52	50
query42	103	99	100	99
query43	583	550	542	542
query44	1060	724	746	724
query45	190	164	171	164
query46	1056	724	712	712
query47	1872	1772	1797	1772
query48	358	299	302	299
query49	780	410	375	375
query50	762	386	384	384
query51	6832	6695	6753	6695
query52	107	86	86	86
query53	360	284	283	283
query54	545	438	430	430
query55	74	72	74	72
query56	260	242	253	242
query57	1127	1020	1062	1020
query58	230	214	212	212
query59	3378	3072	3216	3072
query60	271	270	261	261
query61	90	87	116	87
query62	559	452	482	452
query63	314	283	283	283
query64	2562	1707	1681	1681
query65	3178	3089	3120	3089
query66	781	329	321	321
query67	15312	14874	14855	14855
query68	4584	545	530	530
query69	492	264	278	264
query70	1174	1092	1145	1092
query71	391	267	272	267
query72	7753	5745	5355	5355
query73	733	316	320	316
query74	6115	5667	5602	5602
query75	3265	2615	2634	2615
query76	2334	1000	1016	1000
query77	398	263	266	263
query78	10242	9770	9775	9770
query79	2597	502	508	502
query80	1035	449	434	434
query81	530	225	222	222
query82	716	94	90	90
query83	255	190	169	169
query84	255	87	84	84
query85	1396	335	264	264
query86	490	298	303	298
query87	3272	3082	3160	3082
query88	3900	2344	2354	2344
query89	476	398	381	381
query90	2056	186	181	181
query91	123	100	93	93
query92	59	48	49	48
query93	2495	514	494	494
query94	1115	184	180	180
query95	404	312	308	308
query96	610	267	265	265
query97	3199	2982	2986	2982
query98	255	217	215	215
query99	1172	857	847	847
Total cold run time: 253469 ms
Total hot run time: 171920 ms

[doris-robot]

ClickBench: Total hot run time: 30.28 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit cb6b5875248bdbebb81e622580bb7fbdb9a40bff, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.04
query4	1.69	0.07	0.07
query5	0.51	0.48	0.50
query6	1.13	0.71	0.71
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.55	0.49	0.50
query10	0.54	0.56	0.55
query11	0.15	0.11	0.11
query12	0.15	0.12	0.12
query13	0.60	0.59	0.59
query14	0.78	0.78	0.80
query15	0.83	0.80	0.80
query16	0.37	0.36	0.36
query17	1.01	1.03	0.99
query18	0.22	0.25	0.24
query19	1.88	1.80	1.71
query20	0.02	0.01	0.01
query21	15.46	0.69	0.67
query22	4.72	7.27	1.72
query23	18.31	1.32	1.27
query24	1.99	0.24	0.21
query25	0.16	0.08	0.09
query26	0.27	0.17	0.17
query27	0.07	0.08	0.08
query28	13.29	1.01	0.99
query29	12.78	3.31	3.26
query30	0.24	0.05	0.05
query31	2.87	0.38	0.37
query32	3.31	0.46	0.47
query33	2.93	2.95	2.90
query34	16.99	4.42	4.36
query35	4.48	4.48	4.52
query36	0.74	0.49	0.48
query37	0.18	0.14	0.15
query38	0.16	0.14	0.15
query39	0.05	0.04	0.04
query40	0.16	0.14	0.13
query41	0.09	0.04	0.04
query42	0.06	0.04	0.05
query43	0.04	0.04	0.03
Total cold run time: 110.2 s
Total hot run time: 30.28 s

[xinyiZzz]

run buildall

[doris-robot]

TeamCity be ut coverage result:
Function Coverage: 36.29% (9235/25445)
Line Coverage: 27.66% (75804/274038)
Region Coverage: 26.88% (39252/146014)
Branch Coverage: 23.64% (19929/84302)
Coverage Report: http://coverage.selectdb-in.cc/coverage/610418da2325414fcd22d25ade17ade0f19ac5f6_610418da2325414fcd22d25ade17ade0f19ac5f6/report/index.html

[doris-robot]

TPC-H: Total hot run time: 42078 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 610418da2325414fcd22d25ade17ade0f19ac5f6, data reload: false

------ Round 1 ----------------------------------
q1	17605	5014	4304	4304
q2	2032	198	199	198
q3	10451	1164	1240	1164
q4	10203	794	780	780
q5	7495	2749	2723	2723
q6	221	132	149	132
q7	966	622	620	620
q8	9215	2154	2123	2123
q9	9378	6737	6673	6673
q10	9653	3945	3946	3945
q11	454	240	241	240
q12	483	234	225	225
q13	17190	3188	3249	3188
q14	276	234	237	234
q15	526	476	467	467
q16	485	386	374	374
q17	986	735	725	725
q18	8507	7902	7690	7690
q19	8404	1636	1580	1580
q20	638	314	304	304
q21	5209	4114	4075	4075
q22	385	314	324	314
Total cold run time: 120762 ms
Total hot run time: 42078 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4663	4437	4432	4432
q2	372	273	272	272
q3	3130	2972	2980	2972
q4	1920	1614	1583	1583
q5	5471	5477	5497	5477
q6	223	121	123	121
q7	2211	1847	1816	1816
q8	3281	3444	3383	3383
q9	8640	8616	8730	8616
q10	3979	3738	3898	3738
q11	589	471	486	471
q12	792	629	640	629
q13	17072	3173	3226	3173
q14	297	274	259	259
q15	527	477	481	477
q16	511	437	429	429
q17	1850	1521	1488	1488
q18	7728	7621	7404	7404
q19	1677	1558	1580	1558
q20	1975	1782	1800	1782
q21	8093	4682	4670	4670
q22	599	503	523	503
Total cold run time: 75600 ms
Total hot run time: 55253 ms

[doris-robot]

TPC-DS: Total hot run time: 172008 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 610418da2325414fcd22d25ade17ade0f19ac5f6, data reload: false

query1	912	391	368	368
query2	6436	2330	2207	2207
query3	6656	202	209	202
query4	19678	17474	17283	17283
query5	4130	418	410	410
query6	240	154	163	154
query7	4584	304	287	287
query8	294	271	280	271
query9	8460	2379	2359	2359
query10	444	279	261	261
query11	10628	10180	9973	9973
query12	132	90	91	90
query13	1639	382	355	355
query14	9047	6887	7491	6887
query15	231	190	184	184
query16	7781	259	263	259
query17	1721	510	508	508
query18	1965	267	271	267
query19	217	156	158	156
query20	90	90	84	84
query21	203	130	130	130
query22	4231	3907	4020	3907
query23	33542	33069	33123	33069
query24	7496	2835	2896	2835
query25	553	354	360	354
query26	710	155	156	155
query27	2197	320	319	319
query28	5597	2057	2076	2057
query29	848	598	587	587
query30	243	150	154	150
query31	990	741	748	741
query32	89	52	54	52
query33	565	264	254	254
query34	860	471	476	471
query35	716	614	579	579
query36	1026	916	915	915
query37	102	69	66	66
query38	2885	2794	2781	2781
query39	825	802	804	802
query40	203	131	129	129
query41	54	55	53	53
query42	107	100	100	100
query43	594	544	521	521
query44	1083	713	730	713
query45	189	169	171	169
query46	1063	739	713	713
query47	1883	1746	1796	1746
query48	370	301	297	297
query49	848	385	397	385
query50	766	391	381	381
query51	6853	6776	6887	6776
query52	96	88	93	88
query53	354	294	292	292
query54	585	452	420	420
query55	74	73	77	73
query56	257	247	242	242
query57	1130	1022	1045	1022
query58	230	241	212	212
query59	3334	3192	3161	3161
query60	268	250	251	250
query61	89	86	87	86
query62	590	448	443	443
query63	318	292	286	286
query64	8469	2265	1788	1788
query65	3159	3066	3088	3066
query66	764	329	328	328
query67	15332	14903	14818	14818
query68	4507	548	529	529
query69	441	283	274	274
query70	1208	1118	1131	1118
query71	363	264	268	264
query72	7424	5324	5622	5324
query73	720	321	316	316
query74	6092	5579	5632	5579
query75	3307	2666	2608	2608
query76	2261	978	962	962
query77	411	310	267	267
query78	10254	10157	9810	9810
query79	2570	519	511	511
query80	1091	444	430	430
query81	555	220	217	217
query82	945	96	93	93
query83	255	179	176	176
query84	253	89	88	88
query85	1118	269	269	269
query86	465	316	322	316
query87	3310	3120	3175	3120
query88	4170	2341	2357	2341
query89	483	398	385	385
query90	2013	188	188	188
query91	126	157	97	97
query92	60	47	50	47
query93	1994	507	497	497
query94	1141	186	183	183
query95	398	304	308	304
query96	597	265	268	265
query97	3194	3031	3037	3031
query98	244	220	222	220
query99	1138	832	856	832
Total cold run time: 261133 ms
Total hot run time: 172008 ms

[doris-robot]

ClickBench: Total hot run time: 30.82 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 610418da2325414fcd22d25ade17ade0f19ac5f6, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.03	0.04
query3	0.23	0.04	0.04
query4	1.69	0.07	0.07
query5	0.51	0.47	0.50
query6	1.14	0.71	0.72
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.55	0.49	0.48
query10	0.54	0.55	0.53
query11	0.16	0.12	0.11
query12	0.14	0.12	0.11
query13	0.60	0.59	0.59
query14	0.80	0.78	0.79
query15	0.83	0.81	0.81
query16	0.36	0.35	0.37
query17	0.97	0.95	0.98
query18	0.22	0.25	0.26
query19	1.77	1.69	1.71
query20	0.02	0.01	0.01
query21	15.48	0.73	0.71
query22	4.76	6.13	2.08
query23	18.30	1.46	1.39
query24	1.98	0.24	0.22
query25	0.16	0.08	0.08
query26	0.25	0.16	0.16
query27	0.07	0.07	0.09
query28	13.25	1.02	0.99
query29	13.27	3.32	3.28
query30	0.24	0.06	0.05
query31	2.87	0.38	0.38
query32	3.28	0.47	0.48
query33	2.90	2.84	2.90
query34	17.19	4.46	4.48
query35	4.56	4.56	4.72
query36	0.64	0.46	0.46
query37	0.17	0.15	0.15
query38	0.16	0.15	0.14
query39	0.04	0.03	0.04
query40	0.16	0.13	0.14
query41	0.09	0.04	0.05
query42	0.05	0.05	0.04
query43	0.04	0.03	0.04
Total cold run time: 110.63 s
Total hot run time: 30.82 s

[HappenLee]

LGTM

[github-actions]

PR approved by at least one committer and no changes requested.

[github-actions]

PR approved by anyone and no changes requested.

[xinyiZzz]

run buildall

[doris-robot]

TeamCity be ut coverage result:
Function Coverage: 36.30% (9238/25446)
Line Coverage: 27.67% (75821/274030)
Region Coverage: 26.89% (39259/146009)
Branch Coverage: 23.64% (19928/84294)
Coverage Report: http://coverage.selectdb-in.cc/coverage/8355788527a86780be6323dc6233623393acafa5_8355788527a86780be6323dc6233623393acafa5/report/index.html

[doris-robot]

TPC-H: Total hot run time: 42373 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 8355788527a86780be6323dc6233623393acafa5, data reload: false

------ Round 1 ----------------------------------
q1	17626	4489	4321	4321
q2	2020	201	201	201
q3	10439	1262	1162	1162
q4	10195	886	821	821
q5	7481	2727	2739	2727
q6	221	132	141	132
q7	982	640	628	628
q8	9234	2148	2125	2125
q9	9274	6766	6763	6763
q10	9297	3942	4007	3942
q11	446	260	254	254
q12	465	233	242	233
q13	18425	3222	3238	3222
q14	261	213	219	213
q15	510	469	472	469
q16	509	407	392	392
q17	994	729	709	709
q18	8446	7895	7902	7895
q19	5482	1615	1467	1467
q20	663	338	334	334
q21	5273	4075	4019	4019
q22	406	349	344	344
Total cold run time: 118649 ms
Total hot run time: 42373 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4711	4437	4673	4437
q2	390	267	265	265
q3	3163	2957	2743	2743
q4	1874	1595	1646	1595
q5	5499	5542	5495	5495
q6	217	128	131	128
q7	2208	1862	1828	1828
q8	3283	3392	3407	3392
q9	8690	8749	8763	8749
q10	4027	3723	3862	3723
q11	593	502	489	489
q12	802	613	614	613
q13	17298	3197	3179	3179
q14	305	266	275	266
q15	538	476	477	476
q16	498	451	453	451
q17	1856	1487	1466	1466
q18	7738	7650	7425	7425
q19	1696	1709	1533	1533
q20	2020	1820	1782	1782
q21	9769	4754	4755	4754
q22	585	525	542	525
Total cold run time: 77760 ms
Total hot run time: 55314 ms

[doris-robot]

TPC-DS: Total hot run time: 170167 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 8355788527a86780be6323dc6233623393acafa5, data reload: false

query1	922	392	383	383
query2	6450	2617	2351	2351
query3	6650	211	205	205
query4	19382	17301	17538	17301
query5	4112	440	435	435
query6	265	183	155	155
query7	4591	314	299	299
query8	311	297	295	295
query9	8604	2466	2456	2456
query10	447	275	265	265
query11	10507	10222	10055	10055
query12	139	95	86	86
query13	1655	363	362	362
query14	10116	7654	7294	7294
query15	230	199	187	187
query16	7795	271	270	270
query17	1696	537	542	537
query18	1976	271	266	266
query19	235	152	153	152
query20	94	86	90	86
query21	198	133	126	126
query22	4197	3988	3840	3840
query23	33417	32860	33247	32860
query24	6685	2857	2935	2857
query25	538	377	358	358
query26	708	160	156	156
query27	1922	321	319	319
query28	3741	2151	2131	2131
query29	852	614	607	607
query30	207	158	150	150
query31	935	758	766	758
query32	101	54	54	54
query33	517	265	265	265
query34	851	489	467	467
query35	704	608	592	592
query36	1045	942	918	918
query37	103	66	71	66
query38	2932	2831	2782	2782
query39	875	796	822	796
query40	197	126	128	126
query41	56	50	52	50
query42	103	96	95	95
query43	596	573	534	534
query44	1063	732	742	732
query45	184	168	172	168
query46	1053	742	684	684
query47	1873	1758	1753	1753
query48	377	300	301	300
query49	761	381	395	381
query50	781	386	385	385
query51	6972	6849	6681	6681
query52	100	94	90	90
query53	361	287	294	287
query54	555	462	441	441
query55	72	73	72	72
query56	257	243	244	243
query57	1127	1035	1038	1035
query58	267	211	217	211
query59	3442	3339	3273	3273
query60	277	287	311	287
query61	92	88	86	86
query62	574	457	459	457
query63	312	284	289	284
query64	8444	2230	1769	1769
query65	3180	3104	3154	3104
query66	786	324	338	324
query67	15272	15172	14744	14744
query68	4582	552	543	543
query69	439	272	267	267
query70	1130	1106	1085	1085
query71	397	274	269	269
query72	7487	2768	2590	2590
query73	711	323	325	323
query74	6009	5574	5580	5574
query75	3322	2640	2601	2601
query76	2281	1064	997	997
query77	406	266	268	266
query78	10125	10029	9827	9827
query79	2103	514	518	514
query80	1083	432	453	432
query81	525	225	230	225
query82	637	92	90	90
query83	253	166	168	166
query84	236	88	83	83
query85	1721	280	269	269
query86	511	302	322	302
query87	3307	3123	3136	3123
query88	4072	2459	2442	2442
query89	480	393	381	381
query90	2064	195	200	195
query91	126	97	97	97
query92	63	50	57	50
query93	2835	513	501	501
query94	1255	186	186	186
query95	397	306	312	306
query96	611	274	269	269
query97	3135	2987	3018	2987
query98	251	228	223	223
query99	1205	861	846	846
Total cold run time: 259598 ms
Total hot run time: 170167 ms

[doris-robot]

ClickBench: Total hot run time: 30.31 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 8355788527a86780be6323dc6233623393acafa5, data reload: false

query1	0.05	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.06	0.05
query4	1.66	0.10	0.10
query5	0.49	0.49	0.49
query6	1.12	0.73	0.72
query7	0.02	0.01	0.01
query8	0.04	0.04	0.04
query9	0.53	0.48	0.49
query10	0.54	0.56	0.55
query11	0.15	0.11	0.12
query12	0.15	0.12	0.12
query13	0.60	0.58	0.60
query14	0.78	0.77	0.80
query15	0.84	0.82	0.82
query16	0.38	0.37	0.39
query17	1.04	0.95	1.01
query18	0.20	0.26	0.25
query19	1.80	1.76	1.77
query20	0.02	0.01	0.02
query21	15.72	0.64	0.64
query22	4.27	7.63	1.61
query23	18.31	1.41	1.28
query24	1.91	0.21	0.22
query25	0.14	0.09	0.08
query26	0.25	0.16	0.18
query27	0.07	0.07	0.08
query28	13.32	1.01	1.00
query29	13.89	3.36	3.32
query30	0.24	0.06	0.05
query31	2.86	0.37	0.39
query32	3.28	0.46	0.46
query33	2.86	2.89	2.92
query34	17.26	4.41	4.40
query35	4.50	4.68	4.48
query36	0.64	0.46	0.46
query37	0.18	0.15	0.15
query38	0.16	0.15	0.15
query39	0.05	0.03	0.04
query40	0.17	0.14	0.15
query41	0.10	0.04	0.04
query42	0.06	0.04	0.05
query43	0.04	0.04	0.03
Total cold run time: 110.99 s
Total hot run time: 30.31 s