Development pull

[bleichro]

Ik wil graag mijn development naar main pullen.

[Erik-Geo]

Ik heb nu een deel bekeken en leg dit vast bij je terug om mee aan de slag te gaan omdat het best al wat werk is denk ik.

Een paar dingen zoals exports bekijk ik later apart nog.

[Erik-Geo]

Dit is niet correct. Deze functie is alleen de implementatie voor een xr.DataAarray, die van een Dataset staat eronder. Het principe wat je hier ziet heet function overloading en dit is hoe je het in Python implementeert: https://docs.python.org/3/library/functools.html#functools.singledispatch

Zal het eventueel nog toelichten

[Erik-Geo]

Waarvoor gebruik je die?

[Erik-Geo]

Dit geeft niet wat we willen. We willen de gemeenschappelijke data_vars (intersection in het Engels/programmeertermen) maar nu krijgen we alle unieke data_vars in beide xr.Datasets (een 'union').

Stel we hebben twee python sets s1 en s2:

s1 = {'a', 'b'}
s2 = { 'a', 'c'}

s1 | s2 zal nu {'a', 'b', 'c'} worden, maar we willen dat het alleen de gemeenschappelijke {'a'} wordt.

Als je deze lijn vervangt door:

set(ds_l.data_vars) & set(ds_r.data_vars)

heb je wat je wil

[Erik-Geo]

Meteen als dict comprehension:

{name: ds_l.get(name, 0) + ds_r.get(name, 0) for name in all_vars}

[Erik-Geo]

Nu worden de attrs van de linker dataset overgenomen, we moeten nog iets verzinnen zodat de attributen van de rechter bewaard blijven.

[Erik-Geo]

Een property kan je later in je loop ook aanroepen, niet nodig om daar een kolom van te maken

[Erik-Geo]

Op dit moment kan je geom.area gebruiken.

Dat bedoelde ik met vorige comment

[Erik-Geo]

Hebben we niet alleen de mean nodig binnen een gebied? zoals de onderstaande functie suggereert ook?

Andere optie is de min en max van bodemdaling binnen een gebied meenemen als onzekerheid -> Marc vragen wat ie wil

[Erik-Geo]

Voorgestelde aanpak:

1. Eerst alle datasets met statistieken clippen. Daar hoeven we geen nieuwe functie voor te schrijven want het is een simpele one-liner:

tect_stats_clipped = tect_stats.rio.clip([geom], crs=gdf.crs, drop=True, all_touched=True)

enzovoort voor gia_stats, combined_stats, mining +/- 30 jaar, total +/- 30 jaar

2. Nu hebben we dus nog steeds al die datasets met mean, min en max arrays voor al onze bodemdalingscomponenten en combinaties daarvan, maar dan voor één gebied op dit punt in de loop. We hebben dus één functie nodig die voor elk van die datasets zoiets doet voor bijvoorbeeld tectoniek:

tect_subsidence_in_area = stats.mean_value_of_dataset_vars(tect_stats_clipped)

In deze functie loop je over alle data_vars van text_stats_clipped en neem je de mean van alle waarden in de dataarrays. Die schrijf je weg als dictionary zodat uiteindelijk tect_subsidence_in_area er als volgt uitziet met uit m'n duim gezogen waarden:

{'mean': 0.5, 'min': 0.2, 'max': 0.7}

Voordeel hiervan is dat we heel makkelijk andere statistieken kunnen implementeren mocht het nodig zijn. Bijvoorbeeld als we een dataset hebben met niet alleen mean, min en max in de toekomst, maar ook perc_10, median en perc_90 oid dan hoeven we niks aan te passen tot op dit punt in de code en komt het gewoon netjes in deze dictionary te staan. Dat is het idee van zo min mogelijk 'hardcoden' en vooruit kijken (soms verder dan nodig is, maar vak genoeg is het toch een keer nodig) + Volgens mij kunnen we alle datasets inclusief mining op deze manier hetzelfe behandelen (als je ook mijn comment van regel 55 hebt geimplementeerd).

3. Als laatste wil je nog de textuele variant hebben voor het schrijven naar de Excel in de opmaak die Marc graag wil hebben. Hier kan je een apart utility functie voor schrijven in utils.py die een dictionary zoals bijvoorbeeld {'mean': 0.5, 'min': 0.2, 'max': 0.7} omzet naar het gewenste tekstformat

[Erik-Geo]

Vanaf deze regel buiten de loop plaatsen! Na elk gebied update je nu het dataframe en schrijf je de Excel weg. Dus totaal wordt er meer dan 20+ overbodig een Excel weggeschreven.