bij1
/
bij1-afdelingen
18
0
Fork 0
Code Issues 3 Pull Requests Projects Releases Wiki Activity

make cleanup

This commit is contained in:
Kiara Grouwstra 2021-12-26 21:11:25 +01:00
parent 065a1ab4df
commit cd5e46db6d
1 changed files with 18 additions and 10 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

28
Makefile
View File

@ -2,13 +2,21 @@
install:
pip install xlsx2csv
# https://www.cbs.nl/nl-nl/maatwerk/2020/39/buurt-wijk-en-gemeente-2020-voor-postcode-huisnummer
download:
download_municipalities:
wget -O gemeenten.xlsx https://www.cbs.nl/-/media/_excel/2020/47/gemeenten-alfabetisch-2021.xlsx; \
download_map:
wget -O design/gemeenten.svg https://upload.wikimedia.org/wikipedia/commons/3/30/Nederland_gemeenten_2021.svg; \
# https://www.cbs.nl/nl-nl/maatwerk/2020/39/buurt-wijk-en-gemeente-2020-voor-postcode-huisnummer
download_pc7:
wget -O pc7.zip https://www.cbs.nl/-/media/_excel/2020/39/2020-cbs-pc6huisnr20200801-buurt.zip; \
download_regex_plugin:
wget -O re.so https://github.com/nalgeon/sqlean/releases/download/0.15.1/re.so
download_all: download_municipalities download_map download_pc7 download_regex_plugin
convert:
xlsx2csv gemeenten.xlsx > gemeenten.csv; \
unzip pc7.zip -d pc7; \
@ -22,7 +30,7 @@ convert:
# Haaren -> Boxtel / Oisterwijk / Vught / Tilburg
sed -i 's/Appingedam/Eemsdelta/g;s/Delfzijl/Eemsdelta/g;s/Loppersum/Eemsdelta/g;s/Haaren/Tilburg/g' pc7/gemeenten2020_2021.csv
drop:
drop_all:
rm afdelingen.sqlite3
import_afdelingen:
@ -53,27 +61,25 @@ import_all: import_afdelingen import_gemeenten_2020 import_gemeenten import_pc6_
# join source with our annotations
join_gemeenten:
sqlite3 afdelingen.sqlite3 'DROP VIEW afdelingsgebieden; CREATE VIEW afdelingsgebieden AS SELECT gemeenten.Gemeentecode, GemeentecodeGM, gemeenten.Gemeentenaam, Provinciecode, ProvinciecodePV, Provincienaam, is_kern_gemeente, afdeling, campagne_gr_2022 FROM gemeenten JOIN bij1_gebieden ON gemeenten.Gemeentecode = bij1_gebieden.Gemeentecode;'
sqlite3 afdelingen.sqlite3 'DROP VIEW IF EXISTS afdelingsgebieden; CREATE VIEW afdelingsgebieden AS SELECT gemeenten.Gemeentecode, GemeentecodeGM, gemeenten.Gemeentenaam, Provinciecode, ProvinciecodePV, Provincienaam, is_kern_gemeente, afdeling, campagne_gr_2022 FROM gemeenten JOIN bij1_gebieden ON gemeenten.Gemeentecode = bij1_gebieden.Gemeentecode;'
dump_afdelingsgebieden:
sqlite3 -header -csv afdelingen.sqlite3 "select * from afdelingsgebieden;" > afdelingsgebieden.csv
join_pc7:
sqlite3 afdelingen.sqlite3 'CREATE VIEW pc7 AS SELECT PC6, Huisnummer, Gemeentenaam2020 FROM pc6_huisnr JOIN gemeenten_2020 ON pc6_huisnr.Gemeente2020 = gemeenten_2020.Gemcode2020;'
sqlite3 afdelingen.sqlite3 'DROP VIEW IF EXISTS pc7; CREATE VIEW pc7 AS SELECT PC6, Huisnummer, Gemeentenaam2020 FROM pc6_huisnr JOIN gemeenten_2020 ON pc6_huisnr.Gemeente2020 = gemeenten_2020.Gemcode2020;'
join_pc7_bij1:
sqlite3 afdelingen.sqlite3 'CREATE VIEW pc7_bij1 AS SELECT * FROM pc7 JOIN afdelingsgebieden ON pc7.Gemeentenaam2020 = afdelingsgebieden.Gemeentenaam;'
# WIP
sqlite3 afdelingen.sqlite3 'DROP VIEW IF EXISTS pc7_bij1; CREATE VIEW pc7_bij1 AS SELECT * FROM pc7 JOIN afdelingsgebieden ON pc7.Gemeentenaam2020 = afdelingsgebieden.Gemeentenaam;'
airtable_convert:
dos2unix leden-Alles.csv
airtable_pc7:
sqlite3 afdelingen.sqlite3 'SELECT load_extension("/home/kiara/Downloads/bij1-afdelingen/re")' 'CREATE VIEW leden_pc7 AS SELECT load_extension("/home/kiara/Downloads/bij1-afdelingen/re")' "SELECT *, REPLACE(UPPER(airtable_leden.Postcode), ' ', '') AS PC6, regexp_replace(airtable_leden.Straat, '\D', '') AS Huisnummer FROM airtable_leden;"
sqlite3 afdelingen.sqlite3 'SELECT load_extension("/home/kiara/Downloads/bij1-afdelingen/re")' 'DROP VIEW IF EXISTS leden_pc7; CREATE VIEW leden_pc7 AS SELECT load_extension("/home/kiara/Downloads/bij1-afdelingen/re")' "SELECT *, REPLACE(UPPER(airtable_leden.Postcode), ' ', '') AS PC6, regexp_replace(airtable_leden.Straat, '\D', '') AS Huisnummer FROM airtable_leden;"
join_airtable:
sqlite3 afdelingen.sqlite3 "CREATE VIEW leden_afdeling AS SELECT * FROM leden_pc7 JOIN pc7_bij1 ON airtable_leden.PC6 = pc7_bij1.PC6 AND airtable_leden.Huisnummer = pc7_bij1.Huisnummer;"
sqlite3 afdelingen.sqlite3 "DROP VIEW IF EXISTS leden_afdeling; CREATE VIEW leden_afdeling AS SELECT * FROM leden_pc7 JOIN pc7_bij1 ON airtable_leden.PC6 = pc7_bij1.PC6 AND airtable_leden.Huisnummer = pc7_bij1.Huisnummer;"
svg_tooltips:
cp ./design/gemeenten.svg ./design/gemeenten-tooltipped.svg; \
@ -89,6 +95,8 @@ svg_afdelingen:
bij1_to_afdelingen_svg: import_bij1_gebieden join_gemeenten dump_afdelingsgebieden svg_afdelingen
# WIP
svg_ondersteuningsverklaringen:
cp ./design/gemeenten-tooltipped.svg ./design/gemeenten-ondersteuningsverklaringen.svg; \
./svg-ondersteuningsverklaringen.sh