bij1
/
bij1-afdelingen
18
0
Fork 0
Code Issues 3 Pull Requests Projects Releases Wiki Activity

factor out db file

This commit is contained in:
Kiara Grouwstra 2022-01-20 11:48:13 +01:00
parent 47c6f9e1b4
commit b401cb9ea4
1 changed files with 21 additions and 20 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

41
Makefile
View File

@ -1,9 +1,10 @@
DB=./afdelingen.sqlite3
install:
pip install xlsx2csv
drop_all:
rm afdelingen.sqlite3
rm ${DB}
download_municipalities:
wget -O ./raw/gemeenten.xlsx https://www.cbs.nl/-/media/_excel/2020/47/gemeenten-alfabetisch-2021.xlsx
@ -37,55 +38,55 @@ convert_airtable:
convert_all: convert_gemeenten convert_pc7 convert_airtable
import_afdelingen:
sqlite3 afdelingen.sqlite3 'DROP TABLE afdelingen;'; \
sqlite3 afdelingen.sqlite3 -separator ";" '.import ./source/afdelingen.csv afdelingen'
sqlite3 ${DB} 'DROP TABLE afdelingen;'; \
sqlite3 ${DB} -separator ";" '.import ./source/afdelingen.csv afdelingen'
import_gemeenten_2020:
sqlite3 afdelingen.sqlite3 'DROP TABLE gemeenten_2020;'; \
sqlite3 afdelingen.sqlite3 -separator ";" '.import ./out/gemeenten2020_2021.csv gemeenten_2020'
sqlite3 ${DB} 'DROP TABLE gemeenten_2020;'; \
sqlite3 ${DB} -separator ";" '.import ./out/gemeenten2020_2021.csv gemeenten_2020'
import_gemeenten:
sqlite3 afdelingen.sqlite3 'DROP TABLE gemeenten;'; \
sqlite3 afdelingen.sqlite3 -separator "," '.import ./raw/gemeenten.csv gemeenten'
sqlite3 ${DB} 'DROP TABLE gemeenten;'; \
sqlite3 ${DB} -separator "," '.import ./raw/gemeenten.csv gemeenten'
import_pc6_huisnr:
sqlite3 afdelingen.sqlite3 'DROP TABLE pc6_huisnr;'; \
sqlite3 afdelingen.sqlite3 -separator ";" '.import ./raw/pc7/pc6hnr20200801_gwb.csv pc6_huisnr'
sqlite3 ${DB} 'DROP TABLE pc6_huisnr;'; \
sqlite3 ${DB} -separator ";" '.import ./raw/pc7/pc6hnr20200801_gwb.csv pc6_huisnr'
import_airtable_leden:
sqlite3 afdelingen.sqlite3 'DROP TABLE airtable_leden;'; \
sqlite3 afdelingen.sqlite3 -separator "," '.import ./source/leden-Alles.csv airtable_leden'
sqlite3 ${DB} 'DROP TABLE airtable_leden;'; \
sqlite3 ${DB} -separator "," '.import ./source/leden-Alles.csv airtable_leden'
import_bij1_gebieden:
sqlite3 afdelingen.sqlite3 'DROP TABLE bij1_gebieden;'; \
sqlite3 afdelingen.sqlite3 -separator "," '.import ./source/bij1-gebieden.csv bij1_gebieden'
sqlite3 ${DB} 'DROP TABLE bij1_gebieden;'; \
sqlite3 ${DB} -separator "," '.import ./source/bij1-gebieden.csv bij1_gebieden'
import_all: import_afdelingen import_gemeenten_2020 import_gemeenten import_pc6_huisnr import_airtable_leden import_bij1_gebieden
# join source with our annotations
join_gemeenten:
sqlite3 afdelingen.sqlite3 'DROP VIEW IF EXISTS afdelingsgebieden; CREATE VIEW afdelingsgebieden AS SELECT Gemeentecode, gemeenten.GemeentecodeGM, gemeenten.Gemeentenaam, Provinciecode, ProvinciecodePV, Provincienaam, is_kern_gemeente, afdeling, campagne_gr_2022, benodigde_ondersteuningsverklaringen, verzamelde_ondersteuningsverklaringen FROM gemeenten LEFT JOIN bij1_gebieden ON gemeenten.GemeentecodeGM = bij1_gebieden.GemeentecodeGM;'
sqlite3 ${DB} 'DROP VIEW IF EXISTS afdelingsgebieden; CREATE VIEW afdelingsgebieden AS SELECT Gemeentecode, gemeenten.GemeentecodeGM, gemeenten.Gemeentenaam, Provinciecode, ProvinciecodePV, Provincienaam, is_kern_gemeente, afdeling, campagne_gr_2022, benodigde_ondersteuningsverklaringen, verzamelde_ondersteuningsverklaringen FROM gemeenten LEFT JOIN bij1_gebieden ON gemeenten.GemeentecodeGM = bij1_gebieden.GemeentecodeGM;'
join_pc7:
sqlite3 afdelingen.sqlite3 'DROP VIEW IF EXISTS pc7; CREATE VIEW pc7 AS SELECT PC6, Huisnummer, Gemeentenaam2020 FROM pc6_huisnr LEFT JOIN gemeenten_2020 ON pc6_huisnr.Gemeente2020 = gemeenten_2020.Gemcode2020;'
sqlite3 ${DB} 'DROP VIEW IF EXISTS pc7; CREATE VIEW pc7 AS SELECT PC6, Huisnummer, Gemeentenaam2020 FROM pc6_huisnr LEFT JOIN gemeenten_2020 ON pc6_huisnr.Gemeente2020 = gemeenten_2020.Gemcode2020;'
join_pc7_bij1:
sqlite3 afdelingen.sqlite3 'DROP VIEW IF EXISTS pc7_bij1; CREATE VIEW pc7_bij1 AS SELECT * FROM pc7 LEFT JOIN afdelingsgebieden ON pc7.Gemeentenaam2020 = afdelingsgebieden.Gemeentenaam;'
sqlite3 ${DB} 'DROP VIEW IF EXISTS pc7_bij1; CREATE VIEW pc7_bij1 AS SELECT * FROM pc7 LEFT JOIN afdelingsgebieden ON pc7.Gemeentenaam2020 = afdelingsgebieden.Gemeentenaam;'
# CREATE VIEW leden_pc7 AS
join_airtable_pc7:
sqlite3 afdelingen.sqlite3 "SELECT load_extension('${PWD}/re')" "DROP VIEW IF EXISTS leden_pc7; SELECT *, REPLACE(UPPER(airtable_leden.Postcode), ' ', '') AS PC6, regexp_replace(airtable_leden.Straat, '[^0-9]+', '') AS Huisnummer FROM airtable_leden;"
sqlite3 ${DB} "SELECT load_extension('${PWD}/re')" "DROP VIEW IF EXISTS leden_pc7; SELECT *, REPLACE(UPPER(airtable_leden.Postcode), ' ', '') AS PC6, regexp_replace(airtable_leden.Straat, '[^0-9]+', '') AS Huisnummer FROM airtable_leden;"
join_airtable:
sqlite3 afdelingen.sqlite3 "DROP VIEW IF EXISTS leden_afdeling; CREATE VIEW leden_afdeling AS SELECT * FROM leden_pc7 LEFT JOIN pc7_bij1 ON airtable_leden.PC6 = pc7_bij1.PC6 AND airtable_leden.Huisnummer = pc7_bij1.Huisnummer;"
sqlite3 ${DB} "DROP VIEW IF EXISTS leden_afdeling; CREATE VIEW leden_afdeling AS SELECT * FROM leden_pc7 LEFT JOIN pc7_bij1 ON airtable_leden.PC6 = pc7_bij1.PC6 AND airtable_leden.Huisnummer = pc7_bij1.Huisnummer;"
join_all: join_gemeenten join_pc7 join_pc7_bij1 join_airtable_pc7 join_airtable
dump_afdelingsgebieden:
sqlite3 -header -csv afdelingen.sqlite3 "select * from afdelingsgebieden;" > ./out/afdelingsgebieden.csv
sqlite3 -header -csv ${DB} "select * from afdelingsgebieden;" > ./out/afdelingsgebieden.csv
dump_leden:
sqlite3 -header -csv afdelingen.sqlite3 "select * from leden_afdeling;" > ./out/leden_afdeling.csv
sqlite3 -header -csv ${DB} "select * from leden_afdeling;" > ./out/leden_afdeling.csv
dump_all: dump_afdelingsgebieden dump_leden