31:T6d5,md`Die Rohdaten der tracker liegen in einer [Apache CouchDB](https://couchdb.apache.org/) Datenbank. Ein großer Vorteil von CouchDB ist, dass wir (zunächst) keinen Backend-Server brauchen um die Daten auszuwerten. Dadurch können wir mit den Daten hantieren ohne erstmal eine Entwicklungsumgebung einzurichten oder einen Server zu konfigurieren. Um die Daten auszuwerten und zu visualisieren nutzen wir Observable Notebooks (die Website auf der du dich befindest ist so ein Notebook). Die Notebooks bestehen aus verschiedenen Zellen, die durch JavaScript code definiert werden. 👈 Klicke auf den linken Rand von einer Zelle (zum Beispiel dieser!), um den dazugehörigen Quellcode zu sehen. Wenn du auf die drei Punkte im linken Rand der Zelle klickst, kannst du auch Kommentare hinzufügen. Alle Zellen im Notebook sind veränderbar und reaktiv, d.h. wenn du eine Zelle änderst, ändern sich auch alle Zellen die davon abhängen. Das ist das gleiche Konzept wie bei Excel ([hier gibt es ein kurzes Observable Tutorial](https://observablehq.com/@observablehq/a-taste-of-observable)). Um mit der Auswertung anzufangen benötigen wir zunächst die Daten der GPS tracker. Um die Daten abzufragen, muss man eine [HTTP GET Anfrage](https://wiki.selfhtml.org/wiki/HTTP/Anfragemethoden#GET) im folgenden Format absenden: \`\`\` https://fruchtfolge.agp.uni-bonn.de/db/gps/_all_docs? // der _all_docs Endpoint gibt alle Dokuemente aus include_docs=true& // wir wollen die Dokumente haben, nicht nur die IDs der Doks. startkey="IMEI_DES_TRACKERS::START_DATUM::"& // von welchem Tracker u. ab wann endkey="IMEI_DES_TRACKERS::END_DATUM"&limit=1 // und bis wann wir die Daten haben wollen \`\`\``32:Te52,function cleanData(coordinates, iterations = 3, curIteration = 1) { // Falls es keine Koordinaten gibt, brechen wir an dieser Stelle ab if (!coordinates || !coordinates.length) return; // 0. Wir löschen die erste Kooridnate, da nach dem Start des Trackers häufig nur ein mittelmäßiges GPS // Signal vorhanden ist coordinates.shift(); // 1. Wir fügen sowohl die Distanz, als auch die errechnete Fahrgeschwindigkeit jedem Datenpunkt hinzu coordinates = coordinates.map((p, i, points) => { if (i > 0) { // Distanz zwischen diesem und dem letzten Punkt in km p.properties.distance = turf.distance(points[i - 1], p); // Zeit differenz (ping) zwischen diesem und dem letzten Punkt in Sekunden p.properties.ping = (new Date(p.properties.time) - new Date(points[i - 1].properties.time)) / 1000; // Wenn der Ping größer als 10 Minuten ist, gehen wir davon aus // das der Tracker ausgeschaltet war und nun wieder eingeschaltet ist // Dazu gehen wir davon aus, dass das GPS signal beim abschalten besser war da // der Tracker bereits einige Zeit in Betrieb war und das GPS Signal beim // Starten des Trackers erfahrungsgemaess schwach ist ///* if (p.properties.ping > 600) { p.geometry = points[i - 1].geometry; p.distance = 0; p.speed = 0; } //*/ // Fahrgeschwindigkeit in km/h p.properties.speed = p.properties.distance / (p.properties.ping / 60 / 60); } else if (i === 0 && coordinates.length > 1) { p.properties.distance = turf.distance(points[0], points[1]); p.properties.ping = (new Date(p.properties.time) - new Date(points[i + 1].properties.time)) / 1000; p.properties.speed = p.properties.distance / (p.properties.ping / 60 / 60); } return p; }); // Um die outlier zu identifizieren, const meanDistance = d3.mean( coordinates.map(point => point.properties.distance) ); const std_dev_distance = d3.deviation( coordinates.map(point => point.properties.distance) ); const meanSpeed = d3.mean(coordinates.map(point => point.properties.speed)); const std_dev_speed = d3.deviation( coordinates.map(point => point.properties.speed) ); const std_dev_multiplier = 3; const distanceLowerBound = meanDistance - std_dev_multiplier * std_dev_distance; const distanceUpperBound = meanDistance + std_dev_multiplier * std_dev_distance; const speedLowerBound = meanSpeed - std_dev_multiplier * std_dev_speed; const speedUpperBound = meanSpeed + std_dev_multiplier * std_dev_speed; // Abschliessend filtern wir die Daten die innerhalb des Intervals von // ±2 / ±3 mal der Standardabweichung (95,45% bzw 99,73% der Daten) liegen // und geben diese Zurück const filtered_coordinates = coordinates.filter( point => point.properties.distance < distanceUpperBound && point.properties.distance > distanceLowerBound && point.properties.speed < speedUpperBound && point.properties.speed > speedLowerBound ); // Manchmal liegt ein Datenpunkt vollkommen Abseits der Strecke, jedoch // liegt anschließend ein folgender Datenpunkt nicht weit vom ersten (falschen) Datenpunkt entfernt. // Wenn wir also nur den ersten Punkt löschen, hätte wir immernoch den 2. falschen Punkt im Datensatz. // Um das zu verhindern, durchlaufen wir den Algorithmus mehrmals (rekursiv, d.h. "sich selbst aufrufend") if (iterations && curIteration < iterations) { return cleanData(filtered_coordinates, iterations, curIteration + 1); } return filtered_coordinates; }33:T501,machines = [ { imei: '352672101118586', imageUrl: 'https://www.traktorpool.de/media/4072/2454072/7700038/2454072-7700038.jpg?width=800&height=600&quality=80', name: 'Amazone SF 430' }, { imei: '352672101770105', imageUrl: 'https://www.werktuigen.de/afbeeldingen/stock/10/2240/1/', name: 'Fendt Xylon 520' }, { imei: '352672101712636', imageUrl: 'https://www.traktorpool.de/media/cms/serp/671/John-Deere-6210R-Autopower.jpg?width=720&quality=70', name: 'John Deere 6210R' }, { imei: '352672101793701', imageUrl: 'https://www.traktorpool.de/media/4347/5534347/32416414/5534347-32416414.jpg?width=800&height=600&quality=80', name: 'Valtra T174' }, { imei: '352672101770873', // old imei "352672101709350", imageUrl: 'https://www.landtechnikmagazin.de/upload/xl/xl_5028_1407421544.jpg', name: 'Deutz 6160.4' }, { imei: '352672101630978', imageUrl: 'https://www.dotnuvabaltic.ee/sites/default/files/styles/large/public/technika-nuotraukos/1/KV_i-drill_pro_hd_0009.jpg_kvg_large.jpg?itok=FgW5W1G7', name: 'Kverneland iDrill' }, { imei: '352672101713071', imageUrl: 'https://i.ytimg.com/vi/n9xqrLwcTXQ/hqdefault.jpg', name: 'Grimme SF 150-60' } ]34:T487,hof_polygon = ({ type: "Feature", properties: { name: 'Hof' }, geometry: { type: "Polygon", coordinates: [ [ [8.354566097259521, 52.08917116446574], [8.352656364440918, 52.08993584906995], [8.351905345916748, 52.09025226645221], [8.35108995437622, 52.08981719197312], [8.350703716278076, 52.08932937614869], [8.350381851196287, 52.08896021468253], [8.349137306213379, 52.089250270377356], [8.348772525787354, 52.08890747708088], [8.3486008644104, 52.08864378813778], [8.348536491394043, 52.08845920495042], [8.349845409393309, 52.08820869797489], [8.350381851196287, 52.08873607944512], [8.351154327392578, 52.08848557402392], [8.351755142211914, 52.08853831212423], [8.352441787719727, 52.08826143640239], [8.353128433227539, 52.088037297655], [8.353428840637207, 52.08794500490239], [8.353750705718992, 52.087826342511356], [8.354244232177733, 52.08819551335827], [8.354179859161377, 52.08886792383876], [8.354566097259521, 52.08917116446574] ] ] } })35:[] 2f:{"title":"Datenauswertung GPS tracker - Teil 1","cells":[{"id":0,"value":"md`# Datenauswertung GPS tracker - Teil 1`","pinned":false,"hidden":false,"mode":"ojs"},{"id":337,"value":"md`## Daten herunterladen und aufbereiten`","pinned":false,"hidden":false,"mode":"ojs"},{"id":5,"value":"$31","pinned":false,"hidden":false,"mode":"ojs"},{"id":30,"value":"md`Wenn wir nun eine Maschine, sowie ein Start- und Enddatum auswählen`","pinned":false,"hidden":false,"mode":"ojs"},{"id":37,"value":"viewof machine = select({\n title: \"Maschine\",\n description: \"\",\n options: machines.map(machine => machine.name),\n value: \"Grimme SF 150-60\"\n})","pinned":false,"hidden":false,"mode":"ojs"},{"id":50,"value":"viewof startDate = date({\n title: \"Startdatum\",\n min: \"2020-10-12\",\n value: \"2020-10-18\"\n})","pinned":false,"hidden":false,"mode":"ojs"},{"id":432,"value":"viewof startTime = time({\n value: '00:00'\n})","pinned":false,"hidden":false,"mode":"ojs"},{"id":53,"value":"viewof endDate = date({\n title: \"Enddatum\",\n min: \"2020-10-13\",\n value: \"2020-10-19\"\n})","pinned":false,"hidden":false,"mode":"ojs"},{"id":435,"value":"viewof endTime = time({\n value: '00:00'\n})","pinned":false,"hidden":false,"mode":"ojs"},{"id":57,"value":"md`Können wir daraus nun eine URL bauen und die Daten abfragen. Da wir das noch einige Male machen möchten, bauen wir uns eine Funktion mit dem Name \\`getData\\` um nicht jedes Mal die URL kopieren zu müssen.`","pinned":false,"hidden":false,"mode":"ojs"},{"id":365,"value":"// Diese Funktion fragt die Daten für die jeweilige IMEI und Start-/Enddaten ab.\n// Wir können die Funktion jetzt immer wieder verwenden, wenn wir Daten abfragen möchten\nasync function getData(imei, startDateISO, endDateISO) {\n const rohdaten = await fetch(\n 'https://fruchtfolge.agp.uni-bonn.de/db/gps/_all_docs?' +\n new URLSearchParams({\n include_docs: 'true',\n startkey: `\"${imei}::${startDateISO}::\\uffff\"`,\n endkey: `\"${imei}::${endDateISO}\"`\n })\n );\n const json = await rohdaten.json();\n return json;\n}","pinned":true,"hidden":false,"mode":"ojs"},{"id":944,"value":"md`Die Funktion können wir dann wie folgt benutzen:`","pinned":false,"hidden":false,"mode":"ojs"},{"id":949,"value":"// Um die IMEI zu bekommen, suchen wir die aktuell ausgewählte Maschine im `machines` array,\nimei = machines.find(m => m.name === machine).imei","pinned":false,"hidden":false,"mode":"ojs"},{"id":953,"value":"// Das Start-/Enddatum müssen wir noch in das ISO-Format konvertieren,\n// weil die Uhrzeiten so in der Datenbank abgelegt sind.\nstartDateISO = new Date(startDate + 'T' + startTime + ':00.000Z').toISOString()","pinned":false,"hidden":false,"mode":"ojs"},{"id":959,"value":"endDateISO = new Date(endDate + 'T' + endTime + ':00.000Z').toISOString()","pinned":false,"hidden":false,"mode":"ojs"},{"id":60,"value":"gps_rohdaten = getData(imei, startDateISO, endDateISO)","pinned":true,"hidden":false,"mode":"ojs"},{"id":102,"value":"md`Für den Zeitraum zwischen dem ${new Date(\n startDate\n).toLocaleDateString()} und dem ${new Date(\n endDate\n).toLocaleDateString()} haben wir also **${\n gps_rohdaten.rows.length\n}** Datenpunkte. Auf einer Karte angezeigt sehen die Rohdaten zunächst einmal so aus:`","pinned":false,"hidden":false,"mode":"ojs"},{"id":128,"value":"map(turf.lineString(gps_rohdaten.rows.map(row => row.doc.pos)))","pinned":true,"hidden":false,"mode":"ojs"},{"id":136,"value":"md`Im Standardbeispiel (Grimme Roder, 18.10 u 19.10) sind auf jeden Fall einige Punkte vom anderen Ende der Welt dabei. Die Daten versuchen wir jetzt mit einem Algorithmus der [in diesem Blog beschrieben wurde](https://www.toptal.com/gis/adventures-in-gps-track-analytics-a-geospatial-primer) herauszufiltern. Den Algorithmus habe ich etwas an unsere Bedürfnisse angepasst, dazu habe ich ein paar Kommentare in der \\`cleanData\\` Funktion geschrieben (ein Klick auf den linken Rand neben der \\`cleanData\\` Funktion zeigt den Quellcode).`","pinned":false,"hidden":false,"mode":"ojs"},{"id":139,"value":"$32","pinned":false,"hidden":false,"mode":"ojs"},{"id":216,"value":"md`Wir wenden nun den Algorithmus auf den Datensatz an, und schauen uns das Ergebnis in der Karte an:`","pinned":false,"hidden":false,"mode":"ojs"},{"id":207,"value":"gps_rohdaten_clean = cleanData(\n gps_rohdaten.rows.map(d => turf.point(d.doc.pos, { time: d.doc.time })),\n 5\n)","pinned":false,"hidden":false,"mode":"ojs"},{"id":150,"value":"map(\n turf.lineString(gps_rohdaten_clean.map(point => point.geometry.coordinates))\n)","pinned":true,"hidden":false,"mode":"ojs"},{"id":300,"value":"md`### Debugging der *data cleaning* Funktion`","pinned":false,"hidden":false,"mode":"ojs"},{"id":303,"value":"md`In der folgenden Karte kann man nacheinander die Datenpunkte des Trackers hinzufügen. Die Uhrzeit, Fahrgeschwindigkeit, etc. des zuletz hinzugefügten Datenpunkts werden dann in der Tabelle angezeigt.`","pinned":false,"hidden":false,"mode":"ojs"},{"id":234,"value":"viewof curIndex = {\n const div = html`

`;\n const span = html``;\n span.innerText = ` Zuletzt hinzugefügter Index: 1 von ${gps_rohdaten_clean.length -\n 1} `;\n\n let curIndex = 1;\n function switchIndex(dir) {\n if (curIndex === 1 && dir === 'prev')\n curIndex = gps_rohdaten_clean.length - 1;\n else if (curIndex === gps_rohdaten_clean.length - 1 && dir === 'next')\n curIndex = 1;\n else if (dir === 'prev') curIndex--;\n else curIndex++;\n div.value = curIndex;\n span.innerText = ` Zuletzt hinzugefügter Index: ${curIndex} von ${gps_rohdaten_clean.length -\n 1} `;\n div.dispatchEvent(new CustomEvent(\"input\"));\n }\n\n const prevButton = html`