30:Ta8d,Trabalhar com dados em **javascript**, utilizando o Observable, já é tarefa bem mais tranquila. A primeira tarefa é carregar os dados, e que pode ser feita de duas formas diferentes: a primeira é anexar um arquivo com dados na plataforma (no formato `csv`, `json`, `xml`, ou mesmo um banco de dados) clicando nos ícones ou na barra vertical direita da plataforma; a segunda forma é carregar os dados da núvem, ou de um servidor web, seja um arquivo ou de um serviço como o *Google Sheets*. 31:T48f,Para acessar os dados de um arquivo `csv` anexado ao notebook, já em forma de **array**, basta utilizar: ```javascript minhaArray = FileAttachment("meuarquivo.csv").csv() ``` Se o arquivo for com dados no formato `json`, a sintaxe é muito parecida: ```javascript minhaArray = FileAttachment("meuarquivo.json").json() ``` E caso você anexe um arquivo `SQL Lite` (banco de dados), a instrução segue a mesma lógica, mas os conteúdos não serão transformados em uma **array**, e precisarão ser consultados através de instruções (*queries*) em linguagem SQL. ```javascript meuDb = FileAttachment("meuarquivo.db").sqlite() ``` Também é possível acessar estes mesmos arquivos disponíveis online, e não como anexos na plataforma. A biblioteca **javascript** D3 é parte do Observable, e já resolve estas tarefas: ```javascript minhaArray = d3.csv("https://meusite.com.br/dados.csv") ``` ou ```javascript minhaArray = d3.json("https://meusite.com.br/dados.json") ``` Para fazer o mesmo com arquivos `SQL Lite` hospedados fora do Observable, a instrução é: ```javascript meuDb = SQLiteDatabaseClient.open("https://meusite.com.br/meuSQL.db") ``` 32:T582,Mas talvez a solução mais interessante não seja carregar dados fixos de um arquivo (anexado ou online), e sim de um serviço onde estes dados podem ser alterados facilmente. Este processo pode ser feito através de **funções** disponíveis na biblioteca DataT, que funciona para o Observable, e também fora dele. Para carregar no notebook a **função** que realiza esta tarefa, é necessário incluir nele o `import` abaixo: ```javascript import {gsdata} from "@ranoya/datat" ``` Isso irá trazer do notebook do DataT apenas esta **função** necessária para carregar o conteúdo de planilhas do *Google Sheets* como **array**. Uma vez importado, é possível carregar dados de planilhas que estejam *compartilhadas para leitura com qualquer pessoa com o link*. Para capturar/carregar estes dados, basta utilizar a seguinte instrução: ```javascript meudados = gsdata("https://docs.google.com/spreadsheets/d/15lB-WclGe0WVET1yg94tZMOc5zVi6lufmv0vQZyXmYA/edit#gid=0"); ``` Carregamos aqui esta planilha contendo levantamentos feitos sobre *Point & Click Adventures*. O Observable naturalmente apresentará os dados no formato abaixo:33:T448,Para quaisquer que sejam os propósitos e objetivos de se programar com dados, estas tarefas iniciais serão sempre necessárias. Se como resultado se buscam visualizações, gráficos, *dashboards*, ou apenas processar as informações para um cálculo ou medir um resultado, serão sempre necessários os famosos "dados tabulares", isto é, um conjunto de registros multidimensionais, categorizados através de "colunas" de uma tabela, e sequenciados através de inúmeras linhas. Uma ferramenta como o `Inputs.search` irá selecionar de um conjunto multidimensional todos os dados em que os termos dados estejam presentes, mas não separará dados onde o termo esteja presente exclusivamente em uma das "colunas", isto é, se ele consta especificamente em um dos elementos da estrutura de dados. Para realizar este tipo de tarefa, as **arrays** possuem a **função** `.map()`, mas ela pode ser um tanto confusa de se usar, principalmente em casos mais complexos. Para utilizá-la com o intuito de separar todos os anos em que produtos de `Point & Click` foram lançados, fazemos o seguinte:34:[] 2e:{"title":"Programando com dados","cells":[{"id":0,"value":"# Programando com dados","pinned":false,"hidden":false,"mode":"md"},{"id":7,"value":"### Carregando informações de fontes externas\n\n------\n\n","pinned":false,"hidden":false,"mode":"md"},{"id":696,"value":"Uma das grandes áreas que se interessa pela programação literária e o uso de notebooks é a Ciência de Dados, já que estas ferramentas facilitam enormemente o trabalho com dados, principalmente por que facilitam sua visualização, e por que permitem que realizemos experimentos com eles no próprio espaço de trabalho.","pinned":false,"hidden":false,"mode":"md"},{"id":1071,"value":"Trabalhar com dados em **javascript** não é tarefa trivial em sua versão pura (*vanilla*), e muitas vezes se fazem necessárias bibliotecas para facilitar esse processo: ","pinned":false,"hidden":false,"mode":"md"},{"id":1076,"value":"","pinned":false,"hidden":false,"mode":"html"},{"id":1080,"value":"$30","pinned":false,"hidden":false,"mode":"md"},{"id":1084,"value":"$31","pinned":false,"hidden":false,"mode":"md"},{"id":1092,"value":"$32","pinned":false,"hidden":false,"mode":"md"},{"id":1103,"value":"meusdados = gsdata(\n \"https://docs.google.com/spreadsheets/d/15lB-WclGe0WVET1yg94tZMOc5zVi6lufmv0vQZyXmYA/edit#gid=0\"\n)","pinned":false,"hidden":false,"mode":"ojs"},{"id":1115,"value":"\n-----\n","pinned":false,"hidden":false,"mode":"md"},{"id":1117,"value":"## Assincronia","pinned":false,"hidden":false,"mode":"md"},{"id":1121,"value":"Uma questão importante que precisa ser considerada é que a captura/carregamento de dados é um processo assíncrono, que pode levar algum tempo para ser concluído. Até que os dados estejam totalmente carregados, o notebook não irá ser processado, principalmente se as **funções** e instruções dadas dependerem destes dados.\n\nLidar com trabalho assíncrono é um processo complexo para a programação **javascript** em contextos tradicionais. É neste fator que o Observable supera inequivocamente estes contextos, já que todas as instruções seguem uma cadeia de dependência, e são executadas apenas quando aquilo do que dependem já estiver disponível, independente da ordem em que são incluídos no documento. A plataforma faz uma avaliação prévia das instruções, e organiza sua execução, sem que a assincronia precise ser resolvida pelo próprio programador.","pinned":false,"hidden":false,"mode":"md"},{"id":1126,"value":"\n-----\n","pinned":false,"hidden":false,"mode":"md"},{"id":1128,"value":"## Ferramentas nativas","pinned":false,"hidden":false,"mode":"md"},{"id":1132,"value":"O próprio Observable já possui nativamente recursos poderosos para lidar com os dados. O primeiro deles é a possibilidade de operar filtros de *fuzzy search* e separar em uma nova **array** os dados onde a informação solicitada está presente em qualquer uma de suas categorias. Para incluir essa ferramenta, utilizamos a seguinte instrução:\n\n```javascript\nviewof filtros = Inputs.search(meusdados, {label: \"variável filtros\"})\n```","pinned":false,"hidden":false,"mode":"md"},{"id":1136,"value":"viewof filtros = Inputs.search(meusdados, {\n label: \"variável filtros\"\n})","pinned":false,"hidden":false,"mode":"ojs"},{"id":1139,"value":"Isso providenciará para a **array** `filtros` um subconjunto de `meusdados` onde os termos inseridos no campo de entrada forem incluídos. Se incluirmos nele o termo \"Quest\", separaremos uma **array** que conterá (provavelmente) os produtos da Sierra (King's Quest, Police Quest, Space Quest, etc.).\n\nTambém é possível estabelecer um filtro com termos pré-definidos, através da instrução:\n\n```javascript\nviewof filtros2 = Inputs.search(meusdados, {\n label: \"variável filtros2\",\n placeholder: \"Nenhum filtro\",\n query: \"Lucasarts\",\n disabled: true\n})\n```","pinned":false,"hidden":false,"mode":"md"},{"id":1145,"value":"viewof filtros2 = Inputs.search(meusdados, {\n label: \"variável filtros2\",\n placeholder: \"Nenhum filtro\",\n query: \"Lucasarts\",\n disabled: true\n})","pinned":false,"hidden":false,"mode":"ojs"},{"id":1148,"value":"E claro, é possível exibir estes dados no formato de uma tabela com a instrução:","pinned":false,"hidden":false,"mode":"md"},{"id":1152,"value":"viewof lista = Inputs.table(filtros2, {\n columns: [\"nome\", \"ano\", \"video\"]\n})","pinned":false,"hidden":false,"mode":"ojs"},{"id":1276,"value":"```javascript\nviewof lista = Inputs.table(filtros2, {\n columns: [\"nome\", \"ano\", \"video\"]\n})\n```","pinned":false,"hidden":false,"mode":"md"},{"id":1159,"value":"Podemos também incluir campos de seleção como variáveis que atuarão sobre os filtros aplicados:","pinned":false,"hidden":false,"mode":"md"},{"id":1161,"value":"viewof empresa = Inputs.select(\n [\"Sierra\", \"Lucasarts\", \"Double Fine Productions\", \"Cinematronics\"],\n { label: \"variável empresa\" }\n)","pinned":false,"hidden":false,"mode":"ojs"},{"id":1279,"value":"```javascript\nviewof empresa = Inputs.select(\n [\"Sierra\", \"Lucasarts\", \"Double Fine Productions\", \"Cinematronics\"],\n { label: \"variável empresa\" }\n)\n```","pinned":false,"hidden":false,"mode":"md"},{"id":1191,"value":"Para aplicá-los nos filtros utilize `empresa` como a variável em `query`:","pinned":false,"hidden":false,"mode":"md"},{"id":1165,"value":"viewof filtros3 = Inputs.search(meusdados, {\n label: \"variável filtros3\",\n placeholder: \"Nenhum filtro\",\n query: empresa,\n disabled: true\n})","pinned":false,"hidden":false,"mode":"ojs"},{"id":1282,"value":"```javascript\nviewof filtros3 = Inputs.search(meusdados, {\n label: \"variável filtros3\",\n placeholder: \"Nenhum filtro\",\n query: empresa,\n disabled: true\n})\n```","pinned":false,"hidden":false,"mode":"md"},{"id":1193,"value":"E por fim, geramos uma tabela com as informações, para que se tornem facilmente visualizadas:","pinned":false,"hidden":false,"mode":"md"},{"id":1167,"value":"viewof lista2 = Inputs.table(filtros3, {\n columns: [\"nome\", \"ano\", \"produtora\"]\n})","pinned":false,"hidden":false,"mode":"ojs"},{"id":1285,"value":"```javascript\nviewof lista2 = Inputs.table(filtros3, {\n columns: [\"nome\", \"ano\", \"produtora\"]\n})\n```","pinned":false,"hidden":false,"mode":"md"},{"id":1198,"value":"$33","pinned":false,"hidden":false,"mode":"md"},{"id":1202,"value":"todosanos = meusdados.map(function (linha) {\n return linha.ano;\n})","pinned":false,"hidden":false,"mode":"ojs"},{"id":1289,"value":"```javascript\ntodosanos = meusdados.map(function (linha) {\n return linha.ano;\n})\n```","pinned":false,"hidden":false,"mode":"md"},{"id":1221,"value":"Como se vê, não se trata de um processo facilmente compreensível para quem está iniciando com a programação na linguagem.\n\nA biblioteca DataT oferecerá alguns recursos para a mesma tarefa:\n\n```javascript\nimport {unique} from \"@ranoya/datat\";\n```\n\nA **função** `unique` irá capturar valores únicos de uma \"coluna\" dos dados. Para levantarmos todos os anos, utilizamos:","pinned":false,"hidden":false,"mode":"md"},{"id":1235,"value":"anosunicos = unique(meusdados, \"ano\")","pinned":true,"hidden":false,"mode":"ojs"},{"id":1294,"value":"```javascript\nanosunicos = unique(meusdados, \"ano\");\n```","pinned":false,"hidden":false,"mode":"md"},{"id":1239,"value":"Repare, contudo, que o resultado de `unique` possui apenas ${anosunicos.length} registros, contra os ${todosanos.length} de `.map()`; isto acontece por que `unique` limpará anos (ou quaisquer informações) duplicados, reduzindo a lista apenas ao valores que são únicos e diferentes uns dos outros.\n\nAssim como `unique`, a biblioteca oferecerá um conjunto de **funções** utilizadas de forma recorrente no processamento de dados multidimensionais/tabulares.","pinned":false,"hidden":false,"mode":"md"},{"id":1300,"value":"

","pinned":false,"hidden":false,"mode":"md"},{"id":1105,"value":"import { gsdata, unique } from \"@ranoya/datat\"","pinned":false,"hidden":false,"mode":"ojs"}],"files":"$W34","stdlib":"1","titling":"auto"}