[SHELL] Bash-скрипт для создания гибкой аналитики ваших постов в пару кликов (вытягиваем данные из Голоса в LibreOffice Calc)
Доброй ночи, совы =) Сегодня мне удалось написать скрипт, который (пока что локально) загружает ваши посты из Голоса и делает из них CSV файл, который можно открыть в LibreOffice Calc или Google Drive.
Первая часть эпопеи с загрузкой данных - вот в этом посте.
Сегодня я продолжил свои эксперименты. К сожалению, я пока не пытал напрямую гугл драйв (хотя это, скорее всего, впереди) - зато сделал скрипт, bash-конвертер, который строит из ваших постов единый CSV-файл (Comma-Separated Values, значения, разделенные запятой - простейший формат таблицы или базы данных).
Не буду долго объяснять вам всю полезность этого скрипта, вместо этого просто покажу, что в итоге получается.
]
Вот такая удобная табличка, в которой вы можете делать собственные выводы, строить графики и так далее
А вот так выглядит успешно отработавший скрипт в bash:
]
Код скрипта (возьмите лучше его с моего pastebin) или см. ниже
#!/bin/bash
tempfile="temp.articles.temp" # Temp file (for articles list)
nu="http://node.golos.ws" # Node URL
af="articles" # Article folder
mkdir $af
echo "Welcome! Let's look at articles list of user @$1 - loading articles."
# Loading articles list from user $1
x=$(curl -s --data '{"method": "get_discussions_by_author_before_date", "params": ["'$1'","","2016-06-06T00:00:00","100"], "id": 1 }' $nu)
echo $x | jq -r 'recurse(.result.url[])?' | grep "url\":" | awk -F\" '{ print $4 }' | awk -F"/" '{ print $4 }' >> $tempfile
echo "Finished, I found total of "$(cat $tempfile | wc -l)" articles of user "$1
# Creating a template for CSV file
t=0
echo -e "\"Title\",\"Date\",\"Comments\",\"Votes\",\"Gold\",\"Tag1\",\"Tag2\",\"Tag3\",\"Tag4\",\"Tag5\",\"Images\",\"Text length\"" >> $af/allarticles.$1
# Starting a loop over $tempfile
while read p; do
((t++))
echo "Saving article $t: $p"
y=$(curl -s --data '{"method": "get_content", "params": ["'$1'","'$p'"], "id": 1 }' $nu)
echo $y | jq -r '.result.title,.result.created,.result.children,.result.net_votes,.result.total_payout_value,[.result.json_metadata|fromjson.tags],[.result.json_metadata|fromjson.image|length],[.result.body|length]' > $af/$p.$1
# Following code takes data from saved articles file and builds an index article file
title=$(sed '1q;d' $af/$p.$1)
time=$(sed '2q;d' $af/$p.$1)
comments=$(sed '3q;d' $af/$p.$1)
votes=$(sed '4q;d' $af/$p.$1)
gold=$(sed '5q;d' $af/$p.$1)
t1=$(sed '8q;d' $af/$p.$1)
t2=$(sed '9q;d' $af/$p.$1)
t3=$(sed '10q;d' $af/$p.$1)
t4=$(sed '11q;d' $af/$p.$1)
t5=$(sed '12q;d' $af/$p.$1)
images=$(sed '16q;d' $af/$p.$1)
symbols=$(sed '19q;d' $af/$p.$1)
echo -e "\"$title\",\"$time\",\"$comments\",\"$votes\",\"$gold\",$t1$t2$t3$t4$t5,\"$images\",\"$symbols\"" >> $af/allarticles.$1
done < $tempfile
# Remove tempfile if you like:
rm $tempfile
Для простоты вы можете скачать себе скрипт на ПК и сделать его исполняемым 1 командой:
wget -O articles.sh https://pastebin.com/raw/kxxsQuS6 && chmod +x articles.sh
Затем, чтобы запустить скрипт, используйте
./articles.sh sxiii
Разумеется, заменив sxiii на ваш никнейм с платформы Голос.
ВНИМАНИЕ! В настоящий момент логика скрипта подразумевает, что у вас у кажого поста проставлено 5 тэгов (т.е. максимум). Если где-то меньше, советую отредактировать посты и добавить дополнительные теги - статье хуже не станет, а строчки с результате работы скрипта не "поедут". В будущей версии, возможно, буду handle (обрабатывать) этот момент.
В следующем этапе разработки данного скрипта я постараюсь также сделать прямую загрузку данных в Google Таблицы, минуя ваш ПК.
Если вам пригодился мой скрипт или есть идеи по его развитию (или вы вдруг знаете как напрямую легче всего загнать данные в Google Таблицы), пишите комментарии.
Всегда рад!
С уважением,
Айтишник, линуксоид из Ростова-на-Дону
Den Ivanov aka sxiii