87 lines
4.1 KiB
JavaScript
87 lines
4.1 KiB
JavaScript
import fs from "node-fs";
|
|
import {writeFileInOuputFolder} from "./parse_orgmode_to_json.mjs";
|
|
import moment from "moment";
|
|
|
|
|
|
/**********************
|
|
* initialize configs
|
|
**********************/
|
|
|
|
const fileArray = ["2007-07-01 De juillet 2007 à septembre 2007.json","2007-10-01 De octobre 2007 à décembre 2007.json","2008-04-01 De avril 2008 à juin 2008.json","2008-07-01 De juillet 2008 à septembre 2008.json","2008-10-01 De octobre 2008 à décembre 2008.json","2009-01-01 De janvier 2009 à mars 2009.json","2009-04-01 De avril 2009 à juin 2009.json","2009-07-01 De juillet 2009 à septembre 2009.json","2009-10-01 De octobre 2009 à décembre 2009.json","2010-01-01 De janvier 2010 à mars 2010.json","2010-04-01 De avril 2010 à juin 2010.json","2010-07-01 De juillet 2010 à septembre 2010.json","2010-10-01 De octobre 2010 à décembre 2010.json","2011-01-01 De janvier 2011 à mars 2011.json","2011-04-01 De avril 2011 à juin 2011.json","2011-07-01 De juillet 2011 à septembre 2011.json","2011-10-01 De octobre 2011 à décembre 2011.json","2012-01-01 De janvier 2012 à mars 2012.json","2012-04-01 De avril 2012 à juin 2012.json","2012-07-01 De juillet 2012 à septembre 2012.json","2012-10-01 De octobre 2012 à décembre 2012.json","2013-01-01 De janvier 2013 à mars 2013.json","2013-04-01 De avril 2013 à juin 2013.json","2013-07-01 De juillet 2013 à septembre 2013.json","2013-10-01 De octobre 2013 à décembre 2013.json","2014-01-01 De janvier 2014 à mars 2014.json","2014-04-01 De avril 2014 à juin 2014.json","2014-07-01 De juillet 2014 à septembre 2014.json","2014-10-01 De octobre 2014 à décembre 2014.json","2015-01-01 De janvier 2015 à mars 2015.json","2015-04-01 De avril 2015 à juin 2015.json","2015-07-01 De juillet 2015 à septembre 2015.json","2015-10-01 De octobre 2015 à décembre 2015.json","2016-01-01 De janvier 2016 à mars 2016.json","2016-04-01 De avril 2016 à juin 2016.json","2016-07-01 De juillet 2016 à septembre 2016.json","2016-10-01 De octobre 2016 à décembre 2016.json","2017-01-01 De janvier 2017 à mars 2017.json","2017-04-01 De avril 2017 à juin 2017.json"]
|
|
const fileNameAllEvents = 'all_researches.tsv';
|
|
|
|
|
|
const headersTsv = 'amount\t' +
|
|
'content\t' +
|
|
'description\t' +
|
|
'destination\t' +
|
|
'end\t' +
|
|
'kind of activity\t' +
|
|
'person\t' +
|
|
'place\t' +
|
|
'source\t' +
|
|
'start\t' +
|
|
'unique id\t' +
|
|
'url\t'
|
|
let allEvents = [
|
|
headersTsv
|
|
];
|
|
const events = [headersTsv];
|
|
|
|
async function convertJsonToActivities(sourceFilePath, outputFileName)
|
|
{
|
|
await fs.readFile(sourceFilePath, 'utf8', function (err, data) {
|
|
|
|
|
|
|
|
data = JSON.parse(data)
|
|
// console.log('data', Object.keys(data[0]))
|
|
data['event'].forEach(item => {
|
|
|
|
// let timemoment = moment.unix(item.query.id[0].timestamp_usec)
|
|
let stamp =Math.round( item.query.id[0].timestamp_usec / 1000);
|
|
let mydate = new Date(stamp)
|
|
let timemoment = moment( mydate)
|
|
|
|
// return;
|
|
// console.log('mydate',item.query.id[0].timestamp_usec, item.query.id[0].timestamp_usec.length , stamp, mydate)
|
|
// convert all fields to common event description
|
|
let newLine =
|
|
'\t' +
|
|
item.query.query_text + '\t' +
|
|
'' + '\t' +
|
|
'' + '\t' +
|
|
'' + '\t' +
|
|
'recherche' + '\t' +
|
|
'' + '\t' +
|
|
'' + '\t' +
|
|
'' + '\t' +
|
|
timemoment.format() + '\t' +
|
|
'' + '\t' +
|
|
'' + '\t'
|
|
|
|
|
|
events.push(newLine)
|
|
// console.log('events', events.length)
|
|
allEvents.push(newLine)
|
|
})
|
|
console.log('events', events.length)
|
|
writeFileInOuputFolder(outputFileName, events.join("\n"))
|
|
})
|
|
}
|
|
|
|
fileArray.forEach(item=>{
|
|
|
|
let filename = item
|
|
let sourceFilePath = '/home/tykayn/Nextcloud/ressources/social sorting/2022-12-31_recherches/'+filename
|
|
|
|
let outputFileName = filename.replace('json' , 'tsv')
|
|
|
|
convertJsonToActivities(sourceFilePath,outputFileName);
|
|
})
|
|
|
|
writeFileInOuputFolder(fileNameAllEvents, events.join("\n"))
|
|
|
|
|
|
|