Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Mon Nov 07, 2016 1:37 pm
Loop
Venus AUEB Forum
Online κοινότητα των φοιτητών Πληροφορικής του Ο.Π.Α.
https://venus.cs.aueb.gr/
Συστήματα Ανάκτησης Πληροφοριών
Page 3 of 7
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Mon Nov 07, 2016 2:55 pm
Μια ερώτηση ...στον πίνακα μου που θέλω να βάλω το text του τουίτ τι τύπου να βάλω την στήλη μου στη mysql;
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Mon Nov 07, 2016 3:50 pm
Εγώ έχω βάλει varchar(250)
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Mon Nov 07, 2016 5:52 pm
Στην αλλαγή σε utf8mb4 varchar(191), δε θυμάμαι τον λόγο
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Mon Nov 07, 2016 11:51 pm
Περνάω τα δεδομένα του text στην βάση μου, αλλά μάλλον όποτε το κείμενο περιέχει τον χαρακτήρα --> ' <--- μου πετάει exception
αντιμετώπισε κανείς αυτό το θέμα;έχει κανείς καμιά ιδέα;
αντιμετώπισε κανείς αυτό το θέμα;έχει κανείς καμιά ιδέα;
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Tue Nov 08, 2016 12:47 am
Πρέπει να κάνεις escape αυτόν τον χαρακτήρα πριν περάσεις το κείμενο στην βάση.valeia wrote:Περνάω τα δεδομένα του text στην βάση μου, αλλά μάλλον όποτε το κείμενο περιέχει τον χαρακτήρα --> ' <--- μου πετάει exception
αντιμετώπισε κανείς αυτό το θέμα;έχει κανείς καμιά ιδέα;
Αυτά τα links μπορεί να φανούν χρήσιμα: (και ίσως περισσότερο το πρώτο)
http://stackoverflow.com/questions/1519 ... -from-java
http://stackoverflow.com/questions/9596 ... e-in-mysql
http://stackoverflow.com/questions/8870 ... s-in-mysql
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Tue Nov 08, 2016 1:20 am
Έγινε, σε ευχαριστώ θα τα κοιτάξω!Georgilakis Antonios wrote:Πρέπει να κάνεις escape αυτόν τον χαρακτήρα πριν περάσεις το κείμενο στην βάση.valeia wrote:Περνάω τα δεδομένα του text στην βάση μου, αλλά μάλλον όποτε το κείμενο περιέχει τον χαρακτήρα --> ' <--- μου πετάει exception
αντιμετώπισε κανείς αυτό το θέμα;έχει κανείς καμιά ιδέα;
Αυτά τα links μπορεί να φανούν χρήσιμα: (και ίσως περισσότερο το πρώτο)
http://stackoverflow.com/questions/1519 ... -from-java
http://stackoverflow.com/questions/9596 ... e-in-mysql
http://stackoverflow.com/questions/8870 ... s-in-mysql
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Tue Nov 08, 2016 1:23 am
Γενικά να τα περνάς με prepared statement που είναι πολύ πιο γρήγορο σε εκτέλεση σε batches και με αυτόματο escaping (Δεν είδα τα λινκ αν το αναφέρουν 
)
)Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Tue Nov 08, 2016 1:45 am
1ο link, πρώτη απάντηση στο StackOverflow. 
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Tue Nov 08, 2016 5:26 pm
Ποσα tweets περίπου σας επιστρέφει για το α ερώτημα ρε παιδια;
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Thu Nov 10, 2016 7:37 am
~70 ND, 400 SYRIZA
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Sat Nov 12, 2016 1:38 am
Μια ερώτηση παιδιά, που χρησιμοποιώ mysql βάση...προσπάθησα να κάνω insert τις τιμές που ηθελα where not exists(select id from table ) αλλά δεν εκτελείται αυτό...καμιά ιδέα πως να αποφύγω τα διπλότυπα?
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Sat Nov 12, 2016 1:40 am
Κάνε primary key το ID του tweet:valeia wrote:Μια ερώτηση παιδιά, που χρησιμοποιώ mysql βάση...προσπάθησα να κάνω insert τις τιμές που ηθελα where not exists(select id from table ) αλλά δεν εκτελείται αυτό...καμιά ιδέα πως να αποφύγω τα διπλότυπα?
Code: Select all
-- [Inside table ...]
id BIGINT NOT NULL -- ID's are large numbers.
-- [...]
CONSTRAINT PK_id
PRIMARY KEY (id)
-- [...]
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Sat Nov 12, 2016 1:13 pm
Το σκεφτηκα αυτό, αλλά αν πετάξει exception θα συνεχίζει να βάζει τα υπόλοιπα;Georgilakis Antonios wrote:Κάνε primary key το ID του tweet:valeia wrote:Μια ερώτηση παιδιά, που χρησιμοποιώ mysql βάση...προσπάθησα να κάνω insert τις τιμές που ηθελα where not exists(select id from table ) αλλά δεν εκτελείται αυτό...καμιά ιδέα πως να αποφύγω τα διπλότυπα?
Αν δεν κάνω λάθος, το JDBC API θα ρίξει exception αν εισάγεις δεύτερο tweet με το ίδιο ID.Code: Select all
-- [Inside table ...] id BIGINT NOT NULL -- ID's are large numbers. -- [...] CONSTRAINT PK_id PRIMARY KEY (id) -- [...]
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Sat Nov 12, 2016 1:23 pm
Μπορείς να κάνεις INSERT IGNORE για να αγνοεί τα error και να συνεχίζει στα υπόλοιπα
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Sat Nov 12, 2016 4:29 pm
Όντως δουλεύει ευχαριστώ πολύ!Code Monkey wrote:Μπορείς να κάνεις INSERT IGNORE για να αγνοεί τα error και να συνεχίζει στα υπόλοιπα
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Sat Nov 12, 2016 5:59 pm
Καλησπερα παιδια!
Για την εργασια αποφασισα να χρησιμοποιησω το rest api και ειμαι στην πρωτη φαση της συλλογης δεδομενων. Για να μαζεψουμε δεδομενα
σε διαστημα μιας εβδομαδας θα πρεπει να χρησιμοποιησουμε date απο μια ημερομηνια σε καποια αλλη?
Για την εργασια αποφασισα να χρησιμοποιησω το rest api και ειμαι στην πρωτη φαση της συλλογης δεδομενων. Για να μαζεψουμε δεδομενα
σε διαστημα μιας εβδομαδας θα πρεπει να χρησιμοποιησουμε date απο μια ημερομηνια σε καποια αλλη?
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Sat Nov 12, 2016 6:10 pm
Εναλλακτικά θα μπορούσες να κάνεις πρώτα:valeia wrote:Όντως δουλεύει ευχαριστώ πολύ!Code Monkey wrote:Μπορείς να κάνεις INSERT IGNORE για να αγνοεί τα error και να συνεχίζει στα υπόλοιπα
Code: Select all
SELECT COUNT(id) FROM table WHERE id = 247482389938 -- Π.χ.
Έτσι δεν θα χάσεις και άλλα, ενδεχομένως, errors που μπορεί να ρίξει το DBMS ως server κατά το insert, όπως αν έκανες ignore errors.
Απλά ξεκίνα μια συγκεκριμένη μέρα να μαζεύεις tweets, και διέκοψε την διαδικασία μια εβδομάδα μετά.jennaki123 wrote:Καλησπερα παιδια!
Για την εργασια αποφασισα να χρησιμοποιησω το rest api και ειμαι στην πρωτη φαση της συλλογης δεδομενων. Για να μαζεψουμε δεδομενα
σε διαστημα μιας εβδομαδας θα πρεπει να χρησιμοποιησουμε date απο μια ημερομηνια σε καποια αλλη?
Αυτό έχω καταλάβει εγώ τουλάχιστον.
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Sat Nov 12, 2016 7:05 pm
Εγώ νομίζω έβαλα on duplicate update id η κάτι παρόμοιο
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Sat Nov 12, 2016 7:36 pm
Μηπως εχεις βρει καποιο λινκ σχετικο; γιατι δεν εχω καταλαβει ακριβως πως γινεται..Georgilakis Antonios wrote: Απλά ξεκίνα μια συγκεκριμένη μέρα να μαζεύεις tweets, και διέκοψε την διαδικασία μια εβδομάδα μετά.
Αυτό έχω καταλάβει εγώ τουλάχιστον.
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Sat Nov 12, 2016 8:34 pm
Δες τις παραμέτρους σε αυτή την σελίδα:jennaki123 wrote:Μηπως εχεις βρει καποιο λινκ σχετικο; γιατι δεν εχω καταλαβει ακριβως πως γινεται..Georgilakis Antonios wrote: Απλά ξεκίνα μια συγκεκριμένη μέρα να μαζεύεις tweets, και διέκοψε την διαδικασία μια εβδομάδα μετά.
Αυτό έχω καταλάβει εγώ τουλάχιστον.
https://dev.twitter.com/rest/reference/ ... rch/tweets
Twitter API for JAVA: http://twitter4j.org/en/index.html
Twitter API for Python: https://github.com/bear/python-twitter
Twitter API for PHP: https://github.com/abraham/twitteroauth
Ξεκινάς το search απλά με τις απαραίτητες παραμέτρους, χωρίς ημερομηνία, και επαναλαμβάνεις για μια εβδομάδα το ίδιο, με το ίδιο keyword.
EDIT: Προσοχή στην χρήση του keyword, ο καθηγητής επιθυμεί αφαίρεση των retweets.
Re: Συστήματα Ανάκτησης Πληροφοριών
Posted: Mon Nov 14, 2016 9:17 pm
Καλησπέρα παιδιά, έχω ένα θεματάκι με την εκφώνηση(πολλά αλλά anyway)...δεν καταλαβαίνω ...πρέπει να μαζέψουμε τα ποστς που αφορούν συριζα και νεα δημοκρατια; να δοκιμασουμε πολλα hashtags για καθε κομμα; και να μην υπάρχουν και τα 2 κομματα μαζι? Βοηθήστε πλιζ γιατί 
