Συστήματα Ανάκτησης Πληροφοριών
- pgetsos
- Venus Former Team Member
- Posts: 1192
- Joined: Sun Oct 13, 2013 1:29 am
- Academic status: MSc
- Gender: ♂
Re: Συστήματα Ανάκτησης Πληροφοριών
Loop
Όταν μια μαύρη γάτα περάσει από μπροστά σου, σημαίνει ότι το ζώο πάει κάπου.
Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
Re: Συστήματα Ανάκτησης Πληροφοριών
Μια ερώτηση ...στον πίνακα μου που θέλω να βάλω το text του τουίτ τι τύπου να βάλω την στήλη μου στη mysql;
- Code Monkey
- byte level
- Posts: 81
- Joined: Fri Jan 31, 2014 1:40 pm
- Academic status: 3rd year
- Gender: ♂
Re: Συστήματα Ανάκτησης Πληροφοριών
Εγώ έχω βάλει varchar(250)
Code Monkey very simple man
With big warm fuzzy secret heart:
Code Monkey like you
With big warm fuzzy secret heart:
Code Monkey like you
- pgetsos
- Venus Former Team Member
- Posts: 1192
- Joined: Sun Oct 13, 2013 1:29 am
- Academic status: MSc
- Gender: ♂
Re: Συστήματα Ανάκτησης Πληροφοριών
Στην αλλαγή σε utf8mb4 varchar(191), δε θυμάμαι τον λόγο
Όταν μια μαύρη γάτα περάσει από μπροστά σου, σημαίνει ότι το ζώο πάει κάπου.
Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
Re: Συστήματα Ανάκτησης Πληροφοριών
Περνάω τα δεδομένα του text στην βάση μου, αλλά μάλλον όποτε το κείμενο περιέχει τον χαρακτήρα --> ' <--- μου πετάει exception
αντιμετώπισε κανείς αυτό το θέμα;έχει κανείς καμιά ιδέα;
αντιμετώπισε κανείς αυτό το θέμα;έχει κανείς καμιά ιδέα;
- Georgilakis Antonios
- Mbyte level
- Posts: 548
- Joined: Mon Dec 02, 2013 11:10 pm
- Academic status: Alumnus/a
- Gender: ♂
- Location: Straight into your Mind
Re: Συστήματα Ανάκτησης Πληροφοριών
Πρέπει να κάνεις escape αυτόν τον χαρακτήρα πριν περάσεις το κείμενο στην βάση.valeia wrote:Περνάω τα δεδομένα του text στην βάση μου, αλλά μάλλον όποτε το κείμενο περιέχει τον χαρακτήρα --> ' <--- μου πετάει exception
αντιμετώπισε κανείς αυτό το θέμα;έχει κανείς καμιά ιδέα;
Αυτά τα links μπορεί να φανούν χρήσιμα: (και ίσως περισσότερο το πρώτο)
http://stackoverflow.com/questions/1519 ... -from-java
http://stackoverflow.com/questions/9596 ... e-in-mysql
http://stackoverflow.com/questions/8870 ... s-in-mysql
"Always keep a low profile. Cause when you get high, things can become strange."
"Never stop doing things you like. Never stop loving people you love. Never give up. Believe in yourself. Believe in your hidden powers."
"Honesty is an expensive gift, so don't expect it from cheap people."
The Scientist
Re: Συστήματα Ανάκτησης Πληροφοριών
Έγινε, σε ευχαριστώ θα τα κοιτάξω!Georgilakis Antonios wrote:Πρέπει να κάνεις escape αυτόν τον χαρακτήρα πριν περάσεις το κείμενο στην βάση.valeia wrote:Περνάω τα δεδομένα του text στην βάση μου, αλλά μάλλον όποτε το κείμενο περιέχει τον χαρακτήρα --> ' <--- μου πετάει exception
αντιμετώπισε κανείς αυτό το θέμα;έχει κανείς καμιά ιδέα;
Αυτά τα links μπορεί να φανούν χρήσιμα: (και ίσως περισσότερο το πρώτο)
http://stackoverflow.com/questions/1519 ... -from-java
http://stackoverflow.com/questions/9596 ... e-in-mysql
http://stackoverflow.com/questions/8870 ... s-in-mysql
- pgetsos
- Venus Former Team Member
- Posts: 1192
- Joined: Sun Oct 13, 2013 1:29 am
- Academic status: MSc
- Gender: ♂
Re: Συστήματα Ανάκτησης Πληροφοριών
Γενικά να τα περνάς με prepared statement που είναι πολύ πιο γρήγορο σε εκτέλεση σε batches και με αυτόματο escaping (Δεν είδα τα λινκ αν το αναφέρουν )
Όταν μια μαύρη γάτα περάσει από μπροστά σου, σημαίνει ότι το ζώο πάει κάπου.
Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
- Georgilakis Antonios
- Mbyte level
- Posts: 548
- Joined: Mon Dec 02, 2013 11:10 pm
- Academic status: Alumnus/a
- Gender: ♂
- Location: Straight into your Mind
Re: Συστήματα Ανάκτησης Πληροφοριών
1ο link, πρώτη απάντηση στο StackOverflow.
"Always keep a low profile. Cause when you get high, things can become strange."
"Never stop doing things you like. Never stop loving people you love. Never give up. Believe in yourself. Believe in your hidden powers."
"Honesty is an expensive gift, so don't expect it from cheap people."
The Scientist
- Code Monkey
- byte level
- Posts: 81
- Joined: Fri Jan 31, 2014 1:40 pm
- Academic status: 3rd year
- Gender: ♂
Re: Συστήματα Ανάκτησης Πληροφοριών
Ποσα tweets περίπου σας επιστρέφει για το α ερώτημα ρε παιδια;
Code Monkey very simple man
With big warm fuzzy secret heart:
Code Monkey like you
With big warm fuzzy secret heart:
Code Monkey like you
- pgetsos
- Venus Former Team Member
- Posts: 1192
- Joined: Sun Oct 13, 2013 1:29 am
- Academic status: MSc
- Gender: ♂
Re: Συστήματα Ανάκτησης Πληροφοριών
~70 ND, 400 SYRIZA
Όταν μια μαύρη γάτα περάσει από μπροστά σου, σημαίνει ότι το ζώο πάει κάπου.
Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
Re: Συστήματα Ανάκτησης Πληροφοριών
Μια ερώτηση παιδιά, που χρησιμοποιώ mysql βάση...προσπάθησα να κάνω insert τις τιμές που ηθελα where not exists(select id from table ) αλλά δεν εκτελείται αυτό...καμιά ιδέα πως να αποφύγω τα διπλότυπα?
- Georgilakis Antonios
- Mbyte level
- Posts: 548
- Joined: Mon Dec 02, 2013 11:10 pm
- Academic status: Alumnus/a
- Gender: ♂
- Location: Straight into your Mind
Re: Συστήματα Ανάκτησης Πληροφοριών
Κάνε primary key το ID του tweet:valeia wrote:Μια ερώτηση παιδιά, που χρησιμοποιώ mysql βάση...προσπάθησα να κάνω insert τις τιμές που ηθελα where not exists(select id from table ) αλλά δεν εκτελείται αυτό...καμιά ιδέα πως να αποφύγω τα διπλότυπα?
Code: Select all
-- [Inside table ...]
id BIGINT NOT NULL -- ID's are large numbers.
-- [...]
CONSTRAINT PK_id
PRIMARY KEY (id)
-- [...]
"Always keep a low profile. Cause when you get high, things can become strange."
"Never stop doing things you like. Never stop loving people you love. Never give up. Believe in yourself. Believe in your hidden powers."
"Honesty is an expensive gift, so don't expect it from cheap people."
The Scientist
Re: Συστήματα Ανάκτησης Πληροφοριών
Το σκεφτηκα αυτό, αλλά αν πετάξει exception θα συνεχίζει να βάζει τα υπόλοιπα;Georgilakis Antonios wrote:Κάνε primary key το ID του tweet:valeia wrote:Μια ερώτηση παιδιά, που χρησιμοποιώ mysql βάση...προσπάθησα να κάνω insert τις τιμές που ηθελα where not exists(select id from table ) αλλά δεν εκτελείται αυτό...καμιά ιδέα πως να αποφύγω τα διπλότυπα?
Αν δεν κάνω λάθος, το JDBC API θα ρίξει exception αν εισάγεις δεύτερο tweet με το ίδιο ID.Code: Select all
-- [Inside table ...] id BIGINT NOT NULL -- ID's are large numbers. -- [...] CONSTRAINT PK_id PRIMARY KEY (id) -- [...]
- Code Monkey
- byte level
- Posts: 81
- Joined: Fri Jan 31, 2014 1:40 pm
- Academic status: 3rd year
- Gender: ♂
Re: Συστήματα Ανάκτησης Πληροφοριών
Μπορείς να κάνεις INSERT IGNORE για να αγνοεί τα error και να συνεχίζει στα υπόλοιπα
Code Monkey very simple man
With big warm fuzzy secret heart:
Code Monkey like you
With big warm fuzzy secret heart:
Code Monkey like you
Re: Συστήματα Ανάκτησης Πληροφοριών
Όντως δουλεύει ευχαριστώ πολύ!Code Monkey wrote:Μπορείς να κάνεις INSERT IGNORE για να αγνοεί τα error και να συνεχίζει στα υπόλοιπα
-
- byte level
- Posts: 59
- Joined: Wed Oct 23, 2013 4:50 pm
- Academic status: 4th year
- Gender: ♀
Re: Συστήματα Ανάκτησης Πληροφοριών
Καλησπερα παιδια!
Για την εργασια αποφασισα να χρησιμοποιησω το rest api και ειμαι στην πρωτη φαση της συλλογης δεδομενων. Για να μαζεψουμε δεδομενα
σε διαστημα μιας εβδομαδας θα πρεπει να χρησιμοποιησουμε date απο μια ημερομηνια σε καποια αλλη?
Για την εργασια αποφασισα να χρησιμοποιησω το rest api και ειμαι στην πρωτη φαση της συλλογης δεδομενων. Για να μαζεψουμε δεδομενα
σε διαστημα μιας εβδομαδας θα πρεπει να χρησιμοποιησουμε date απο μια ημερομηνια σε καποια αλλη?
- Georgilakis Antonios
- Mbyte level
- Posts: 548
- Joined: Mon Dec 02, 2013 11:10 pm
- Academic status: Alumnus/a
- Gender: ♂
- Location: Straight into your Mind
Re: Συστήματα Ανάκτησης Πληροφοριών
Εναλλακτικά θα μπορούσες να κάνεις πρώτα:valeia wrote:Όντως δουλεύει ευχαριστώ πολύ!Code Monkey wrote:Μπορείς να κάνεις INSERT IGNORE για να αγνοεί τα error και να συνεχίζει στα υπόλοιπα
Code: Select all
SELECT COUNT(id) FROM table WHERE id = 247482389938 -- Π.χ.
Έτσι δεν θα χάσεις και άλλα, ενδεχομένως, errors που μπορεί να ρίξει το DBMS ως server κατά το insert, όπως αν έκανες ignore errors.
Απλά ξεκίνα μια συγκεκριμένη μέρα να μαζεύεις tweets, και διέκοψε την διαδικασία μια εβδομάδα μετά.jennaki123 wrote:Καλησπερα παιδια!
Για την εργασια αποφασισα να χρησιμοποιησω το rest api και ειμαι στην πρωτη φαση της συλλογης δεδομενων. Για να μαζεψουμε δεδομενα
σε διαστημα μιας εβδομαδας θα πρεπει να χρησιμοποιησουμε date απο μια ημερομηνια σε καποια αλλη?
Αυτό έχω καταλάβει εγώ τουλάχιστον.
"Always keep a low profile. Cause when you get high, things can become strange."
"Never stop doing things you like. Never stop loving people you love. Never give up. Believe in yourself. Believe in your hidden powers."
"Honesty is an expensive gift, so don't expect it from cheap people."
The Scientist
- pgetsos
- Venus Former Team Member
- Posts: 1192
- Joined: Sun Oct 13, 2013 1:29 am
- Academic status: MSc
- Gender: ♂
Re: Συστήματα Ανάκτησης Πληροφοριών
Εγώ νομίζω έβαλα on duplicate update id η κάτι παρόμοιο
Όταν μια μαύρη γάτα περάσει από μπροστά σου, σημαίνει ότι το ζώο πάει κάπου.
Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
-
- byte level
- Posts: 59
- Joined: Wed Oct 23, 2013 4:50 pm
- Academic status: 4th year
- Gender: ♀
Re: Συστήματα Ανάκτησης Πληροφοριών
Μηπως εχεις βρει καποιο λινκ σχετικο; γιατι δεν εχω καταλαβει ακριβως πως γινεται..Georgilakis Antonios wrote: Απλά ξεκίνα μια συγκεκριμένη μέρα να μαζεύεις tweets, και διέκοψε την διαδικασία μια εβδομάδα μετά.
Αυτό έχω καταλάβει εγώ τουλάχιστον.
- Georgilakis Antonios
- Mbyte level
- Posts: 548
- Joined: Mon Dec 02, 2013 11:10 pm
- Academic status: Alumnus/a
- Gender: ♂
- Location: Straight into your Mind
Re: Συστήματα Ανάκτησης Πληροφοριών
Δες τις παραμέτρους σε αυτή την σελίδα:jennaki123 wrote:Μηπως εχεις βρει καποιο λινκ σχετικο; γιατι δεν εχω καταλαβει ακριβως πως γινεται..Georgilakis Antonios wrote: Απλά ξεκίνα μια συγκεκριμένη μέρα να μαζεύεις tweets, και διέκοψε την διαδικασία μια εβδομάδα μετά.
Αυτό έχω καταλάβει εγώ τουλάχιστον.
https://dev.twitter.com/rest/reference/ ... rch/tweets
Twitter API for JAVA: http://twitter4j.org/en/index.html
Twitter API for Python: https://github.com/bear/python-twitter
Twitter API for PHP: https://github.com/abraham/twitteroauth
Ξεκινάς το search απλά με τις απαραίτητες παραμέτρους, χωρίς ημερομηνία, και επαναλαμβάνεις για μια εβδομάδα το ίδιο, με το ίδιο keyword.
EDIT: Προσοχή στην χρήση του keyword, ο καθηγητής επιθυμεί αφαίρεση των retweets.
"Always keep a low profile. Cause when you get high, things can become strange."
"Never stop doing things you like. Never stop loving people you love. Never give up. Believe in yourself. Believe in your hidden powers."
"Honesty is an expensive gift, so don't expect it from cheap people."
The Scientist
Re: Συστήματα Ανάκτησης Πληροφοριών
Καλησπέρα παιδιά, έχω ένα θεματάκι με την εκφώνηση(πολλά αλλά anyway)...δεν καταλαβαίνω ...πρέπει να μαζέψουμε τα ποστς που αφορούν συριζα και νεα δημοκρατια; να δοκιμασουμε πολλα hashtags για καθε κομμα; και να μην υπάρχουν και τα 2 κομματα μαζι? Βοηθήστε πλιζ γιατί