Wie funktioniert eigentlich ein Redirect Service
Was ist ein Redirect Service ?
Ein Redirect oder auch Alias Service ist eine Methode, mit der man aus einer langen Internetadresse, eine gekürzte Form machen kann ...
Bsp.:
Aus
http://maps.google.at/maps?hl=de&ie=UTF8&ll=48.203397,16.373062&spn=0.094503,0.305557&z=12
Wird
http://kickmeto.ath.cx/wien
Nötig wird so ein Service, wenn man bei der Zeilenlänge eingeschränkt ist,
wie etwa in einer eMail, bei einer SMS oder auch bei Twitter.
Was benötigen wir für unseren eigenen Redirect Service ?
Eine möglichst kurze Domain
Einen Webserver mit PHP und mod_rewrite (Apache)
Eine Datenbank (im Beispiel verwende ich MySQL)
Ich habe zum Demonstrieren http://kickmeto.ath.cx/ online gestellt, was
auf folgendem Code basiert.
Zuerst erstellen wir unsere MySQL Tabelle "redirect":
CREATE TABLE `redirect` (
`id` bigint(20) unsigned NOT NULL auto_increment,
`url` text NOT NULL,
`name` varchar(255) default NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ;
Hier haben wir einen primären Schlüssel (id), die Adresse (url) welche wir in den Namen (name) umwandeln möchten.
Jetzt erstellen wir eine Konfigurationsdatei, in der wir unsere Datenbankparameter, wie user, passwort etc.
reinschreiben:
Code
<?
/*** mysql connection information ****/
/*****************************************/
$db = "redirect";
$db_host = "localhost";
$db_user = "user";
$db_pass = "pass";
$url = "http://kickmeto.ath.cx/";
/*****************************************/
?>
Jetzt kommt das Herzstück der Weiterleitung, folgender Script (index.php) übernimmt alle Aufgaben, die wir benötigen
1. Weiterleitung der Kurzadressen
2. Speichern neuer Adressen
3. Fehlerüberprüfung
Code
<?
include("./config.php");
$sOut="";
//wir bauen eine verbindung zur datenbank auf
$connect=@mysql_connect("$db_host", "$db_user", "$db_pass")
or die("<li>Cant connect to: $db_host with user: $db_user</li>");
@mysql_select_db($db, $connect)or die("Cant select DB");
//im folgenden teil versuchen wir einen redirect in der datenbank zu finden
//wenn nicht das eingabe formular gefragt ist
if($_SERVER[REQUEST_URI]!=="/"){
$surl=mysql_escape_string(strip_tags(substr($_SERVER[REQUEST_URI], 1)));
$sql='select url from redirect where name="'.$surl.'" or id="'.$surl.'" limit 1';
$query=mysql_query($sql);
$row=mysql_fetch_array($query);
if($row[url]){
//hier paasiert die eigentlich weiterleitung
header("Location: $row[url]");
}else{
$sOut.= "Kurzadresse nicht gefunden";
}
}
//wenn jemand speichern drückt
if($_POST){
//überprüfe ob die url syntax richtig ist
if(preg_match("/(((https?)|(ftp))://([-w]+.)+w{2,3}(/[%-w]+(.w{2,})?)*(([w-.?\/+@&#;`~=%!]*)(.w{2,})?)*/?)/i", $_POST[url])){
//maskiere die parameter und speichere sie in die datenbank
$nurl=mysql_escape_string($_POST[url]);
if($_POST[name]){
$sqlstr="'".mysql_escape_string(strip_tags($_POST[name]))."'";
$name=mysql_escape_string(strip_tags($_POST[name]));
} else {
$sqlstr="NULL";
}
//hier überprüfen wir ob der name schon existiert
if(url_exist($name)){
$sOut="Der Name existiert leider schon, versuchs mit einem anderem.";
} else {
//nun schreiben wir die neue kurzurl in die datenbank
$sql="insert into redirect VALUES ('', '$nurl', $sqlstr)";
mysql_query($sql);
$id=mysql_insert_id();
$sOut.='Deine Adresse ist nun unter folgender Adresse erreichbar:<br>';
if($_POST[name]){
$sOut.='<a href="'.$url.''.$name.'">'.$url.''.$name.'</a> oder <br>';
}
$sOut.='<a href="'.$url.''.$id.'">'.$url.''.$id.'</a>';
}
}else{
$sOut.="Bitte check deine URL";
}
}
function url_exist($url){
$sql='select url from redirect where name="'.$url.'" or id="'.$url.'" limit 1';
$query=mysql_query($sql);
$row=mysql_fetch_row($query);
if($row[0]){
return true;
} else {
return false;
}
}
?>
<html>
<head>
<style type="text/css">
body{
background-color:#000000;
color: #ffffff;
text-align:center;
}
</style>
</head>
<body>
<div class="header">Banner
Short Url Service
</div>
<div class="msg">
<?=$sOut; ?>
</div>
<form method="post">
<table align="center">
<tr>
<td>Url:</td>
<td><input type="text" name="url" value="http://"></td>
</tr>
<tr>
<td>Name (Optional)</td>
<td><input type="text" name="name"></td>
</tr>
<td> </td>
<td><input type="submit" name="Save" name="Speichern"></td>
</tr>
</table>
</form>
</body>
</html>
Das wichtigste noch zum Schluss, die ModRewrite Anweisung (.htaccess), die alle Anfragen umleitet..
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
Ich hoffe der Script ist weitgehend selbsterklärend, ansonsten kannst du mich gerne anschreiben, wenn
du Fragen oder Verbesserungsvorschläge hast.
Andreas
http://httpd.apache.org/docs/2.2/mod/mod_rewrite.html
2009-05-29 18:44:13
Comments (0) | Permalink | PDF Download
Wie schreibe ich eine Suchmaschine part 1
Wo sind denn nur die verflixten Schlüssel hin verschwunden? Und wer zur Hölle versteckt ständig die Fernbedienung?!?
Nun ja, wer kennt sie nicht die verzweifelte Suche nach allen möglichen Dingen?
Im realen Leben kann ich euch da auch nicht helfen (obwohl die Marktchancen für Schlüsselsuchroboter wohl gar nicht schlecht wären),
aber im Überlebenskampf in den unendlichen Weiten des www gibt es zum Glück eine Möglichkeit...
Anmerkung:
Wie man eMailadressen, Kreditkarten oder andere personenbezogene Daten aus dem Netz fischt werde ich an dieser Stelle nicht beantworten.
Wer wissen will wie man ansatzweise eine eigene Suchmaschine schreibt, wird hier geholfen,
etwas Programmiererfahrung in PHP wäre dabei von Vorteil.
Überblick:
Ich habe mich schon etwas länger mit der Problematik befasst eine Suchmaschine zu erstellen,
weniger aus der Ambition heraus Google Konkurrenz zu machen, als mehr aus Spass an der Technik.
Zuerst einmal werde ich in diesem Artikel eine kleine Übersicht geben und die Unterschiede zwischen
einem Crawler und Indexer erklären.
In weiterer Folge werden wir versuchen Ordnung ins Chaos zu bringen und eine kleine Suchmaschine programmieren.
Es wird am Ende auch auf das Thema SEO eingegangen, allerdings weniger aus der klassischen Perspektive der
selbsternannten Marketingexperten, als mehr aus Sicht des Suchmaschinenprogrammierers.
Auf dem Markt gibt es derzeit viele Suchmaschinen, allerdings wenige die so populär sind wie Google,
was nicht zuletzt auf deren Rankingfunktion zurückzuführen ist, diese ist dafür verantwortlich
dass ich möglichst relevante Suchergebnisse erhalte.
Wir werden uns also in weiterer Folge mit der Thematik beschäftigen müssen, wie wir möglichst
interessante Ergebnisse zu den Suchanfragen generieren.
Hierbei unterscheide ich generell zwischen zwei Arten, dem usergenerated Ranking (bedeutet der User bestimmt welche Inhalte zu welchem
Thema interessant sind) und dem rein computergestützten Ranking.
Am besten wäre natürlich eine Mischung aus beiden, aber dazu später mehr.
Die erste Frage die sich stellt, wenn man sich mit der Thematik beschäftigt: "Woher bekomme ich die ganzen Daten?".
Das kommt darauf an, was man durchsuchen will, wir werden uns in diesem kleinen Howto primär den Internetdaten widmen.
Also "Woher bekomme ich alle Webseiten?", nun ja, leider ist es bei der Grösse und dem Wachstum des Internets nicht
möglich alle Webseiten in seine Suchmaschine aufzunehmen, auch für Google nicht. (Ja, richtig, entgegegen hartnäckig
kursierender Gerüchte: auch Google weiß nicht alles.)
Daher können wir nur einen kleinen Teil des Internets überhaupt aufnehmen.
Diese Arbeit macht der sogenannte Webcrawler, er besucht Webseiten, folgt den Links (bis zu einer gewissen Tiefe) und
speichert die Daten in einer Datenbank.
Meine ersten Gehversuche habe ich mit einem externen Crawler (larbin und wget) und einem selbst geschriebenen Indexer gemacht.
Der Indexer hat lediglich die Aufgabe gehabt, vereinfacht gesagt die gesammelten Daten in die Datenbank zu schreiben.
In weiterer Folge hat er die Daten sortiert, Schlüsselwörter extrahiert und Datenbestände aktuell gehalten.
Bei grösseren Mengen (Bsp. 30 GB Daten) kann das schon mal an die Grenzen der Serverressourcen gehen.
Deshalb habe ich die Suchanfragen auf einen zweiten Table abgefragt, wo lediglich url, title, keywords und description
vorhanden sind und nicht die gesamten Rohdaten.
Okay was wissen wir bis jetzt? Wir benötigen einen Webcrawler, der uns die Webseiten runterlädt, und
einen Indexer der die Webseiten in die Datenbank speichert. Soweit sogut.
Damit wir unsere Daten nicht nur horten, sondern auch nutzen können, brauchen wir auch noch ein kleines
Frontend, mit der Möglichkeit eine Suchanfrage zu starten.
In meinem Beispiel wird das Frontend auch die Aufgabe des Webcrawlers übernehmen, das bedeutet man
kann nur einzelnene Seiten dem Index hinzufügen, allerdings ist diese Variante auch kompatibel
mit larbin, wget und anderen Webcrawlern.
Aber dazu mehr in Part 2, jetzt kommt erstmal etwas Code (es gibt auch das gesammelte Packet weiter unten):
Hier mal unsere config.php Datei, wo alle wichtigen Zugangsdaten für die MySQL DB gespeichert sind.
CREATE TABLE `data` (
`id` bigint(20) unsigned NOT NULL auto_increment,
`title` varchar(255) NOT NULL,
`keyword` varchar(255) NOT NULL,
`desc` varchar(255) NOT NULL,
`url` varchar(255) NOT NULL,
`pr` int(11) NOT NULL default 5,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
Das ist unsere Tabelle data, wo wir die Metadaten der Webseiten speichern werden.
Dies erledigt folgender Script.
add.php speichert die Metadaten einer Webseite in der Datenbank, wenn der title und description tag
vorhanden ist. Sollte die Url in der Datenbank bereits vorhanden sein, wird der vorhandene Datensatz aktualisiert.
Nun brauchen wir noch einen Script der die Daten durchsucht und im Idealfall auch ein Ergebnis ausspuckt.
(Beachte das dieser Script über ajax aufgerufen wird.)
result.php schaut in der Datenbank, ob der übergebene Parameter $_POST[search] vorhanden ist und sortiert die Ergebnisse nach dem Feld pr.
In diesem Feld speichern wir das Userranking.
Nun benötigen wir noch eine Seite, die es dem Benutzer erlaubt die Suchanfragen einzugeben:
index.php ist im wesentlichen dazu da, dem Benutzer ein Eingabefeld zu zeigen, von wo er die Suchanfrage
starten kann. Darüber hinaus übernimmt der Script auch das Uservoteing und somit ist er auch Bestandteil des Rankings.
Zu guter Letzt noch die ajax.js Datei, sie übergibt im Hintergund die eingegebenen Daten aus dem Textfeld der result.php Datei.
Tatatata! Fertig ist unsere Suchmaschine mit der beliebten usergenerierten Sortierung!
Gesamter Script: Downloaden | Demo
Licence GPL 2
In Part 2 werde ich noch näher darauf eingehen, wie man die Daten automatisiert in die Datenbank
schreibt, und wie man eine "Meinten Sie .." Funktion implementiert.
Ausserm werde ich das Thema SEO aus einem eher technischen Gesichtspunkt beleuchten und
versuchen die Suchergebnisse zu optimieren.
Ich hoffe euch hat der kleine Exkurs in die Welt der Suchmaschinen gefallen, wenn ja
freue ich mich immer über ein Kommentar, wenn nein siehe wenn ja. :)
Best Regards
Andreas
Quellen
http://yacy.net/
http://larbin.sourceforge.net/index-eng.html
http://www.gnu.org/software/wget/
2009-05-08 21:47:21
Comments (0) | Permalink | PDF Download
Wie schreibe ich eine XML Schnittstelle
Ich möchte euch hier demonstrieren wie man eine XML Schnittstelle einfach und schnell
programmiert...
Wir haben auf der einen Seite einen Script, der eine XML Anfrage an den Server schickt
und auf der anderen Seite einen Script, der die Anfrage bearbeitet.
Angenommen wir wollen 3 Funktionalitäten über XML steuern können:
ADD, UPDATE und DELETE sprich Hinzufügen, Ändern und Löschen.
Als erstes zeige ich euch wie man ein XML erzeugt und an den Server sendet:
Code
<?
function createxml($array) {
$buf = '';
foreach($array as $key => $value)
{
if(is_array($value))
{
$buf .= "<".strtolower($key).">" . createxml($value) . "</".strtolower($key).">n";
}
else{
$buf .="<".strtolower($key)."><![CDATA[$value]]></".strtolower($key).">n";
}
return $buf;
}
$aPOST["content"]["id"] = "2";
$aPOST["content"]["author_id"] = "1";
$aPOST["content"]["header"] = "Wir schreiben eine XML Api";
$aPOST["content"]["content"] = "Ich möchte euch hier Demonstrieren wie man eine
XML Schnitstelle..";
$aPOST["content"]["date"] = date("Y-m-d H:i:s");
$url = 'http://www.codejungle.org/xml-api.php';
$POST["cmd"]="ADD";
$POST["apikey"]="kmlnjierg8795th2bughj3fg02jgkm0ggi";
$POST["data"]=createxml($aPOST);
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
//curl_setopt($ch, CURLOPT_USERPWD, $user . ':' . $pwd);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $POST);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$feedback = curl_exec($ch);
$ErrNum = curl_errno($ch);
$ErrMsg = curl_error($ch);
curl_close($ch);
echo $feedback;
?>
Wir erstellen hier mit Hilfe der createxml Funktion aus einem Array eine XML
Datei. Danach senden wir mit Hilfe von curl drei Parameter an die Datei xml-api.php,
cmd damit unser Script weiß, welche Funktion er aufrufen soll, in unserem Fall ADD,
den API Key um sicherzustellen, dass nicht jeder die Schnittstelle benutzen kann und
data die eigentliche XML Datei.
Nun müssen wir einen Script erstellen, der die Anfrage entgegennimmt und richtig
verarbeiten kann.
Code
<?
$allowed_api_keys=array("kmlnjierg8795th2bughj3fg02jgkm0ggi");
//check if api key is valid
if(in_array($_POST[apikey], $allowed_api_keys)){
switch($_POST[cmd]){
case ADD;
$xml = simplexml_load_string($_POST[data]);
foreach($xml as $name => $value){
echo "$name => $value";
}
break;
default:
echo "Please check your provided command";
break;
}
} else {
echo "Your API - Key is invalid";
}
?>
Diese Datei überprüft zuerst ob der gesendete API Key existiert,
wenn ja, überprüfen wir noch welche Funktion übergeben wurde (in unserem Fall ADD).
Hier laden wir die XML Datei mit Hilfe der simplexml_load_string Funktion ein und
geben sie anschließend aus.
Man kann nun eine Funktion schreiben, die die übergebenen XML Daten weiter verarbeitet.
Die meisten Probleme machen nach meiner Erfahrung Umlaute und Sonderzeichen,
sie führen oft zu parse errors. Dies kann man teilweise mit Hilfe des Tags
lösen, wobei der Tag selbst allerdings auch zu parse errors führen kann...
Auf Wunsch von einem guten Freund möchte ich auch noch auf XML-RPC und Soap hinweisen,
beide eignen sich ebenfalls zur Remote XML Verarbeitung.
Ich hoffe euch hat mein kleiner Exkurs gefallen und freue mich über eure Kommentare.
LG
Andreas
2008-10-19 14:54:39
Comments (0) | Permalink | PDF Download
Shoutbox mit PHP und Ajax
Hallo,
nachdem mir heute etwas langweilig war und ich alles machen wollte, nur nicht das was ich sollte, hier ein kleiner Script der eine Shoutbox erzeugt.
Das Besondere ist, er kommt ohne Datenbank aus und benutzt ajax damit neu hinzugefügte Inhalte gleich angezeigt werden. Man kann ihn also auch als simplen Chatscript benutzen. Noch nicht implementiert sind Smilies, sollte sich aber mit str_replace recht einfach umsetzen lassen.
Source Code Downloaden | Demo
Code
<?php
# Shoutbox 1.0
# by Andreas Beder
# codejungle.org
# Licence GNU GPL 2
//config
$filename="content.txt";
// be sure the file have write permissions
$url="http://www.codejungle.org/shoutbox/";
//function
function get_content(){
global $filename;
$lines = file ($filename);
$start = count($lines)-12;
if ($start < 1) $start = 1;
for ($i = $start; $i < count ($lines); $i++){
$somecontent.=stripslashes($lines[$i]);
}
return $somecontent;
}
function add_content(){
global $filename;
if($_POST[submit] and $_POST[nick] and $_POST[content]){
//check content
//add content
$_SESSION["nick"]=$_POST[nick];
$somecontent=strip_tags($_POST[nick]).": ".strip_tags($_POST[content])."<br/>n";
$handle = fopen($filename, 'a+');
fwrite($handle, $somecontent);
}
}
function output_form(){
echo '
<form action="" method="post">
Nick:';
if($_SESSION[nick]){echo $_SESSION[nick].'<input type="hidden" name="nick" value="'.$_SESSION[nick].'"><br>';} else { echo '<br>
<input name="nick" type="text" value="'.$_SESSION[nick].'"><br>'; }
echo'
Text:<br>
<textarea rows="5" cols="100" name="content"></textarea><br>
<input type="submit" name="submit" value="save">
</form>
';
}
if($_GET[content]=="true"){
echo get_content();
die();
}
?>
<html>
<head>
<title>shoutbox demo</title>
<script type="text/javascript" language="javascript">
var http_request = false;
function macheRequest(url) {
http_request = false;
if (window.XMLHttpRequest) { // Mozilla, Safari,...
http_request = new XMLHttpRequest();
if (http_request.overrideMimeType) {
http_request.overrideMimeType('text/xml');
// zu dieser Zeile siehe weiter unten
}
} else if (window.ActiveXObject) { // IE
try {
http_request = new ActiveXObject("Msxml2.XMLHTTP");
} catch (e) {
try {
http_request = new ActiveXObject("Microsoft.XMLHTTP");
} catch (e) {}
}
}
if (!http_request) {
alert('Ende :( Kann keine XMLHTTP-Instanz erzeugen');
return false;
}
http_request.onreadystatechange = alertInhalt;
http_request.open('GET', url, true);
http_request.send(null);
}
function alertInhalt() {
if (http_request.readyState == 4) {
if (http_request.status == 200) {
document.getElementById("shoutbox").innerHTML=http_request.responseText;
var objDiv = document.getElementById("shoutbox");
objDiv.scrollTop = objDiv.scrollHeight;
setTimeout('macheRequest("<?php echo $url; ?>?content=true")',2000);
} else {
alert('Bei dem Request ist ein Problem aufgetreten.');
}
}
}
</script>
</head>
<body onload="macheRequest('<?php echo $url; ?>?content=true');">
<? add_content(); ?>
<div style="border:1px solid #ccc; width:500px; height:300px; max-height:300px; overflow:auto;"
name="shoutbox" id="shoutbox">
</div>
<? output_form(); ?>
</body>
</html>
Beachte, dass die content.txt Schreibrechte für den Webserver haben sollte.
Unter *nix geht das folgendermaßen:
chmod 640 content.txt && chown nobody:nogroup content.txt
Ich hoffe euch hat mein Script gefallen, über Verbesserungsvorschläge freue ich mich natürlich auch.
LG
Andreas
2008-10-11 00:46:14
Comments (4) | Permalink | PDF Download
