月別アーカイブ: 2016年4月

【Python】プロキシを通してURLをたたく

Python3でプロキシを通してアクセスしたいときの手順をメモメモ

import urllib.request


opener          = urllib.request.build_opener()

proxy_handler   = urllib.request.ProxyHandler({'http':'[ホスト名]:[ポート番号]'})

opener.add_handler(proxy_handler)

response = opener.open(url, data=None, timeout=8) html = response.read()

ふむ

あと、ページを読み込むときにUTF8以外のページにも対応させるために
この関数を通すようにしてみたー
def conv_encoding(data): lookup = ('utf_8', 'euc_jp', 'euc_jis_2004', 'euc_jisx0213', 'shift_jis', 'shift_jis_2004','shift_jisx0213', 'iso2022jp', 'iso2022_jp_1', 'iso2022_jp_2', 'iso2022_jp_3', 'iso2022_jp_ext','latin_1', 'ascii') html = ''




		
		
			
			

			
			for encoding in lookup:
  try:
    html = data.decode(encoding)
    break
  except:
    pass

return html

			
				
					
				
					1
2
3
4
5
6
7
8
9
				
						for encoding in lookup:
  try:
    html = data.decode(encoding)
    break
  except:
    pass
 
return html

html = response.read()
のところを、こんな感じに変更
html = conv_encoding(response.read())

ふむふむ

【Python】メインコンテンツを抽出

コメントをどうぞ

サイト上のページから、メインコンテンツだけを抽出したいな～
って思っても、ロジックが複雑そ～
って思って、あきらめていたらこんな便利なものが～
ってことでメモメモ

言語はPythonなのだけれど、ちょうど今マイブームなので問題なしっｗ

readability-lxmlというモジュールで実現できるらしい！

まずはpipでインストール！

pip install readability-lxml

そしたら、下記コマンドをたたくと、なんとメインコンテンツが返ってくるのだ～

python -m readability.readability -u http://pypi.python.org/pypi/readability-lxml

ちょー簡単なうえ、優秀！！

記事ページとかなら高確率で抽出できる！
こりゃ便利ｗ

Python3でMySQL に接続してみる

コメントをどうぞ

Python3でMySQLを普通に使おうと思ったら
エラーが出たので、そのときの対処をメモメモ

何も考えずに
MySQLdbをインポートしたところ
import MySQLdb

No module named ‘MySQLdb’

って怒られてしまった。。

調べると現時点ではどうやら、
MySQLdb (1.2.4)最新リリース版ではPython 3をサポートしていない？！
えっ、そんなことって、、、なんて使えないんだ、、、

でも、そこは親切などなた様かが、
ちゃんと抜け道を用意してくださっているので
それに従わせていただきまーす！

まずは、こちらから最新のファイルを持ってこよー！
mysql-connector-python

$ wget http://cdn.mysql.com/Downloads/Connector-Python/mysql-connector-python-2.0.4.zip#md5=3df394d89300db95163f17c843ef49df

早速解凍してインストール！！
$ unzip unzip mysql-connector-python-2.0.4.zip
$ cd mysql-connector-python-2.0.4
$ python setup.py install

一応確認！
$ pip list | grep mysql
mysql-connector-python (2.0.4)

準備OK！

接続できることを確認！

import mysql.connector


conn = mysql.connector.connect(

        user='xxxx',

        passwd='xxxx',

        host='localhost',

        database='xxxx')

c = conn.cursor()

まぁ結構かんたんにできたけれども
それでもなんかめんどくさいよー！

【PHP】CSVファイルの読み込み

コメントをどうぞ

いろいろ方法はあるのだけれど、
個人的にはこれがスマートだと思うのでメモメモ

$file = new SplFileObject("読み込むCSVファイル"); $file->setFlags(SplFileObject::READ_CSV);




		
		
			
			

			
			$records    = array();
$recordsSub = array();

foreach ($file as $line) {
    if(!is_null($line[0])){
        var_dump($line);
    }
}

			
				
					
				
					1
2
3
4
5
6
7
8
9
				
						$records    = array();
$recordsSub = array();
 
foreach ($file as $line) {
    if(!is_null($line[0])){
        var_dump($line);
    }
}

うん、スタイリッシュ！

【PHP】配列の中身を改行してファイルに書き出す

コメントをどうぞ

まぁ、配列をループさせて書き出せばいいんだろうけど
もっと簡単にできないかなぁと思ったのでメモメモ

$records = array('a', 'b', 'c');




		
		
			
			

			
			$fp = fopen("書き込むファイル", 'w');
fwrite($fp, implode("\n", $records));
fclose($fp);

			
				
					
				
					1
2
3
4
				
						$fp = fopen("書き込むファイル", 'w');
fwrite($fp, implode("\n", $records));
fclose($fp);

書き込んだファイルの中身
a
b
c

うん、簡単だｗ

【PHP】execの戻り値で日本語が消える

コメントをどうぞ

文字コード関連の設定なんだろうなということは分かっても
ちょっと忘れそうなのでメモメモ

/etc/sysconfig/httpd
こちらのファイルに

HTTPD_LANG=ja_JP.utf8
これを追加して、httpdを再起動すれば解決！

canna研究所

とりあえず、忘れそうな内容はメモメモ

月別アーカイブ: 2016年4月

【Python】プロキシを通してURLをたたく

【Python】メインコンテンツを抽出

Python3でMySQL に接続してみる

【PHP】CSVファイルの読み込み

【PHP】配列の中身を改行してファイルに書き出す

【PHP】execの戻り値で日本語が消える