Python スクレイピングで文字化けした時に解消できた方法!

未分類

Pythonでスクレイピングしてる時
文字化けしてしまってちょっと困りました。

そこでいろいろ調べたら、いろんな方法
があったんで、いろいろ試してみました。

そしたら、文字化けが解消されたんで
その方法を記事に残しときます。

良かったら参考にしてください。

また、方法はいろいろあるみたいで、
ネット環境で、効果は異なるみたいです。

今回私の文字化けが解消された
コード書いときますので
参考にしてみてください。

文字化けした時のコード

 

今回下記のコードでサイト表示
すると文字化けしてた。

!pip install fake_useragent
import pandas as pd
import requests
from bs4 import BeautifulSoup as bs
import re
from fake_useragent import UserAgent
ua=UserAgent()
useragent=ua.random
url=”https://buyerz.shop/shop/shopdetail.html?brandcode=000000029147&search=zvpa&sort=”
def get_html(url):
headers={“User-Agent”:useragent}
res=requests.get(url,headers=headers)
return res
#今回この部分の内容を変更
res= requests.get(url)
soup = bs(res.content, ‘html.parser’)
soup

いままではこのコードでページの内容
を表示してくれてた。

今回は下記のように文字化け

 

 

実際に文字化け解消されたコード

 

このコードに変更することで解消された。

#このコードに変更で解消された
res= requests.get(url)
res.encoding = res.apparent_encoding
print(res.text)

 

こんな感じです。

 

これで文字化け問題は解決!

 

一度試してみて下さい。

 

今回感じたこと

 

今まで独学で学んでましたが、
今回の件でちょっとおもったのが
そろそろわからない事が聞ける環境
作った方が理解早いかな?

と感じちゃいました。

実はこのコードに辿り着くまで
3日ほどかかっちゃいましたからね

今回はこの本に書かれてる
コードで解決できました。

ダイアログを出してユーザーから言葉や
ファイルの入力を得る方法や、正規表現の使い方、
プログラムをデスクトップアプリにする方法、
他の人が実行しやすい形でプログラムを渡す方法、
マウスやキーボードの操作を自動化する方法などが
書かれてるので購入してみました。

結構わかりやすく書かれてるのでオススメです。

今の出費を抑えるより、早く取得したほうが
将来の収入アップへの近道かな。

ちょっと調べてみました。

参考にしてください。
侍エンジニアなんかは無料体験も
あっていい感じかな。

人気のプログラミングスクール

 

侍エンジニア

専属のインストラクターとの対面かZoomなどでレッスンを通じて
プログラミングやWebデザインのスキルを身につけ
就職や転職、案件の獲得の方法などをマンツーマンでサポート。

・一人一人の目的に合わせたオーダーメイドカリキュラム
・プログラミングが学べる
・WEBデザインが学べる
無料体験 侍エンジニアこちら

 

コメント

タイトルとURLをコピーしました