通过爬虫抓取500px的编辑推荐的照片进行数据分析

 

很多爱好摄影的家伙和我一样,对于摄影大神们的照片,崇拜的五体投地。500px摄影社区,即使对于我们摄影小白来说,也并不陌生,社区中,编辑推荐的精品,很多是摄影圈大神的作品。

 

那么,你肯定好奇,大神们拍出的精品,他们用的都是啥么神器?惯用伎俩是什么?长曝光吗?什么焦段最厉害?不瞒您说,我也同样好奇。但光好奇木用,结果才是我们要的。

 

所以。。。踏踏,经过一阵思想斗争,我决定自己爬数据分析分析。敲黑板,自己爬的数据啊,容易吗?!(此处有掌声)

 

废话少说,上菜:

 

第一步:打开冰箱。。哦不,是写爬虫程序 (纯技术话痨,对爬虫不敢兴趣的请直接跳到第二步)

 

地球人都知道,python是爬虫的霸主,所以,必须要用python

 

1.1 装环境

python爬虫用到的最重要的是selenium或beautifulsoup,我用的是selenium。与此配套的是webdriver。其他的略过。

 

1.2 网站的架构分析

爬的是500px编辑推荐的,这是个动态的网页,每次显示20张,向下翻页再刷出来10几张。因此,爬的时候必须模拟鼠标操作,以便于能把所有数据都抓到。

 

1.3 写代码

我目标是抓10000张照片,因此用两步完成。第一先把推荐的照片都找到,第二在对每一张照片的参数进行抓取。当然,如果把两步合成一步也可以。这里用到了一些正则表达式,tag分析,xpath之类的,比较枯燥,放一张截图,细节略过。


图片 10.png


1.4 让代码跑起来,我去喝点小酒

因为是照片,因此,如果节省时间让照片不显示,有些信息抓不到的。而显示照片,速度就受影响。代码一共跑了近2个小时。我酒都喝了。。。也就2两。

 

1.5 小插曲

原本我目标是抓10000张,然额,跑起来代码,500px在展示6000多张后,就到底了。所以,白白浪费了我40分钟的时间。


第二步 数据分析

 

一共抓了6143张。存在了excel里。本来想找个BI分析一下,但数据量不大,excel能应付。恩恩,主要还是我懒。

现在重点来了,主要一下几个维度来分析

 

2.1 大神们用什么相机最多?看结果

毫无疑问,佳能是大神们最常用的品牌。佳能,尼康和sony三家几乎占据了整个品牌的70%以上。如果加上型号。Mark IV最多,占10%。其后是Nikon D810。Sony ILCE 7R, Canon 6D,Canon 5D Mark III,Nikon D850。。。。,那个哈苏,飞思啥的,很少很少。


下面是简单的统计图:

 图片 5.png


再来一张频次图,看的更清楚一点。

 

 图片 11.png


2.1 光圈de应用

惊艳到我的是,大神们偏好2.8,可见,牛头是必要的。第二个偏好是F8。所以,要么追求bokeh,要么追求画质。各位同学,你悟出点门道没有?

 

--图片 4.png


2.3 焦距

35和50毫米标准焦段仍是主流,其次就是超广角了。长焦类的少之又少。所以打鸟的同学,如果你的照片想被推荐,还需参与恶性竞争才行。毕竟,你要和善用超广的大神进行竞争。

 图片 6.png

2.4 iso

这个毫无悬念,iso100占到了36%,iso400以下,总数占到50%以上。所以,可见,噪点和画质是大神们最关心的。也是编辑们最在乎的。能用低的,莫要用干的,额,高的。


图片 7.png



2.5 快门

我一直以为,长曝光是王道,但结果一看,完全颠覆。大神们用的最多的仍然是标准曝光,高速快门。噢噢,这个小白们拍片今后一定要注意了。

 图片 8.png


2.6 有趣发现

即使大神的照片,那么点流比是多少呢(点赞数和浏览数的比率)?我一般看见这些照片,直接点赞。然鹅,看下平均值,结果是15%左右。可见,大神的照片点赞率并不高。老百姓审美情趣提高了,有没有?即使是编辑推荐了,一般的也不舍得点赞。


图片 2.png



而更有趣的是,我发现了作弊的点赞,就是点赞率超出100%,最高的达到900%以上。这个,肯定是作弊了,点赞数比看人还多?我数学不好,不要骗我。



图片 9.png

 

好了,希望以上统计数据,对咱们摄影小白有点用处。无论拍片,购置装备。但最重要的是,走出去,多拍,多整。总有一天,你的照片会获得编辑的推荐,大卖而热卖。到时候分我一点福利我是不会拒绝的。

 

备注:以上每个维度的统计,都是去除了非法数据,因此,即使爬下来6000多张,能进入统计的,基本在4000张左右。










   点赞:      阅读:928