如果 URL 以 "blob:" 开头，如何使用 Python 3/Selenium 下载图像？

Question

当使用 web.whatsapp.de 时，可以看到接收到的图像的 link 可能如下所示：

blob:https://web.whatsapp.com/3565e574-b363-4aca-85cd-2d84aa715c39

如果 link 被复制到地址 window 它将打开图像，但是 - 如果 "blob" 被遗漏 - 它只会打开一个新的网络 whatsapp window。

我正在尝试下载此 link 显示的图像。

但是使用常见的技术，比如使用请求，或者urllib.request甚至BeautifulSoup总是在某一点上挣扎：url开头的"blob"将抛出错误。

这些答案将解决错误

URLError: <urlopen error unknown url type: blob>

或错误

InvalidSchema: No connection adapters were found for 'blob:https://web.whatsapp.com/f50eac63-6a7f-48a4-a2b8-8558a9ffe015'

（使用 BeatufilSoup）

使用原生方法，例如：

import requests

url = 'https://web.whatsapp.com/f50eac63-6a7f-48a4-a2b8-8558a9ffe015'
fileName = 'test.png'
req = requests.get(url)
file = open(fileName, 'wb')
for chunk in req.iter_content(100000):
    file.write(chunk)
file.close()

只会导致与使用 BeautifulSoup 相同的错误。

我在 Python 中使用 Selenium 控制 Chrome，但是我无法使用提供的 link 正确下载图像。

Answer 1

Blobs 不是要通过 URI 远程检索的实际文件。相反，它们是以编程方式生成的伪 URL，这些 URL 被映射到二进制数据，以便为浏览器提供一些参考。 IE。 <img> 没有属性来提供原始数据，因此您创建一个 blob 地址以将该数据映射到标准 src 属性。

来自上面链接的 MDN 页面：

The only way to read content from a Blob is to use a FileReader. The following code reads the content of a Blob as a typed array.

var reader = new FileReader();
reader.addEventListener("loadend", function() {
   // reader.result contains the contents of blob as a typed array
});
reader.readAsArrayBuffer(blob);

Answer 2

Blob 是浏览器存储的原始数据的类文件对象。

您可以在 chrome://blob-internals/

看到它们

可以通过脚本注入获取带有 Selenium 的 blob 的内容。但是，您必须通过运行创建 blob 的 page/domain 上的脚本来遵守跨源策略：

def get_file_content_chrome(driver, uri):
  result = driver.execute_async_script("""
    var uri = arguments[0];
    var callback = arguments[1];
    var toBase64 = function(buffer){for(var r,n=new Uint8Array(buffer),t=n.length,a=new Uint8Array(4*Math.ceil(t/3)),i=new Uint8Array(64),o=0,c=0;64>c;++c)i[c]="ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/".charCodeAt(c);for(c=0;t-t%3>c;c+=3,o+=4)r=n[c]<<16|n[c+1]<<8|n[c+2],a[o]=i[r>>18],a[o+1]=i[r>>12&63],a[o+2]=i[r>>6&63],a[o+3]=i[63&r];return t%3===1?(r=n[t-1],a[o]=i[r>>2],a[o+1]=i[r<<4&63],a[o+2]=61,a[o+3]=61):t%3===2&&(r=(n[t-2]<<8)+n[t-1],a[o]=i[r>>10],a[o+1]=i[r>>4&63],a[o+2]=i[r<<2&63],a[o+3]=61),new TextDecoder("ascii").decode(a)};
    var xhr = new XMLHttpRequest();
    xhr.responseType = 'arraybuffer';
    xhr.onload = function(){ callback(toBase64(xhr.response)) };
    xhr.onerror = function(){ callback(xhr.status) };
    xhr.open('GET', uri);
    xhr.send();
    """, uri)
  if type(result) == int :
    raise Exception("Request failed with status %s" % result)
  return base64.b64decode(result)

bytes = get_file_content_chrome(driver, "blob:https://developer.mozilla.org/7f9557f4-d8c8-4353-9752-5a49e85058f5")

Answer 3

对于试图在 node 和 selenium 中做同样事情的人，请参考下面。

var script = function (blobUrl) {
    console.log(arguments);
    var uri = arguments[0];
    var callback = arguments[arguments.length - 1];
    var toBase64 = function(buffer) {
        for(var r,n=new Uint8Array(buffer),t=n.length,a=new Uint8Array(4*Math.ceil(t/3)),i=new Uint8Array(64),o=0,c=0;64>c;++c)
            i[c]="ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/".charCodeAt(c);for(c=0;t-t%3>c;c+=3,o+=4)r=n[c]<<16|n[c+1]<<8|n[c+2],a[o]=i[r>>18],a[o+1]=i[r>>12&63],a[o+2]=i[r>>6&63],a[o+3]=i[63&r];return t%3===1?(r=n[t-1],a[o]=i[r>>2],a[o+1]=i[r<<4&63],a[o+2]=61,a[o+3]=61):t%3===2&&(r=(n[t-2]<<8)+n[t-1],a[o]=i[r>>10],a[o+1]=i[r>>4&63],a[o+2]=i[r<<2&63],a[o+3]=61),new TextDecoder("ascii").decode(a)
    };
    var xhr = new XMLHttpRequest();
    xhr.responseType = 'arraybuffer';
    xhr.onload = function(){ callback(toBase64(xhr.response)) };
    xhr.onerror = function(){ callback(xhr.status) };
    xhr.open('GET', uri);
    xhr.send();
}
driver.executeAsyncScript(script, imgEleSrc).then((result) => {
    console.log(result);
})

详细解释请参考下方link https://medium.com/@anoop.goudar/how-to-get-data-from-blob-url-to-node-js-server-using-selenium-88b1ad57e36d

如果 URL 以 "blob:" 开头，如何使用 Python 3/Selenium 下载图像？

How to download an image with Python 3/Selenium if the URL begins with "blob:"?

javascript

python

url

selenium

whatsapp